SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
SteerDistill: 교사 조종으로 양자화된 에이전트의 판단을 되살리다 에이전트는 도구를 여러 번 호출해 작업을 끝내므로 추론 비용이 곧 배포 비용이다. 저비트 양자화는 그 비용을 줄이지만, 양자화된 에이전트는 성공한 전체 정밀도 실행과 다른 환경 전이를 만들어 작업 성공률이 떨어질 수 있다.…
기술과 일상에 대한 글 목록입니다.
SteerDistill: 교사 조종으로 양자화된 에이전트의 판단을 되살리다 에이전트는 도구를 여러 번 호출해 작업을 끝내므로 추론 비용이 곧 배포 비용이다. 저비트 양자화는 그 비용을 줄이지만, 양자화된 에이전트는 성공한 전체 정밀도 실행과 다른 환경 전이를 만들어 작업 성공률이 떨어질 수 있다.…
도입: 새 시점을 그릴 때마다 캐시 전체를 읽는다 여러 장의 사진으로부터 새 각도의 영상을 만드는 모델 중 품질이 가장 앞서는 설계는, 장면 정보를 Transformer의 키·값 캐시에 담아 두는 방식이다. 이 설계의 대가는 새 시점 한 장을 그릴 때마다 캐시 전체를 다시 읽어야 한다는 것이고, 그래서…
도입 이 논문은 가중치와 활성화를 모두 4비트로 줄이는 MXFP4 W4A4 양자화 방법 MACaQ를 제안한다. 각 선형 레이어를 서로 독립적으로 처리하는 것이 핵심이다. 입력에 필요한 스케일과 회전을 온라인으로 적용하는 비용을 감수하는 대신, 레이어 사이의 의존성을 없앤다. 그 결과 양자화 시간이 크게…
도입 에이전트 기반 서비스는 하나의 요청으로 끝나지 않는다. 도구를 기다리고, 문맥을 요약하고, 하위 작업을 병렬로 띄우기 때문에 같은 앞부분을 여러 번 다시 계산하게 된다. Evolving Infra는 이 반복 계산을 줄이기 위해, 노드의 역할 배정은 에이전트 워크로드 구성에, KV 제거·라우팅은 에이…
새 공식 지표와 주요 뉴스를 짧게 짚고, 과거 실거래는 배경으로 구분합니다.
도입: 답이 나오기 전의 대기 시간 긴 프롬프트를 넣으면 첫 토큰이 나올 때까지 모델이 그 문서를 끝까지 통과시켜야 하고, 그만큼 사용자가 아무것도 보지 못한 채 기다린다. RidgeFill은 이 대기 시간을 줄이려고, 일부 층의 계산을 건너뛰고 그 층이 만들어야 할 캐시를 근사해 미리 채운다. 학습은…