What Matters in Transformers? Not All Attention is Needed
Attention Drop의 residual 기반 중요도, Joint Drop, 캘리브레이션 실험과 일반화의 경계를 원문으로 검토하고 제거 비율·품질·속도를 구분한다.
기술과 일상에 대한 글 목록입니다.
Attention Drop의 residual 기반 중요도, Joint Drop, 캘리브레이션 실험과 일반화의 경계를 원문으로 검토하고 제거 비율·품질·속도를 구분한다.
Multi-token Prediction의 공유 트렁크 학습, 자기 추측 디코딩, 실제 학습 비용과 코드 생성 평가를 원문으로 확인합니다.
CacheBlend는 검색된 청크의 KV 캐시를 일부 재계산해 융합한다. 토큰 선택, 로딩 파이프라인, Prompt Cache와의 차이 및 실험 조건을 원문과 대조한다.
Keyformer의 고정 KV 예산, 최근 윈도우를 제외한 핵심 토큰 선택, Gumbel 점수 누적과 온도, 위치 보존 및 배치별 성능 조건을 원문으로 검토한다.
Prompt Cache의 PML·위치 ID·모듈 간 attention 근사를 설명하고, 2048토큰 예시의 FLOPs 오류와 실험 조건별 TTFT를 원문에 맞게 정리한다.
개인의견 : 서비스를 하는 수준에서 생각하면 continuous batching같은 테크닉을 사용하면 prefill을 스케줄을 어떠한 방식으로 할지가 궁금했는데 이러한 방법으로 stall을 줄이다니 재밋는 논문이네요. 다만 prefill의 stall을 줄이기 위해서 decode는 불필요하게…