MEGABYTE Predicting Million-byte Sequences with Multiscale Transformers
개인의견 : 패치 기반의 병렬 연산과 Cross-Attention을 통한 글로벌-로컬 상호작용, 그리고 토크나이저 free? 한 신기한 논문으로 보인다. 논문 요약: MEGABYTE의 강점과 독창성 이 논문은 MEGABYTE라는 모델을 소개하며, 기존의 Transformer 모델이 긴 시퀀스(수백만 바이…
기술과 일상에 대한 글 목록입니다.
개인의견 : 패치 기반의 병렬 연산과 Cross-Attention을 통한 글로벌-로컬 상호작용, 그리고 토크나이저 free? 한 신기한 논문으로 보인다. 논문 요약: MEGABYTE의 강점과 독창성 이 논문은 MEGABYTE라는 모델을 소개하며, 기존의 Transformer 모델이 긴 시퀀스(수백만 바이…
개인의견 : 잘모르는 분야이지만 meta publication을 보다가 흥미로워 보여서 선택한 논문.(내가 잘몰라서 질문을 못하겠다 ㅎㅎ;) 이 논문에서는 공개 데이터와 비공개 데이터를 동시에 활용할 수 있는 검색 기반 시스템을 개발하기 위해 "SPLIT ITERATIVE RETRIEVAL…
FlexGen의 GPU 배치 간 가중치 재사용, 처리량 중심 정책 탐색, CPU attention과 4-bit 압축의 제약 및 단일 GPU 실험 조건을 원문으로 검토한다.
KV 캐시 압축 벤치마크의 prefill·decode 구분, 실제 품질 점수와 압축률, 양자화 메타데이터 비용 및 장문 생성에 대한 한계를 원문으로 검토한다.
Quest의 전체 KV 보존과 선택적 읽기, Query-Key 상한 점수, 페이지·토큰 예산, 전송량 계산과 decode 성능의 측정 범위를 원문으로 검토한다.
Teola의 primitive 그래프, causal prefix prefill과 구조화된 partial decoding, topology-aware batching 및 vLLM을 공유하는 실제 비교 조건을 원문으로 검토한다.