![[논문리뷰]: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models](https://paper-assets.alphaxiv.org/figures/2601.07372v1/img-0.jpeg)
[논문리뷰]: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models
논문 링크 Engram: 조건부 연산(MoE) 이후의 두 번째 희소성 축, 조건부 메모리(Conditional Memory)한 줄 요약 (TL;DR)Engram은 Transformer에 “지식 조회(lookup) primitive”를 추가해, 표준 모 …
44분
Mixture of Experts
Retrieval
n-gram
Long Context
systems-design