Llm-Architecture

[논문리뷰]: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

논문 링크 Engram: 조건부 연산(MoE) 이후의 두 번째 희소성 축, 조건부 메모리(Conditional Memory)한 줄 요약 (TL;DR)Engram은 Transformer에 “지식 조회(lookup) primitive”를 추가해, 표준 모 …