Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference

적게 계산하는 모델의 구현 비용

MoE는 토큰마다 일부 expert를 선택합니다. 이 논문은 패딩, dispatch mask, 통신과 expert 불균형이 만드는 추론 비용을 분석합니다.

기법	바꾸는 것
Dynamic gating	토큰을 패킹하고 실제 개수에 맞춰 통신
Expert buffering	GPU에는 활성 expert를 캐시하고 나머지 가중치는 CPU에 보관
Load balancing	expert 배치를 조정해 장치 간 부하를 분산

라우터의 expert 선택을 유지하면서 실행 구현을 바꿉니다. (§V–VII)

설명용 예시: expert 4개에 토큰이 [3, 0, 1, 0]개 배정됐다면, 고정 용량 대신 실제 토큰 4개를 패킹합니다. 실험 수치가 아닌 동작 예시입니다.

  flowchart LR
    A[Expert별 토큰 개수] --> B[토큰 패킹]
    B --> C[개수 교환]
    C --> D[실제 토큰 전송]
    D --> E[Expert 실행]

Table I의 장비는 노드당 V100 32GB 8개입니다. 아래는 static gating 대비 단일 노드 최대 처리량이며, 배치 크기 증가 효과를 포함합니다. (§V.B, Figure 9)

다중 노드 LM 상한은 본문에 11.55×, 초록에는 11.23×로 다르게 적혀 있습니다. 요청 지연 개선률과 구분해야 합니다.

LM 배치 8의 활성화 메모리는 6.29GB에서 1.28GB로 79.6% 감소합니다. 전체 GPU 메모리 감소율이 아닙니다. (§V.B, Figure 10)

Expert buffering에는 CPU–GPU 전송 비용이 있습니다. (§VI)

리뷰어 판단: 패딩과 통신이 병목인 구현에서 먼저 평가하고, 최신 엔진이나 온라인 요청 지연에 처리량 배수를 그대로 적용하지 않아야 합니다.