Long Context Inference

[논문리뷰] Helix Parallelism: Rethinking Sharding Strategies for Interactive Multi-Million-Token LLM Decoding

논문 링크 Helix Parallelism: 초장기 LLM 디코딩의 지연-처리량 벽을 깨다한 줄 요약 (TL;DR)Helix Parallelism은 Attention과 FFN을 서로 다른 병렬화 전략으로 스케줄링해 KV 캐시 중복과 FFN 가중치 로드 …