DeepSeek V4: 초장문 시대 비용 구조를 뒤집은 어텐션 혁신

>>DeepSeek V4: 초장문 시대 비용 구조를 뒤집은 어텐션 혁신 •기존에 OpenAI나 Google도 이미 초장문 컨텍스트를 지원해왔지만, 문제는 기술 구현이 아니라 비용이었음.Transformer 구조에서는 어텐션 연산량이 시퀀스 길이에 대해 제곱으로 증가하기 때문에, 토큰 길이가 두 배가 되면 연산량은 네 배로 늘어나고, 100만 토큰(1M) 수준에서는 기존 구조로는 상업적 활용이 사실상 어려운 수준이었음. •이번 DeepSeek V4는 이 병목을 직접 겨냥한 구조 개편이 핵심이며, 기술 보고서 기준으로 1M 토큰 환경에서 V4-Pro는 이전 버전(V3.2) 대비 토큰당 추론 FLOPs가 27% 수준으로 감소(약 73% 절감), KV 캐시 사용량은 10% 수준으로 감소(약 90% 절감)라는 구조적 개선을 달성 >DeepSeek V4:一次注意力机制的结构性颠覆 https://wallstreetcn.com/articles/3770791#from=ios