DeepSeek V4.1 Flash가 촉발한 HBM 병목 논쟁: Capacity냐 Bandwidth냐

💻DeepSeek V4.1 Flash가 촉발한 HBM 병목 논쟁: Capacity냐 Bandwidth냐 DeepSeek의 V4.1 Flash가 KV캐시 구조를 대폭 최적화 HBM 스택의 병목 지점이 '용량(Capacity)'에서 '대역폭(Bandwidth)'으로 이동하고 있다는 주장 📌 기술적 배경 V4.1 Flash는 토큰당 글로벌 KV캐시를 약 3.5KB에서 890바이트로 축소 CSA2(FP4 KV 캐싱)로 크로스레이어 재사용을 구현하고, SWA Bounded Replay로 최근 윈도우 토큰만 재구성해 지속 KV캐시 풋프린트를 V4 Flash 대비 1/8 수준으로 축소 다만 이 최적화는 용량·저장 압박만 줄일 뿐, 매 디코딩 스텝마다 파라미터와 KV엔트리를 끌어와야 하는 대역폭 부담은 그대로라는 지적 📌 핵심 주장: 압축이 대역폭 수요를 없애지 않는다 용량 여유가 생기면 서버는 그 공간을 비워두지 않고 더 많은 동시 시퀀스를 채워 넣음 결과적으로 GB당 요구 대역폭은 오히려 증가 → 압축은 용량을 저렴하게 만들 뿐 대역폭 문제는 해결하지 못한다는 논리 저자는 이를 근거로 Ultra급 HBM 스택이 12-Hi에서 8-Hi로, 나아가 4-Hi 논의까지 나오는 흐름을 '공급 이슈'가 아니라 '그만큼의 용량이 더 이상 필요 없어졌다'는 신호로 해석 📌 투자 시사점: 가치 이동의 방향 성능의 무게중심이 베이스 다이(Base Die)로 옮겨간다는 주장. 컨트롤러·PHY를 다이 내부로 내려 저전압·고핀레이트·짧은 신호경로를 확보하는 편이 스택을 더 쌓는 것보다 효율적인 대역폭 확보 수단이라는 논리 베이스 다이 제작원가는 위에 쌓이는 D램 다이 대비 3~4배 높은 것으로 알려져 있어, 별도 파운드리 발주 가능성도 거론 이 경우 밸류체인 무게중심이 메모리 제조사에서 다이 설계·파운드리 주체로 이동할 수 있다는 시각. HBM 공급사 입장에서는 '적층 판매' 중심 모델에서 '컴포넌트 공급' 모델로 포지션이 바뀔 수 있다는 의미 💻반도체 소부장💻[그로쓰리서치] https://t.me/growth_semi