NVIDIA Rubin Ultra 축소, 병목은 단위 용량 비용이 아닌 단위 대역폭 비용

>>NVIDIA Rubin Ultra 축소, 병목은 단위 용량 비용이 아닌 단위 대역폭 비용 (SemiAnalysis) •NVIDIA가 Rubin Ultra의 HBM을 12-Hi에서 8-Hi로 낮춘 핵심 이유가 단순히 용량을 줄이기 위해서가 아니라, 현재 AI 추론의 진짜 제약이 단위 용량 비용($/capacity)이 아닌 단위 대역폭 비용($/bandwidth)에 있기 때문이라고 설명 •HBM 적층 층수는 주로 용량을 결정하는 반면, 총 대역폭은 HBM 스택 수와 인터페이스 폭, 전송 속도에 더 크게 좌우. 따라서 12-Hi에서 8-Hi로 낮추면 DRAM 다이 사용량을 약 3분의 1 줄일 수 있어 현재 부족하고 비싼 HBM 공급 압력을 완화, 스택 수와 인터페이스 구성을 유지하는 경우 전체 대역폭을 유지하거나 오히려 높일수 있늠 •이는 NVIDIA가 더 적은 HBM 용량을 사용해 더 높은 대역폭 경제성을 얻으려는 것임. 추론 중심으로 변해가는 AI 워크로드에서는 단순히 ‘더 많은 데이터를 담는 것’뿐만 아니라 모델 가중치와 KV Cache를 지속적이고 빠르게 이동시키는 것이 더 중요해지고 있어 메모리 대역폭의 중요성 확대 •Rubin Ultra의 조정은 HBM 경쟁 논리가 변화하고 있음을 시사. AI 칩이 추구하는 것은 더 이상 단순히 HBM 용량을 높이는 것이 아니라, 제한된 DRAM·전력·비용 조건에서 가능한 한 높은 실효 대역폭을 확보하는 것임. HBM의 핵심 병목도 ‘용량이 충분한가’에서 ‘1달러로 얼마나 많은 대역폭을 살 수 있는가’로 전환