삼성·d-Matrix·퀄컴, 컴퓨트를 D램 밑에 파묻다

💻삼성·d-Matrix·퀄컴, 컴퓨트를 D램 밑에 파묻다 📌 배경 — 퀄컴 Dragonfly HBC 공식 개요 퀄컴은 6월 24~25일 Investor Day에서 데이터센터 풀스택 전략 Dragonfly를 공개, 그 핵심 축이 High Bandwidth Compute(HBC) HBC Gen2 탑재 AI300은 기존 AI200 대비 54배 유효 메모리 대역폭, GPU 대비 tokens-per-watt 3~8배 개선을 주장 Meta(C1000 CPU 다세대 계약), Microsoft Azure(HBC 아키텍처 채택) 등 앵커 하이퍼스케일러 확보, $39억 규모 Modular 인수도 동시 발표 다만 회사는 peak FLOPS는 공개하지 않음 — 애초에 FLOPS 지향 칩이 아니라는 방증 📌 메모리월의 본질 — "용량"이 아니라 "거리" 디코드(decode) 단계 에너지 소모의 대부분은 비트 이동 자체의 에너지(메모리월)이며, 이동 에너지는 배선 길이에 비례 기존 아키텍처: HBM이 컴퓨트 다이 옆에서 실리콘 인터포저를 가로질러 통신 HBM4 기준 스택 가장자리를 따라 약 2,000개 배선폭으로 데이터가 나가 인터포저를 수 밀리미터 가로지름 그 결과 HBM 링크는 비트당 3~4pJ 소모 📌 퀄컴의 해법 — 컴퓨트를 D램 아래 매립 LPDDR을 컴퓨트 다이 바로 위에 face-to-face로 3D 적층, 인터포저를 가로지르지 않고 실리콘을 수직으로 수 마이크론만 관통 다이 가장자리가 아닌 전체 면(face)을 활용해 배선 수를 2,000개 수준에서 1만~10만개 규모로 확대 수직 본딩 방식은 비트당 약 0.5pJ로, 동일 비트를 1/7 에너지로 처리 — 순전히 배선 길이 단축의 효과 📌 왜 아무나 못 하나 — 열(Heat) 문제 컴퓨트 다이가 발열원인데 스택 맨 아래 위치, 그 위에 D램이 얹히는 구조 D램은 85°C 이상에서 비트 유실 시작 — 하단 다이는 반드시 저발열로 설계돼야 함 그래서 이 구조는 연산량이 적고 메모리 바운드인 디코드에만 적합, 프리필/트레이닝 같은 고연산 워크로드는 여전히 GPU 영역 📌 경쟁 구도 — 동일 컨셉, 3사 동시 추진 삼성: HBM을 GPU에 직접 본딩하는 구조 공개 d-Matrix: 컴퓨트 칩렛 위에 D램 적층 퀄컴: LPDDR 기반 HBC, 2027년 첫 샘플 출하 예정(아직 실리콘 미검증) 💻반도체 소부장💻[그로쓰리서치] https://telegram.me/growth_semi