KV Cache 폭증이 바꾸는 메모리 판: NAND에서 HBF까지

💻 KV Cache 폭증이 바꾸는 메모리 판: NAND에서 HBF까지 NAND와 HBF 관련해서는 저희가 이전에 따로 보고서를 작성한 적이 있습니다. 최근에는 KV cache 용량이 커지면서 모든 데이터를 HBM에서 감당하기 어려운 구간으로 들어가고 있습니다. 이 과정에서 대용량 데이터를 저장할 수 있는 NAND의 중요성이 다시 커지고 있습니다. 앞으로 NAND의 bit 수요는 과거와는 다른 속도로 늘어날 가능성이 높고, 이 데이터를 빠르게 읽고 쓰기 위해서는 HBF 같은 구조의 필요성도 함께 커질 수 있다고 봅니다. 이전에 작성한 HBF 보고서와 NAND 보고서를 함께 읽어보시면, HBF와 NAND가 앞으로 어떤 흐름으로 연결될 수 있는지 이해하는 데 도움이 되실 것 같습니다. 🔥 HBF 보고서 다시보기 https://contents.premium.naver.com/growthresearch/growth/contents/251117020505331nj 🔥 NAND 보고서 다시보기 https://contents.premium.naver.com/growthresearch/growth/contents/260222174634929ax 💻 핵심 포인트 정리 📌 1. AI 추론 시대, 병목은 속도가 아니라 저장 용량 AI 학습 중심에서 추론 중심으로의 패러다임 변화 에이전틱 AI 확산에 따른 토큰 사용량 급증 KV Cache 규모의 기하급수적 증가 HBM 중심 구조의 용량 한계 부각 메모리 병목의 대역폭 문제에서 저장 용량 문제로의 전환 메모리 계층 구조 재설계 필요성 확대 📌 2. KV Cache의 새로운 저장소, NAND의 재평가 KV Cache 오프로딩 전략 확산 기업용 SSD(eSSD) 수요 급증 AI 인프라 핵심 자산으로서 NAND의 가치 상승 ICMS(Inference Context Memory Storage) 구조 등장 AI 서버 내 NAND 탑재량의 구조적 증가 NAND bit 수요의 장기 성장 국면 진입 스토리지 중심 투자 확대 흐름 📌 3. NAND 다음 단계, HBF 시대의 개막 HBM과 NAND 사이 공백 영역의 확대 고용량·비휘발성·고대역폭 동시 요구 증가 저장장치와 메모리의 경계 약화 HBF(High Bandwidth Flash) 아키텍처 등장 NAND 기반 초고대역폭 메모리 계층 구축 AI 메모리 구조의 HBM + HBF 이원화 차세대 AI 인프라 핵심 기술로의 부상 💻반도체 소부장💻[그로쓰리서치] https://t.me/growth_semi