젠슨황, 메모리 병목 현상을 언급

[삼성증권 반도체/IT 이종욱] 안녕하세요 삼성증권 이종욱입니다. Agent AI가 확산되면서 추론 단계에서 연산 호출 횟수와 시퀀스의 길이가 급격하게 증가하는데요. 그래서 젠슨황은 KV Cache를 처리하기 위한 메모리의 대역폭과 용량이 기술적 병목현상이라고 언급했습니다. 엔비디아는 HBM - LPDDR(DRAM) - NVMe(NAND)의 연속된 메모리 계층을 통합하고, BlueField 반도체가 GPU에 직접 연결하고 컨트롤하는 방식을 통해 대용량의 KV Cache를 처리할 것입니다. 일반디램과 낸드에 긍정적인 이야기입니다. 이 과정에서 DOCA, GDS, BlueField로 이어지는 소프트웨어-하드웨어 통합 아키텍처가 마치 CUDA처럼 또 다른 구조적 해자로 작동할 가능성이 높아 보입니다. 결론적으로 한동안 AI 서버당 메모리 컨텐츠 증가 속도가 GPU 컴퓨팅 증가 속도를 상회할 가능성이 높다고 판단됩니다. 이와 더불어 ces에서 진행된 엔비디아 Q&A를 정리했으니 참고 부탁드립니다. 링크: https://bit.ly/45zyUY7 감사합니다. (2026/1/7 공표자료)