AI 추론은 어떻게 새로운 메모리 수요를 만들어내는가 (중국언론)

>>AI 추론은 어떻게 새로운 메모리 수요를 만들어내는가 (중국언론) •단일 추론 과정에서 생성되는 Token 수가 연간 5배 이상 증가하면서 KV 캐시 수요가 폭발적으로 늘어나고 있음. 이에 따라 엔비디아의 Dynamo, CMX 등 캐시 오프로딩(cache offloading) 솔루션이 실제 도입되기 시작했으며, SSD POD라는 새로운 시장도 형성되고 있음 •동시에 에이전트 AI의 부상으로 CPU와 GPU의 부하 비율이 1:1 수준으로 가까워지고 있으며, 이는 LPDRAM 수요 확대를 견인하고 있음. HBM 외에도 기업용 SSD, LPDRAM, 그리고 DPU용 메모리 솔루션이 AI 인프라의 새로운 성장 동력으로 부상 >AI推理如何创造新的内存需求 https://wallstreetcn.com/articles/3774698#from=ios