Groq CEO의 ‘칩 아키텍처’론: GPU는 ‘대형 화물트럭’, LPU는 ‘라스트마일 택배’ (중국언론)

>>Groq CEO의 ‘칩 아키텍처’론: GPU는 ‘대형 화물트럭’, LPU는 ‘라스트마일 택배’ (중국언론) •Jonathan Ross는 GPU와 LPU가 서로 경쟁 관계라기보다 각기 다른 역할을 수행하는 보완적 구조라고 설명. 그는 GPU는 대규모 병렬 연산에 강점을 지니고 있어 AI 추론 과정 중 대량의 입력 데이터를 처리하는 프리필 단계에 적합. •반면 Groq의 LPU(Language Processing Unit)는 SRAM 기반 아키텍처와 정적 스케줄링 방식을 활용해 낮은 지연시간과 소규모 배치 처리에 강점을 보이며, 특히 MoE 모델의 디코딩 단계에서 속도와 비용 측면의 우위를 제공 •Ross는 GPU를 장거리 대량 운송에 적합한 ‘대형 화물트럭’, LPU를 사용자에게 직접 전달하는 ‘라스트마일 택배’에 비유. 또한 두 아키텍처를 혼합 배치하면 성능과 비용의 균형을 최적화할수 있다고 평가 •아울러 그는 제번스의 역설(Jevons Paradox)을 언급하며, 연산 비용이 낮아질수록 AI 활용이 확대돼 전체 수요가 더욱 증가할 것이라고 전망했음. 이에 따라 GPU와 LPU는 시장 점유율을 놓고 제로섬 경쟁을 하기보다 함께 AI 연산 시장 규모를 키워나갈 것으로 내다봤음 >인터뷰 원문 - Groq CEO谈“芯片架构”:GPU是“重型大货车”,LPU是“最后一公里快递” https://wallstreetcn.com/articles/3774519#from=ios