SemiAnalysis 하드코어 분석: AI가 당신에게 한마디 답변하기까지 그 뒤에서 일어나는 일

>>SemiAnalysis 하드코어 분석: AI가 당신에게 한마디 답변하기까지 그 뒤에서 일어나는 일 • MoE 아키텍처는 추론 과정을 프리필(Prefill), 중간 필인(Mid-fill), 디코딩 어텐션(Decode Attention), 디코딩 전문가(Decode Expert) 등 4개 단계로 나누며, 각 단계의 하드웨어 요구사항은 크게 다름. SemiAnalysis는 메모리 용량보다 메모리 대역폭이 더 중요하며, 용량을 늘리는 것보다 속도를 높이는 것이 더 가치 있다고 판단함. 집적형과 분리형 아키텍처 간 경쟁의 본질은 ‘모든 기능을 하나의 칩으로 구현할 수 있는가’에 대한 경쟁임. 또한 스케줄링 계층이 보이지 않는 가치 창출 영역으로 부상하고 있으며, KV 캐시의 계층적 저장·관리 기술이 새로운 스토리지 시장 기회를 만들어낼 전망 >Semianalysis硬核拆解:AI回答你一句话,背后发生了什么 https://wallstreetcn.com/articles/3782261#from=ios