NAND가 AI 메모리 계층으로 진입

💻 NAND가 AI 메모리 계층으로 진입 📌 기존 상식 — DRAM vs NAND 역할 분리 DRAM: AI가 항상 쓰는 것 — 빠르지만 비싸고 용량 한계 NAND: AI가 가끔 쓰는 것 — 느리지만 싸고 대용량 지금까지 AI 추론 = DRAM에 모델 전체를 올려놓고 실행 📌 희소 활성화 LLM(Sparsely-Activated LLM)이 바꾸는 것 MoE(Mixture of Experts) 구조: 추론 시 전체 FFN Expert 중 일부만 선택·활성화 나머지 Expert는 해당 토큰 생성에 전혀 사용되지 않음 → 활성화되지 않은 Expert를 굳이 DRAM에 올려둘 필요가 없다 Dense 모델 (항상 활성) → DRAM 유지 비활성 FFN Expert (선택적 사용) → NAND에 상주 → 선택될 때만 로드 📌 왜 이게 중요한가 GPT-4·Llama 같은 초대형 모델은 DRAM 전체 탑재 시 수백 GB 필요 NAND 오프로딩으로 DRAM 요구량 대폭 절감 → 더 큰 모델을 더 싼 하드웨어로 실행 가능 엣지 디바이스·중소형 서버에서도 프론티어급 모델 구동 가능성 열림 📌 메모리 계층 재편 시나리오 HBM → 연산 직접 지원 (GPU 내) DRAM → 활성 모델 웨이트 상주 NAND → 비활성 Expert 풀 상주 (새로운 레이어) Storage → 체크포인트·데이터셋 NAND가 단순 저장소에서 AI 추론 메모리 계층의 일원으로 격상 💻반도체 소부장💻[그로쓰리서치] https://t.me/growth_semi