최강 GPU도 HBM 없으면 느려진다 | AI 시대 메모리가 주인공이 된 이유 [패치의 칩문학 시즌1 - 2편]

AI 반도체의 주인공은 GPU지만, GPU의 계산 성능만 높인다고 실제 AI 성능이 따라오는 것은 아닙니다.

이번 패치의 칩문학 2편에서는 컴퓨터가 오래전부터 안고 있던 ‘메모리 벽’에서 이야기를 시작합니다.

CPU의 캐시와 GPU의 병렬 구조가 메모리의 한계를 어떻게 보완해왔는지 살펴봅니다.

AI 모델이 커지면서 기존 DIMM만으로는 왜 충분한 대역폭을 확보하기 어려워졌는지도 설명합니다.

SOCAMM과 HBM이 등장한 배경과 GPU 바로 옆에 메모리를 배치하는 이유를 알아봅니다.

TSV, 인터포저, CoWoS 같은 첨단 패키징이 왜 HBM 공급의 또 다른 병목이 되는지도 다룹니다.

GPU의 연산 성능이 높아질수록 오히려 메모리 대역폭의 중요성이 커지는 이유도 살펴봅니다.

삼성과 SK하이닉스의 HBM4·HBM4E 기술과 서로 다른 전략도 비교합니다.

HBM 경쟁이 단순한 DRAM 속도 경쟁에서 고객 맞춤형 설계와 시스템 경쟁으로 바뀌고 있는 흐름까지 정리했습니다.

다음 칩문학 3편에서는 CUDA, NVLink, 서버와 생태계를 통해 NVIDIA의 진짜 해자가 GPU가 아니라 ‘시스템’인지 살펴봅니다.

Written by 패치
Edited by 이지호

[email protected]