HBM(High Bandwidth Memory)은 D램 여러개를 수직으로 연결해 한 번에 대량의 데이터를 처리하는 초고성능/초고용량 메모리 입니다. GPU 안에도 단기 기억 장치 즉 cache memory 가 있지만, AI 학습을 위한 매개변수를 모두 담기에는 턱없이 부족합니다. 이걸 해결하기 위해 HBM을 캐시 메모리 가까이에 설치하게 됩니다. 엔비디아 AI 가속기 (HT100)가 HBM을 선택하면서 HBM이 AI 개발을 위한 필수품이 됐고, 챗GPT와 생성 AI시대가 꽃피면서 수요는 폭발적으로 늘었습니다. 일반 D램보다 2~3배 비싸고 개당 수익률이 최고 10배나 되는 고부가가치 상품입니다. HBM은 D램을 수직으로 쌓아 올려 속도를 높이면서도 전력 소비를 줄인 데다. 이렇게 쌓인 D램 내부를 전극..
