메모리 생태계 한방 정리 - DRAM 솔루션

1. 먼저 DRAM-Solution을 보시겠습니다. DRAM은 전기가 들어갈 때만 데이터가 저장되는 반도체 소자로, 컴퓨터의 주메모리로 사용됩니다. 속도가 빠르지만, 전기 소모가 크고, 가격이 비쌉니다.  DRAM 생태계를 정리하면 아래와 같이 그려질 수 있겠습니다. 

 

 

1.1.  Standard Memory(DDR4/5 DIMM) 

이제품은 PCB에 DRAM 칩을 여러개 부착하여 만듭니다. 별도의 컨트롤러가 있지 않고, CPU 가 직접 DRAM 칩들과 통신합니다. 통신 규칙은 JEDEC 에서 정의한 DDR4, DDR5 스펙입니다. 대부분의 서버와 PC 마더보드는 이 DIMM을 위한 288 pin 소켓들을 제공하고 있습니다. Samsung, SKHynix, Micron 들이 전세계의 DIMM 공급을 거의 독점하고 있습니다. 

 

 

1.2 HBM (High Bandwidth Memory)

 

제품은, Nvidia 의 GUP 가속기 내부에 사용되는 특별한 목적의 메모리 입니다. 아래 그림에서 볼 수 있는 것처럼 사용되는 DRAM이 다릅니다.  DRAM Die를 적층한다음, TSV(Through Silicon Via, 실리콘 관통 전극) 라고 불리는 금속을 수직으로 관통시켜 Die들 사이에 데이터전송을 위한 고속도로를 만들어 놓은 것입니다.  기존 DRAM의 경우는 Die의 edge 부분에 금선(wire) bonding을 하여 데이터 전송을 시켰는데, 이것은 지방도로와 같습니다. HBM의 Package의 가장 아래는 Logic Die 라고 불리는 비메모리 반도체가 포함 되어 있는데, 이것은 일종의 HBM 컨트롤러 입니다. 이 컨트롤러는 내부적으로 HBM DRAM과는 Wide IO라는 Protocol로 통신을 하고, 외부적으로으로 CPU또는 GPU와는 JEDEC 에서 정의한 HBM프로토콜을 통해서 통신합니다.  (NVIDA는 HBM4 부터는 이 Logic Die를 직접 설계하거나, 자사의 요구사항에 맞춘 커스텀 설계를 하려고 하고 있습니다. 기존 HBM3e까지는 HBM 제조 업체가 직접 설계하고 만들어 왔었습니다. SKHynix는 이 요청을 수용해서, 로직 다이는 TSMC가 NVDIA의 설계대로 제작하고, 본인들은 DRAM stack 만드는 방향으로 가기로 결정 되었다고 합니다. 반면 Samsung 전자는 자체 턴키 솔루션으로, 설계부터 메모리 생산, 파운드리, 패키징까지 다 하는 방향으로 가닥을 잡았다고합니다. 하지만 향후 Memory 가 GPU에 통합되는 방향으로 발전 할 가능성도 있겠습니다. )

HBM은 매우 빠르나, 전력소비가 크고, 가격이 비싸고, 용량이 작습니다. 또한 GPU가속기에 통합되어 있으므로, 고장시, 교체가 쉽지 않다는 단점이 있습니다. 

 

 

 

1.3 CXL DRAM 

CXL DRAM은 PCB 위에 DRAM die 들이 부착되어 있고, 그곳에 CXL controller 달려 있는 형태의 메모리입니다. 여기에 부착된  DRAM은 일반 DRAM으로 Controller 는 DRAM들과 DDR4/5 프로토콜로 통신합니다. 반면 Controller 는 CXL(PCIe) 프로토콜로 CPU/GPU와 통신합니다. 아래 보시는 삼성 제품은 SSD를 꽂아 사용하는 EDSFF 폼펙터로 제작 되었습니다. 

그런데 왜 CXL DRAM이 필요할까요? 엄청나게 빠른 속도를 요구하는 GPU 가속기 내부에서는 HBM을 일반적인 용도로는 DDR5 DIMM을 사용하면 될텐데요? 구지 CXL DRAM을 추가로 사용할 필요가 있을까요? 네 있습니다. 왜냐하면 DRAM 용량 확장이 필요하기 때무입니다. 마더보드를 보면, DIMM을 삽입할 수 있는 소켓의 갯수가 한정적이라는 것을 알 수 있으며, CPU하나가 컨트롤 할 수 있는 DIMM의 갯수도 제한 적입니다. DIMM을 full 로 삽입했으나, 메모리 용량이 부족할 경우, 바로 CXL DRAM을 고려해 볼 수 있습니다. CXL DRAM은 PCIe 슬롯을 사용하여 마치 PCIe 디바이스 처럼 행동하지만, 내부에 DRAM을 가지고 있으므로 , 메모리로 사용이 가능합니다.  또한 CXL DRAM은 DIMM보다 가격이 더 저렴합니다. 

DRAM 솔루션별 역할 분담 (2026)

구분	DDR5 DIMM	HBM (High Bandwidth)	CXL DRAM (Expander)
주요 역할	시스템 부팅 및 OS 실행	AI/HPC 연산 가속	메모리 용량 확장 및 공유
핵심 강점	최저 지연 시간 (Latency)	최고 대역폭 (Bandwidth)	확장성 및 효율적 자원 배분
장착 위치	CPU 옆 (Memory Slot)	GPU 패키지 내부	PCIe/CXL 슬롯
성격	"반드시 필요한 기본 사양"	"비싸지만 빠른 특수 부대"	"부족한 공간을 채우는 지원군"

 

결국 다음과 같은 3강 체제가 완성되었습니다. 

• DDR5: 커널과 핵심 애플리케이션이 돌아가는 Latency 민감 영역.
• HBM: 거대 모델의 연산 데이터가 실시간으로 흐르는 Bandwidth 민감 영역.
• CXL DRAM: 거대 데이터베이스나 인메모리 연산을 위해 대용량이 필요한 Capacity 민감 영역.