HBF란 무엇인가

THE FUTURE OF MEMORY ARCHITECTURE FOR AI INTRODUCING: HIGH BANDWIDTH FLASH

 

HBF란 (  HIGH BANDWIDTH FLASH ) 의 약자입니다. 

 

오늘날 AI는 기존 메모리 기술의 한계를 몰아붙이고 있습니다. AI 모델이 점점 더 거대하고 복잡해짐에 따라, 추론 워크로드(inference workloads)는 엄청난 대역폭과 훨씬 더 큰 메모리 용량을 동시에 요구하고 있습니다. 이는 전통적인 고대역폭 메모리(HBM)가 경제적으로나 물리적으로 대규모로 제공하기 어려운 부분입니다.

 

HBM은 높은 속도를 제공하지만 제한된 용량, 높은 전력 소비, 그리고 막대한 비용이라는 제약이 있습니다. 이는 AI 인프라를 효율적으로 확장하려는 개발자와 하이퍼스케일러(대규모 데이터 센터 운영 기업)들에게 병목 현상을 야기하고 있습니다.

 

(블로거의 설명) HBM은 결국 DRAM입니다. 고대역 칩을 달았으나, DRAM이 들어가기 때문에, 항상 전원을 넣어주어야 데이터가 보존됩니다. 그렇기 때문에 전력 소비가 높고, 또한 용량이 제한적이라서, 대규모 모델 training에 사용되는 데이터를 모두 담을 수 가 없습니다. 그렇다고 SSD에 데이터를 넣었다 뺐다 하면 속도가 너무 느려서 사용이 불가합니다. HBF는 이러한 어려움을 해결하기 위해  NAND에 고대역 칩을 달아서 사용하는 제품 입니다.  한때 CXL로 DRAM과 NAND를 모두 이렇게 사용하려던 꿈이 점점 사그라 들고 있는 분위기 입니다. 많은 회사들이 CXL을 접고 있습니다. 이제 HBM과 HBF로 나누어서 갈 것 같습니다. 

 

1. Cost Optimized (비용 및 용량 최적화)

그림 왼쪽의 거대한 단일 블록 형태입니다.

• 구조: 수많은 메모리 셀이 하나의 거대한 덩어리로 묶여 있으며, 데이터 출력구(Data Output)가 하나뿐입니다.
• 특징: 좁은 통로에 많은 데이터를 채워 넣은 형태라 저장 용량 대비 가격은 저렴하지만, 한 번에 뺄 수 있는 데이터의 양(대역폭)이 제한적입니다.
• 용도: 일반적인 SSD나 대용량 저장 장치에 적합합니다.

2. Bandwidth Optimized (대역폭 및 속도 최적화)

그림 오른쪽의 잘게 나누어진 블록 형태입니다.

• 구조: 거대한 블록을 여러 개의 작은 단위로 쪼개고, 각 블록마다 독립적인 데이터 출력구(Data Output)를 배치했습니다.
• 특징: 고속도로의 톨게이트를 여러 개로 늘린 것과 같습니다. 동시에 여러 곳에서 데이터를 뽑아낼 수 있어 대역폭(Bandwidth)이 획기적으로 늘어납니다.
• 용도: 대규모 데이터를 실시간으로 읽어야 하는 AI 추론 워크로드나 고성능 컴퓨팅에 적합한 설계 방식입니다.

 

이러한 중대한 기술적 간극을 메우기 위해, 샌디스크(Sandisk)는 혁신적인 차세대 메모리 기술인 High Bandwidth Flash (HBF™)를 개발했습니다.

HBF의 주요 특징은 다음과 같습니다:

• AI 전용 설계: HBF는 초기 설계 단계부터 오로지 AI 추론(AI inferencing) 작업을 위해 구축되었습니다.
• 압도적 용량: 기존 HBM 대비 최대 8~16배에 달하는 방대한 용량을 제공합니다.
• 최적의 밸런스: HBM과 유사한 수준의 대역폭 및 비용을 유지하면서도 업계 최고 수준의 용량 효율성을 구현했습니다.

 

이 그림은 HBF가 실제 프로세서(GPU/CPU)와 어떻게 결합되는지 보여주는 기술 도표입니다.

• 16단 적층 (16 Die Stack): 낸드 칩을 16층으로 높게 쌓아 올렸습니다. 이미지 하단 설명에 따르면 독자적인 스태킹 기술을 통해 칩이 휘어지는 현상(Warpage)을 방지했다고 합니다.
• TSV 및 Micro Bump: HBM에서 사용하는 고속 연결 기술인 TSV(실리콘 관통 전극)와 마이크로 범프를 사용했습니다. 낸드임에도 불구하고 메모리 칩 사이사이에 직접 통로를 뚫어 데이터 이동 거리를 극한으로 줄였습니다.
• 프로세서와 인접 배치 (Interposer): 가장 중요한 부분입니다. HBF는 멀리 떨어진 저장장치가 아니라, GPU나 TPU와 같은 기판(Interposer) 위에 나란히 배치됩니다.
  • 이 덕분에 HBM과 유사한 수준의 대역폭을 내면서도, 용량은 8~16배나 더 확보할 수 있는 것입니다.
• 핵심 기술: BiCS 기술과 CBA(CMOS Bonded Array) 웨이퍼 본딩 기술이 적용되어 성능을 뒷받침합니다.

낸드(NAND) 메모리 기술을 기반으로 하는 HBF는 무제한 용량의 HBM1 성능과 비교했을 때 2.2% 이내의 성능 차이만을 보일 정도로 강력한 성능을 제공하며, 동시에 메모리 용량을 획기적으로 늘려 기존 HBM으로는 지원이 불가능했던 AI 서비스를 가능하게 합니다. 샌디스크의 CBA(CMOS directly Bonded to Array) 기술이 적용된 HBF는 탁월한 속도, 집적도, 에너지 효율성을 단일 아키텍처에 결합하여 고대역폭 메모리의 새로운 표준을 정립합니다.

 

 

이미지는 실제 GPU 시스템에 HBF를 적용했을 때의 가용 메모리 변화를 시각화합니다.

• 기존 HBM 전용 시스템: 8개의 HBM 슬롯을 사용할 경우 총 메모리는 192GB 수준에 그칩니다.
• HBF 혼용 및 전용 시스템: HBF와 HBM을 섞어서 사용하면 용량이 3,120GB로 약 16배 이상 늘어납니다.
  • 8개 슬롯을 모두 HBF로 채울 경우, 동일한 비용 수준에서 무려 4,096GB(약 4TB)의 방대한 메모리를 확보할 수 있습니다.

 

1세대 제품은 1.6 TB/s의 초고속 읽기 대역폭을 제공하며, 다이(die)당 256Gb를 집약하여 16단 적층 시 총 512GB의 용량에 도달합니다. 이는 HBM4의 물리적 점유 면적, 전력 프로필, 적층 높이와 거의 일치합니다. HBF는 차세대 AI 추론 워크로드의 규모와 강도를 충족하도록 특별히 설계되어, 용량이나 효율성을 타협하지 않고도 필요한 성능을 제공합니다.

 

HBF의 주요 핵심 요약

• 대량 생산이 가능한 뛰어난 확장성: 향후 용량 확장에 한계가 있는 DRAM 기반 솔루션과 달리, HBF는 샌디스크의 BiCS 기술을 바탕으로 수요 증가에 따른 용량 및 대역폭 확장의 명확한 경로를 제시합니다.
• 고대역폭 및 저비용: HBF 기술은 현존하는 메모리 기술 중 비트당 비용(cost per bit)이 가장 낮은 수준입니다.
• CBA (CMOS 직접 본딩 어레이): 초고밀도, 고속, 저전력 회로를 가능하게 하는 혁신적인 CBA 기술을 통해 고대역폭 메모리 성능의 새로운 기준을 세웁니다.
• 첨단 다이 적층 기술: 특허받은 기술을 사용하여 다이 휨(warpage)과 응력을 줄이고 열전도율을 개선함으로써, 목표 용량과 대역폭을 구현하기 위한 16단 적층을 가능하게 합니다.
• 비휘발성 및 리프레시 전력 불필요: 낸드 기술을 활용하므로 전원이 차단되어도 데이터를 유지하며, 데이터 손실 방지를 위한 리프레시 전력이 필요하지 않습니다.
• 고부하 환경에서의 열 안정성: 데이터 센터의 고온 환경에서도 열 안정성을 유지하여 성능 저하나 신뢰성 하락 없이 운영 스트레스를 견뎌낼 수 있습니다.
• 고도화된 신뢰성 및 중복 관리: 데이터 센터의 가혹한 내구성 및 고온 작동 요구사항을 충족하며, 잠재적인 결함이 발생하더라도 안정적으로 작동하도록 설계되었습니다.

HBF의 성능은 미래 세대의 CBA 낸드(NAND)를 통해 지속적으로 개선되어 성능의 한계를 더욱 넓힐 것입니다. 2세대(Gen 2)와 3세대(Gen 3)는 각각 2 TB/s 및 3.2 TB/s를 초과하는 예비 읽기 대역폭을 제공할 것으로 예상됩니다. 또한, 스택당 용량은 최대 1 TB 및 1.5 TB에 도달할 예정입니다. 에너지 효율성 측면에서도 1세대 전력 소비량의 각각 0.8배 및 0.64배를 목표로 하여 더 뛰어난 효율을 달성할 것으로 전망됩니다.

 

고대역폭 플래시(HBF)는 샌디스크의 저비용, 고밀도 CBA 기반 낸드 코어 기술을 바탕으로 AI 메모리의 가능성을 재정의하며, 실리콘 기술, 설계 기술, 그리고 3D 스택 패키징 분야의 아키텍처 개선을 통해 고대역폭, 고내구성 및 에너지 효율성을 실현합니다. AI 추론의 요구사항에 맞춰 특수 설계된 HBF는 차세대 지능형 시스템을 가동하는 데 필요한 속도, 규모 및 효율성을 제공하여 AI의 가장 시급한 인프라 과제 중 하나를 해결하는 데 기여합니다.

구분	1세대 (Gen 1)	2세대 (Gen 2)	3세대 (Gen 3)
용량 (Capacity)	1x (기준)	1.5x	2x
읽기 대역폭	1x (기준)	1.45x	2x
에너지 효율	1x (기준)	0.8x (전력 감소)	0.64x (전력 감소)

 

 

출처)

https://documents.sandisk.com/content/dam/asset-library/en_us/assets/public/sandisk/collateral/company/Sandisk-HBF-Fact-Sheet.pdf