CXL-PNM

류 부사장은 주제발표를 통해 “메모리 병목 현상 등으로 최근 애플리케이션 성능은 메모리 퍼포먼스에 의해 결정되고 있다”며 “메모리 퍼포먼스가 프로세서 퍼포먼스를 추격하는데 어려움을 겪고 있다”고 말했다. 그는 “이러한 병목 현상을 해결하기 위해 HBM-PIM, CXL-PNM 등의 차세대 메모리 연구가 필요하다”고 강조했다.

 

HBM-PIM은 고대역폭메모리(HBM)와 프로세싱-인-메모리(PIM)를 결합한 반도체다. HBM-PIM 내부에서 프로세서가 담당하는 일부 연산 기능을 직접 처리할 수 있다.

CXL-PNM은 컴퓨팅 익스프레스 링크(CXL)와 프로세싱-니어-메모리(PNM)를 결합한 반도체로 메모리와 가까운 위치에 프로세서를 배치해 데이터 이동을 줄인다. PNM은 PIM 대비 높은 연산 처리 능력을 가지고 있다.

D램 외에도 저장 장치 내부에서 연산 처리가 가능한 SmartSSD 등도 연구되고 있다.

 

###

 

 

CXL-PNM은 최대 1.1TB/s의 인상적인 대역폭을 제공하는 512GB 카드이다.  이 혁신적인 기술은 AI 컴퓨팅에서 가장 중요한 과제 중 하나인 컴퓨팅 엔진의 스토리지와 메모리 위치 간 데이터 이동 문제를 해결하는 것을 목표로 한다. 

 

삼성의 테스트에 따르면 CXL-PNM은 단일 A-GPU보다 에너지 효율이 2.9배 더 높은 것으로 나타났다. 또한 8개의 CXL-PNM 클러스터는 8개의 A-GPU보다 에너지 효율이 4.4배 더 높은 것으로 입증되었다. 이 카드를 장착한 어플라이언스는 CO2 배출량이 2.8배 적고 운영 및 환경 효율성이 4.3배 높았다.

 

CXL-PNM은 고속 프로세서-장치 및 프로세서-메모리 인터페이스를 위한 개방형 표준인 컴퓨트 익스프레스 링크(CXL) 기술을 사용한다. 이 기술은 프로세서와 함께 메모리 및 가속기를 보다 효율적으로 사용할 수 있는 길을 열어준다.

 

삼성은 이 카드가 워크로드를 PIM 또는 PNM 모듈로 오프로드할 수 있다고 믿으며, 이는 LPDDR-PIM¹에서도 살펴본 바 있다. 이를 통해 대역폭을 위해 메모리를 과도하게 프로비저닝하는 것을 방지하여 비용을 절감하고 전력 소비를 줄일 수 있을 뿐만 아니라 디바이스의 배터리 수명을 연장할 수 있다.

 

###

 

주영표 부사장 저희는 조금 다른 관점으로 인공지능에 접근했는데요. 메모리 자체에 연산 기능을 도입하는 것이 아니라 메모리 컨트롤러에 연산 가속 기능을 넣는 쪽을 선택했습니다. 이러한 개발의 결과물이 오늘 함께 살펴본 CXL*과 CMS*입니다. 특히 CMS는 흔히 PNM*이라고 불리는 기술인데요. 이라는 새로운 인터커넥트 기술이 메모리 용량을 유연하게 증가시켜 메모리와 GPU, 인공지능 가속기 등을 모두 탑재할 수 있다는 점에 주목하고, “그들을 하나의 솔루션에 담으면 어떨까?”라고 접근한 것이죠.

 

CXL 인터페이스를 기반으로 개발한 CMS는 고용량 메모리를 확장할 수 있는 CXL의 장점에 빅데이터 분석이나 머신러닝과 같은 인공지능 분야의 연산까지 제공하기 때문에 인공지능 분야에서도 다양하게 활용될 수 있다고 생각합니다. GPU나 인공지능 가속기들과는 주력 기능이 다르기 때문에, 상호 보완적으로 적용도 가능할 것입니다.

 

정지훈 교수 PIM 기반의 GDDR6-AiM이 메모리 자체에 연산 기능을 도입한 제품이라면 CMS는 메모리와 연산 장치를 통합한 솔루션이라는 것이군요.

주영표 부사장 네 맞습니다. CXL과 CMS는 PIM과 달리 메모리 연산의 포인트를 데이터의 ‘준비’ 과정에 맞추고 있는 것인데요. 많은 데이터 중 실제로 필요한 데이터만을 뽑아내는 일은 연산 장치 입장에서는 쉽겠지만 굉장히 비효율적인 일이잖아요. 데이터를 하나하나 확인하느라 대부분의 시간을 허비하게 되니까요. 그래서 메모리 차원에서 연산 장치가 필요한 데이터가 무엇인지 미리 찾아준다면, 연산 장치는 더 복잡하고 중요한 연산에 집중할 수 있게 되는 것이죠. 게다가 이러한 구조는 불필요하게 이동하는 데이터를 획기적으로 줄일 수 있는데요. 이는 결국 전력 소비를 절감하는데도 큰 효과를 보일 수 있습니다.

 

* CXL (Compute eXpress Link): 메모리뿐만 아니라, GPU, AI 가속기와 같은 다양한 솔루션을 보다 효율적으로 통합, 활용할 수 있도록 만들어진 새로운 인터커넥트 기술로 ‘메모리 용량의 유연한 증가’가 장점

* CMS (Computational Memory Solution) : 고용량 메모리를 확장할 수 있는 CXL에 빅데이터 분석 응용 프로그램이 자주 수행하는 머신러닝 및 데이터 분석 연산 기능도 함께 제공하는 솔루션

* PNM(Processing Near Memory) : 메모리 칩 내부가 아닌 메모리 패키지에 별도의 연산 장치를 넣고 필요한 연산을 수행하는 메모리

출처 

https://www.thelec.kr/news/articleView.html?idxno=21147

"메모리 병목 문제 극복 위해 HBM-PIM·CXL-PNM 개발 필요" - 전자부품 전문 미디어 디일렉

https://www.digitalfocus.news/bbs/board.php?bo_table=news&wr_id=2182

삼성의 혁신 기술 CXL-PNM, AI용 RAM에 프로세서 내장으로 AI 성능 혁명

https://news.skhynix.co.kr/post/thirds-eyes-jeongjihoon-3

[제3시선, 최고가 최고를 만나다 with 정지훈] 미래를 여는 인공지능, 인공지능을 만드는 반도체 EP