■ Arm CPU 개발. NVLink 연결 로 획기적인 속도 개선
-2023년 엔비디아 최초 CPU인 Grace 출시 계획. Arm 아키텍처 기반이며 가장 큰 특징은 PCIe 대신 NVLink 로 GPU와 CPU를 연결 한다는 점
- AI 워크로드 병목현상은 주로 GPU와 시스템 메모리간 연결 속도에서 발생. NVLink는 GPU와 GPU를 연결하는 기술로 PCIe 대비 10배 빠름. GPU끼리는 NVLink로 연결되어 데이터 전송이 빠르지만 x86 CPU는 PCIe 연결만 지원해 CPU 시스템 메모리 접근 과정에서 속도 저하.
- GPU-CPU 연결에 NVLink를 사용하면 좋겠지만 현존하는 모든 x86 CPU는 NVLink 연결을 지원하지 않음. 그래서 엔비디아는 NVLink 연결이 가능한 CPU를 직접 개발
- 아키텍처: 일반적인 데이터센터 서버는 CPU 1개당 GPU 4개를 PCIe로 연결 하는 반면 Grace는 CPU와 GPU 를 1 대 1로 NVLink
- 성능: Grace는 CPU당 300 SPECint _rate 이상 8개 CPU로 구성된 DGX 시스템은 총 2,400 SPECint _rate 이상(vs 일반 시스템 450 SPECint_rate ). GPU-CPU 인터페이스는 900Gbps NVLink로 CPU 시스템 메모리 대역폭과 대등한 수준으로, GPU가 시스템 메모리에 full bandwidth로 접근 가능
주) SPECint_rate는 CPU 성능 벤치마크. 주어진 시간에 얼마나 많은 정수연산 작업을 수행하는지 대역폭 측정
- 젠슨 황 CEO는 Arm 기반 Grace 시스템은 오늘날 최고 성능 서버보다 AI 연산속도 10배 이상이라 강조. 스위스 슈퍼컴퓨팅 센터(CSCC), 미 에너지국 Los Almos는 슈퍼컴퓨터에 Grace 도입 예정.
(허지수 대신증권 연구원)
장태민 기자 chang@fntimes.com