AMD, 2027년까지 전력 효율 100배 향상을 목표로 하고 있다고 말하는 리사 수 CEO

AMD CEO 리사 수는 imec의 ITF World 2024 컨퍼런스에 참석하여 혁신과 업계 리더십에 대한 권위 있는 imec 혁신상을 수상했으며 Gordon Moore, Morris Chang 및 Bill Gates와 같은 다른 이전 수상자들과 합류했습니다. 수상을 받은 후 리사 수는 2025년까지 컴퓨팅 노드 전력 효율성을 30배 높이는 것을 목표로 하는 회사의 30x25 목표를 달성하기 위해 AMD가 취한 단계를 다루는 프레젠테이션을 시작했습니다. 리사 수는 AMD가 이를 달성하기 위한 궤도에 올랐을 뿐만 아니라 목표이지만 이제 2026년부터 2027년까지 100배 이상 개선될 수 있는 경로도 보입니다.

ChatGPT와 같은 생성적 AI LLM의 폭발적인 증가로 인해 AI 전력 사용에 대한 우려가 부각되었지만 AMD는 2021년부터 AI의 엄청난 전력 식욕에 대한 문제를 예견하려는 비전을 가지고 있었습니다. 당시 AMD는 30x25에 대한 작업을 시작했습니다. 특히 AI 및 HPC 전력 소비를 다가오는 문제로 언급하면서 데이터 센터 컴퓨팅 노드 전력 효율성을 향상시키는 것이 목표입니다. (AMD는 2014년에 2020년까지 소비자 프로세서 전력 효율성을 25배 향상시키겠다는 최초의 25x20 목표로 첫 번째 야심찬 에너지 목표를 세웠으며, 이는 31.7배 개선으로 이를 초과했습니다.)

(이미지 출처: AMD)

이제 그 문제가 전면에 나타났습니다. 생성적 AI는 세계 최대 기업들이 AI 패권을 놓고 경쟁하면서 데이터 센터의 급속한 확장을 촉진하고 있지만 공공 전력망은 전력이 부족한 데이터 센터의 갑작스러운 급증에 대비하지 않아 전력이 새로운 제한 요소가 되고 있습니다. 그리드 용량, 인프라 및 환경 문제로 인해 신규 데이터 센터와 확장 데이터 센터 모두에 전용으로 할당할 수 있는 용량이 제한되므로 데이터 센터에서 사용할 수 있는 전력량에는 엄격한 제한이 있습니다. 실제로 전력 공급을 보장하기 위해 발전소 옆에 많은 새로운 데이터 센터가 건설되고 있으며, 엄청난 수요로 인해 개별 데이터 센터에 공급하기 위한 원자력 소형 모듈 원자로(SMR)에 대한 요구가 다시 촉발되었습니다. 

(이미지 출처: AMD)

모델 학습에 필요한 컴퓨팅이 증가함에 따라 문제는 더욱 심화되고 있습니다. 리사 수는 첫 번째 이미지 및 음성 인식 AI 모델의 크기가 2년마다 두 배로 늘어나 지난 10년간 컴퓨팅 성능의 발전 속도와 거의 일치한다고 지적했습니다. 생성적 AI 모델의 크기는 현재 연간 20배씩 증가하고 있지만 컴퓨팅 및 메모리 발전 속도를 앞지르고 있습니다. 리사 수는 오늘날의 가장 큰 모델은 최대 수만 메가와트시를 소비하는 수만 개의 GPU에서 훈련되지만 모델 크기가 빠르게 확장되면 곧 훈련을 위해 최대 수십만 개의 GPU가 필요할 수 있으며 아마도 몇 기가와트의 전력이 필요할 수 있다고 말했습니다. 단일 모델을 훈련합니다. 그것은 분명히 견딜 수 없습니다. 

AMD는 실리콘 아키텍처 및 고급 패키징 전략을 넘어 AI 전용 아키텍처, 시스템 및 데이터 센터 레벨 튜닝, 소프트웨어 및 하드웨어 공동 설계 이니셔티브까지 확장하는 광범위한 접근 방식으로 구성된 전력 효율성 향상을 위한 다각적인 전략을 보유하고 있습니다. 

(이미지 출처: AMD)

당연히 실리콘이 기반입니다. 리사 수는 전력 효율과 성능을 개선하기 위한 AMD의 실리콘 로드맵의 다음 단계로 3nm GAA(Gate All Around) 트랜지스터와 함께, 보다 전력 효율적이고 비용 효율적인 모듈식 디자인을 가능하게 하는 고급 패키징 및 상호 연결에 지속적으로 집중하고 있다고 언급했습니다. 고급 패키징은 단일 칩 패키지의 제약 내에서 더 많은 마력을 생산하기 위한 스케일 아웃 설계에 핵심적인 역할을 하며, AMD는 데이터 센터 실리콘의 각 평방 밀리미터에서 얻을 수 있는 와트당 컴퓨팅 성능을 극대화하기 위해 2.5D 및 3D 패키징을 혼합하여 사용하고 있습니다. 

서버 노드와 서버 랙 간 데이터 전송은 더 긴 거리로 인해 추가 전력을 소비하므로, 데이터 로컬리티에 최적화하면 엄청난 전력 절감 효과를 얻을 수 있습니다. AMD의 MI300X는 점점 더 커지는 칩 패키지의 효율성을 보여주는 좋은 예입니다. 이 칩은 12개의 칩렛에 1,530억 개의 트랜지스터가 24개의 HBM3 칩과 결합되어 192GB의 메모리 용량을 제공하며, 모두 GPU에서 로컬 메모리로 사용할 수 있습니다. 전력 및 성능에 최적화된 인피니티 패브릭 인터커넥트가 패키지 내 장치 간에 결합되어 극한의 컴퓨팅 및 메모리 밀도로 더 많은 데이터를 처리 코어에 가깝게 유지하여 데이터 전송에 필요한 에너지 양을 줄입니다.