AWS, 엔비디아 GPU 냉각을 위해 자체 맞춤형 액체 냉각 솔루션 구축: 그 의미와 미래

아마존 웹 서비스(AWS)가 엔비디아의 최신 GPU 냉각을 위해 자체 개발한 맞춤형 액체 냉각 시스템을 구축했다는 소식은 업계에 큰 파장을 일으키고 있습니다. 기존 액체 냉각 솔루션의 한계를 극복하고 데이터 센터 인프라 변경 없이 확장 가능한 냉각 시스템을 구축했다는 점에서 그 의미가 큽니다.

고성능 GPU 냉각의 필요성 증대

최근 AI, 머신러닝 등의 분야에서 고성능 GPU에 대한 수요가 폭발적으로 증가하면서 GPU의 발열량 또한 크게 증가했습니다. 기존의 공랭식 냉각 방식으로는 이러한 발열량을 감당하기 어려워 액체 냉각 방식이 대안으로 떠오르고 있지만, 기존 액체 냉각 솔루션은 높은 비용, 복잡한 설치, 데이터 센터 공간 부족 등의 문제점을 안고 있었습니다.

AWS의 혁신적인 냉각 솔루션, IRHX

AWS는 이러한 문제점을 해결하기 위해 In-Row Heat Exchanger(IRHX)라는 자체 맞춤형 액체 냉각 시스템을 개발했습니다. IRHX는 펌프 유닛, 물 분배 캐비닛, 팬 코일로 구성되어 있으며, AWS와 엔비디아가 공동 설계한 냉각판을 통해 칩을 냉각하고, 냉각된 액체를 다시 IRHX로 순환시키는 방식으로 작동합니다. 특히 IRHX는 기존 데이터 센터 랙 크기에 맞춰 설계되어 데이터 센터 인프라 변경 없이 쉽게 설치 및 확장이 가능하다는 장점을 가지고 있습니다.

IRHX의 장점과 활용

IRHX 시스템은 AWS의 가장 강력한 EC2 인스턴스인 P6e UltraServer에 탑재된 엔비디아 GB200 NVL72 GPU를 지원합니다. GB200 NVL72는 72개의 블랙웰 GPU를 하나의 대규모 GPU처럼 작동하도록 지원하여 AI 워크로드의 성능을 극대화합니다. IRHX는 데이터 센터 설계 변경 없이 새로운 GPU 랙을 배치할 수 있도록 지원하며, 기존 랙 크기와 인프라에 맞춰 설계되어 전 세계 데이터 센터에서 확장성을 확보할 수 있습니다.

Graviton 칩으로의 확장 가능성

현재 IRHX는 엔비디아의 블랙웰 기반 시스템에 사용되고 있지만, 향후 아마존의 자체 개발 칩인 Graviton 칩의 냉각 요구 사항이 증가할 경우 IRHX가 활용될 가능성이 높습니다. 이는 AWS가 자체 개발한 하드웨어와 냉각 시스템을 통해 데이터 센터 운영 효율성을 높이고, 경쟁력을 강화하려는 전략의 일환으로 해석될 수 있습니다.

온프레미스 복귀와 전용 호스팅 서비스

한편, AWS 고객들이 온프레미스 환경으로 다시 돌아가는 추세와 함께 전용 호스팅 서비스에 대한 관심도 높아지고 있습니다. 이는 클라우드 환경과 온프레미스 환경의 장점을 결합하여 최적의 IT 인프라를 구축하려는 기업들의 요구를 반영한 결과로 볼 수 있습니다.

AWS 유럽 소버린 클라우드 공개

AWS는 미국 IT 기업에 대한 우려를 해소하기 위해 유럽 소버린 클라우드를 공개했습니다. 이는 유럽 데이터 주권 규제를 준수하고, 유럽 고객들의 데이터 보안 및 개인 정보 보호 요구 사항을 충족하기 위한 노력의 일환으로 평가됩니다.

결론

AWS의 맞춤형 냉각 솔루션 구축은 고성능 컴퓨팅 환경에 대한 지속적인 투자와 혁신을 보여주는 사례입니다. 이는 데이터 센터 운영 효율성을 높이고, AI 워크로드 성능을 극대화하며, 궁극적으로 고객에게 더 나은 서비스를 제공하기 위한 AWS의 노력을 보여주는 중요한 사건입니다.