CES 2024를 강타한 ‘AI 공장’ 논쟁: 과연 무엇을 의미하는가?

CES 2024에서 가장 뜨거운 화두 중 하나는 단연 "AI 공장(AI Factory)"이었습니다. 기조연설, 미디어 브리핑, 그리고 주요 임원들과의 인터뷰에서 이 용어가 끊임없이 등장했지만, 그 의미는 사람마다 제각각이었습니다. 이처럼 모호한 정의는 혼란을 야기하고, 잘못된 투자로 이어질 수 있다는 우려를 낳고 있습니다.

데이터 센터인가, 그 이상인가?

델오로 그룹의 연구 이사인 알렉스 코르도빌은 "AI 공장"이라는 용어가 현재 "다양하고 종종 조잡한 방식으로 사용되고 있다"고 지적했습니다. 그는 통신 사업자, 하이퍼스케일러, 인프라 공급업체와의 대화를 통해 이 용어가 주로 "특수 데이터 센터"를 의미하는 것으로 사용된다는 것을 확인했습니다. 엔비디아 CEO 젠슨 황 역시 비슷한 맥락에서 이 용어를 사용했습니다. 그는 일반적인 데이터 센터와 달리 AI 공장은 데이터를 저장하는 곳이 아니라 AI 연산을 위한 특화된 공간이라고 강조했습니다.

산업용 수준의 인프라 요구

지멘스 CEO 롤란드 부쉬는 AI 공장이 일반 데이터 센터보다 더 많은 에너지를 소비하고, 액체 냉각이 필요하며, 일반적인 건물 제어 시스템으로는 제어할 수 없다고 설명했습니다. 그는 AI 공장이 산업용 수준의 제어 시스템을 필요로 한다고 강조했습니다. 부즈 앨런 해밀턴 CTO 빌 바스 역시 이 정의에 동의하며, AI 공장을 "AI에 특화된 하드웨어를 위해 특별히 설계된 데이터 센터"로 규정했습니다. 그는 서버 랙의 무게를 지탱하기 위한 특수 콘크리트, 전력 및 냉각 최적화를 위한 AI, 디지털 트윈, 시뮬레이션 등의 기술이 AI 공장에 적용될 수 있다고 설명했습니다.

하드웨어와 소프트웨어의 결합

하지만 일부는 AI 공장을 데이터 센터보다 작은 규모, 즉 AI 운영에 필요한 서버, 소프트웨어, 시스템 등의 결합으로 이해합니다. 예를 들어, AWS AI 팩토리는 온프레미스에서 실행되지만 AWS에서 관리하고, Bedrock, 네트워킹, 스토리지, 데이터베이스, 보안과 같은 AWS 서비스를 제공하는 하드웨어 및 소프트웨어 조합입니다. 레노버의 AI 공장은 AI 사용을 위해 설계된 패키지형 서버로 보입니다. 레노버의 AI 및 고성능 컴퓨팅 부문 부사장인 스콧 티즈는 "아키텍처는 고정된 수의 랙이 하나의 디자인으로 함께 작동하는 형태"라고 설명했습니다. 그는 랙의 수가 하나에서 수백 개까지 다양할 수 있으며, 각 랙은 고객의 사용 사례에 맞게 사전 구성되어 제공된다고 덧붙였습니다.

AI 기술 스택으로서의 AI 공장

일부 전문가들은 AI 공장 개념을 소프트웨어, 즉 AI 기술 스택에 더 초점을 맞추어 사용합니다. MIT 슬론 경영대학원의 토마스 H. 데이븐포트와 랜디 빈은 AI 공장을 "AI 시스템을 빠르고 쉽게 구축할 수 있도록 하는 기술 플랫폼, 방법, 데이터, 기존 알고리즘의 조합"으로 정의했습니다. 그들은 "기존 기반을 기반으로 구축할 수 없으면 AI를 대규모로 구축하는 데 더 많은 비용과 시간이 소요된다"고 강조했습니다. 유럽연합 집행위원회(EC) 역시 AI 공장을 컴퓨팅 하드웨어, 인적 자원, 데이터를 포함하는 생태계로 폭넓게 정의하며, 최종 결과물은 AI 모델과 애플리케이션이라고 설명했습니다. EC는 차세대 AI 모델 훈련을 위한 거대한 데이터 센터인 "AI 기가팩토리"에 대해서도 언급하며, 2025년까지 최대 5개의 AI 기가팩토리를 구축하기 위해 200억 유로를 할당했습니다.

AI 라이프사이클을 지원하는 종합 솔루션

딜로이트는 AI 공장을 AI 라이프사이클을 지원하는 하드웨어, 소프트웨어, 서비스의 조합으로 정의합니다. 딜로이트 컨설팅의 책임자이자 AI 인프라 미국 오퍼링 리드인 니콜라스 메리지는 "주요 생산물은 토큰 처리량으로 측정되는 인텔리전스"라고 말했습니다. 그는 전통적인 공장이 원자재를 투입하여 완제품을 생산하는 것처럼, AI 공장은 전력, 데이터, 거대 언어 모델(LLM)을 투입하여 인사이트를 산출한다고 설명했습니다.

결론: 명확한 정의의 중요성

AI 공장이라는 용어가 갑자기 보편화된 만큼, 공급업체가 AI 공장을 판매할 때 무엇을 설명하는지 명확히 하는 것이 중요합니다. 은유적인 의미인지, 실제 건물인지, 아니면 서버 랙 시리즈인지 정확히 파악해야 합니다. 그렇지 않으면 잘못된 개념에 투자하여 막대한 손실을 입을 수 있습니다.