by Wizard

인공지능(AI) 시대, ‘추론’이 핵심으로 떠오르다: CES 2024 트렌드 분석

최근 CES 2024에서 인공지능(AI) 추론이 핵심 키워드로 부상하며, AI 시장의 무게중심이 변화하고 있음을 시사했습니다. 과거 막대한 자금이 투입되었던 AI 모델 ‘훈련’ 단계를 넘어, 실제 서비스에 AI를 적용하는 ‘추론’ 단계가 중요해지고 있는 것입니다. 이번 블로그 글에서는 CES 2024에서 나타난 AI 추론 트렌드를 분석하고, 그 배경과 의미, 그리고 관련 시장 전망을 자세히 살펴보겠습니다.

AI 추론이란 무엇인가?

AI 추론은 AI 모델이 학습을 통해 얻은 지식을 바탕으로 새로운 데이터에 대한 예측이나 판단을 수행하는 과정을 의미합니다. 예를 들어, 챗봇이 사용자의 질문에 답변하거나, 자율주행차가 주변 환경을 인식하고 운전 결정을 내리는 것이 모두 AI 추론의 결과입니다. AI 모델 훈련은 막대한 컴퓨팅 자원을 필요로 하지만, 추론은 상대적으로 적은 자원으로도 실시간 서비스 제공이 가능하다는 장점이 있습니다.

AI 시장의 중심 이동: 훈련에서 추론으로

레노버 CEO 양 위안칭은 CES 2024에서 "AI 관련 지출의 80%가 모델 훈련에, 20%가 추론에 사용되었지만, 앞으로는 그 비율이 역전될 것"이라고 전망했습니다. 이는 기업들이 AI 도입 초기 단계에서 대규모 모델 구축에 집중했지만, 이제는 실제 서비스 적용을 통해 AI의 가치를 창출하는 단계로 접어들고 있음을 의미합니다. 딜로이트 역시 2025년에는 AI 컴퓨팅의 절반이, 2026년에는 2/3가 추론 워크로드에 사용될 것이라고 예측했습니다.

기업들이 추론 서버에 주목하는 이유

기업들이 자체적인 AI 추론 서버 구축에 관심을 갖는 이유는 크게 세 가지로 요약됩니다. 첫째, 클라우드 컴퓨팅에 대한 전략적 접근입니다. 초기 실험 단계나 넓은 지역에 서비스를 제공할 때는 클라우드가 유용하지만, 워크로드 규모와 예측 가능성이 높다면 자체 서버를 구축하는 것이 비용 효율적일 수 있습니다. 둘째, 데이터가 생성되는 곳에서 즉시 활용해야 할 필요성입니다. 엣지 AI 서버를 통해 데이터를 즉시 처리하고 활용함으로써 불필요한 데이터 저장 및 전송 비용을 절감할 수 있습니다. 셋째, 데이터 보안 및 규제 준수 문제입니다. 자체적인 AI 추론 환경을 구축하면 데이터 유출 위험을 줄이고, 데이터 주권을 확보할 수 있습니다.

AI 추론 시장 경쟁 심화: 레노버, AMD, Dell, HPE

CES 2024에서 레노버는 제조, 의료, 금융 등 다양한 분야에 적용 가능한 3종의 새로운 추론 서버를 공개하며 AI 추론 시장 선점에 나섰습니다. AMD 역시 기업 AI 온프레미스 추론을 위한 AMD Instinct MI440X GPU를 발표하며 경쟁에 합류했습니다. Dell과 HPE 역시 지난해 이미 새로운 추론 서버를 출시하며 시장 경쟁에 뛰어든 상황입니다. 앞으로 AI 추론 시장은 더욱 치열한 경쟁을 펼칠 것으로 예상됩니다.

AI 추론 시대, 어떤 준비가 필요할까?

AI 추론 시대에 성공적으로 적응하기 위해서는 기업들은 다음과 같은 준비가 필요합니다. 첫째, 비즈니스 목표에 맞는 AI 모델 및 추론 환경을 구축해야 합니다. 둘째, 데이터 보안 및 규제 준수를 위한 철저한 준비가 필요합니다. 셋째, AI 전문가를 양성하고 확보해야 합니다. 넷째, AI 기술 변화에 대한 지속적인 관심과 투자가 필요합니다. 이러한 준비를 통해 기업들은 AI 추론 시대를 선도하고, 경쟁 우위를 확보할 수 있을 것입니다.