by Wizard

인텔, MLPerf 벤치마크 결과 발표: AI PC 경쟁의 서막을 열다

인텔이 MLCommons에서 발표한 MLPerf Client v0.6 벤치마크 결과에서 "완전한 신경망 처리 장치(NPU) 지원"을 달성한 최초의 반도체 기업이라고 발표하면서 업계 분석가들 사이에서 다양한 반응이 나오고 있습니다. 인텔은 이번 벤치마크 결과가 자사의 코어 울트라 시리즈 2 프로세서가 AMD 스트릭스 포인트(라이젠 AI 300 시리즈 프로세서의 코드명)와 퀄컴 스냅드래곤 X 엘리트 프로세서를 능가하며, GPU와 NPU 모두에서 "일반적인 사람이 읽는 속도보다 훨씬 빠르게 결과물을 생성할 수 있다"는 것을 보여준다고 주장했습니다.

인텔의 주장과 벤치마크 결과

인텔에 따르면 자사는 "가장 빠른 NPU 응답 시간을 달성하여 단 1.09초 만에 첫 번째 단어(첫 번째 토큰 지연 시간)를 생성했으며, 이는 프롬프트를 받은 직후 거의 즉시 답변을 시작한다는 의미입니다. 또한 초당 18.55개의 토큰으로 가장 높은 NPU 처리량을 제공하여 시스템이 각 추가 텍스트 조각을 얼마나 빠르게 생성할 수 있는지를 나타내므로 원활한 실시간 AI 상호 작용이 가능합니다." 이러한 주장은 인텔이 AI PC 시장에서 경쟁 우위를 확보하려는 노력의 일환으로 해석될 수 있습니다.

업계 분석가들의 다양한 시각

무어 인사이트 앤 스트래티지의 수석 분석가 앤설 사그는 MLPerf를 "업계에서 가장 중요한 AI 벤치마크 중 하나"라고 평가하며, "이번 발표는 인텔의 ISV 강점과 역량, 그리고 이것이 AI의 급속한 성장에 어떻게 도움이 되는지를 분명하게 보여주는 사례"라고 분석했습니다. 그는 NPU가 비디오 컨퍼런스, 소음 감소, 창의적인 작업 등에 활용될 수 있으며, 윈도우 기능이 AI 가속화되고 더 많은 앱이 NPU를 활용하기 시작하면서 벤치마크 성능이 점점 더 중요해지고 있다고 언급했습니다.

반면, 포레스터 리서치의 수석 분석가 앨빈 응우옌은 "이 NPU 사용 사례에 맞는 '킬러 AI 앱'이 아직 없기 때문에" 벤치마크 결과가 시기상조라고 지적하면서도 "인텔이 일시적이더라도 가능한 모든 승리를 얻으려고 노력하는 이유를 이해할 수 있다"고 말했습니다. 그는 업계 전체가 "공정한 비교를 위해 어떤 벤치마크를 사용해야 하는지, 또는 사용될 것인지"를 파악해야 한다고 강조하며, "인텔이 대화를 시작한 것에 대해서는 축하하지만, 다른 [칩 벤더]들의 반응을 기다리고 있다"고 덧붙였습니다.

인포-테크 리서치 그룹의 연구 책임자 토마스 랜들은 "PC의 NPU는 실시간 자막, 음성-텍스트 변환, 밝기 조절, 배경 흐림, 텍스트 초안 작성 및 요약을 제공하는 AI 비서와 같은 가볍고 저전력 작업을 처리합니다."라고 설명했습니다. 그는 "이러한 작업은 하드웨어를 크게 압박하지 않기 때문에 현재 NPU 벤치마크는 큰 의미가 없습니다. 실제로 대부분의 NPU는 이미 충분한 성능을 갖추고 있습니다."라고 덧붙였습니다.

NPU 성능의 중요성: 미래를 위한 투자?

랜들은 "AI 네이티브 앱이 발전하고 더 많은 성능에 대한 수요가 증가함에 따라 (예: 포토샵이 GPU를 확보하고 배터리 수명을 연장하기 위해 AI를 NPU로 점점 더 많이 오프로드하는 것처럼) 이러한 벤치마크는 점점 더 관련성이 높아질 것이며, 특히 온디바이스 개인 정보 보호 AI(예: 소규모 언어 모델)가 새로운 장치 릴리스에서 일반화된다면 더욱 그렇습니다."라고 전망했습니다. 그는 NPU 속도가 "더 무거운 AI 워크로드에 집중할 때" 중요하며, "비디오 통화에서 배경을 흐리게 하는 데는 약간의 전력만 필요하지만, 이미지 생성은 현재 NPU의 기능을 한계까지 밀어붙입니다."라고 설명했습니다.

랜들에 따르면, NPU는 AI 작업에 특화되어 있기 때문에 "음성 인식, 화상 통화 중 배경 흐림, 사진 수정, 코파일럿 스타일의 비서와 같은 스마트 기능과 같은 일상적인 작업에 매우 적합합니다." 그는 "Apple (Neural Engine), Intel (AI Boost), Qualcomm (Hexagon)에서 NPU를 볼 수 있을 것입니다."라고 덧붙였습니다. 사그는 "NPU는 지속적으로 실행되는 특정 워크로드에 본질적으로 더 효율적이며 특정 AI 워크로드에 대한 전력을 많이 절약할 수 있습니다. GPU는 빠르게 실행해야 하지만 전력을 너무 많이 소비할 필요가 없는 고성능 워크로드에 적합합니다."라고 설명했습니다.

사그는 "표준화된 성능을 갖는다는 것은 서로 다른 플랫폼 간의 차이점과 특정 AI 작업을 어떻게 수행할 수 있는지를 비교하고 이해하여 구매자와 소비자가 AI PC에서 기대할 수 있는 바를 잘 알 수 있도록 하는 것입니다."라고 말했습니다. 응우옌은 벤치마킹 측면에서 "인텔에게 모자를 벗고 '비교 지점을 설정하려고 노력해 주셔서 감사합니다. 그것이 올바른 것이 아닐 수도 있지만 적어도 무언가를 하고 있습니다.'라고 말할 것입니다. AMD, Qualcomm, Apple이 무엇을 시작할지 궁금합니다."라고 덧붙였습니다.

AMD와 퀄컴의 입장

컴퓨터월드는 AMD와 퀄컴에 의견을 요청했으며, 마감 시한까지 퀄컴으로부터는 답변을 받지 못했지만 AMD는 "AI 벤치마크, 모델 및 워크로드는 매우 빠른 속도로 진화하고 있습니다. AMD는 최첨단을 유지하기 위해 노력하고 있습니다."라고 밝혔습니다. AMD는 또한 "라마.cpp와 같은 효율적인 런타임으로 구동되는 최신 추론 워크로드에 최적화하여 소비자 및 엔터프라이즈급 CPU 모두에서 Llama 70B와 같은 대형 트랜스포머 모델을 배포할 수 있도록 지원하고 있습니다. 이러한 노력의 일환으로 AMD Ryzen AI 300 시리즈는 LM Studio를 실행할 때 Intel Core Ultra 7 288V에 비해 최대 3배 더 빠른 TTFT (time-to-first-token) 성능을 제공합니다."라고 덧붙였습니다.

맺음말

인텔의 이번 발표는 AI PC 시장 경쟁의 시작을 알리는 신호탄으로 해석될 수 있습니다. 벤치마크 결과에 대한 다양한 해석과 앞으로의 AI 기술 발전 방향에 대한 논의는 더욱 활발해질 것으로 예상됩니다. 결국, 소비자들은 더욱 강력하고 효율적인 AI 기능을 탑재한 PC를 선택할 수 있는 기회를 얻게 될 것입니다.