by Wizard

마이크로소프트 Mu: 미래를 엿보는 혁신적인 AI 시스템

마이크로소프트가 최근 공개한 새로운 생성형 AI 시스템, Mu는 우리가 PC부터 토스터까지 모든 것을 사용하는 방식에 혁신을 가져올 미래를 보여주는 듯합니다. Mu는 사용자가 일상 언어를 사용하여 컴퓨터를 제어할 수 있게 해줍니다. "다크 모드 켜줘" 또는 "마우스 포인터 더 크게 해줘"와 같이 말하거나 입력하면 컴퓨터가 즉시 실행하는 것이죠.

Windows 11 설정 앱에 첫 등장

Mu는 Windows 11 설정 앱에 처음으로 적용되었습니다. 특정 설정을 변경하고 싶을 때 말하거나 입력하면, 생성형 AI 도구가 사용자의 의도를 파악하고 설정을 변경해 줍니다. 중요한 점은 Mu가 클라우드에서 실행되는 거대 언어 모델(LLM)이 아니라는 것입니다. Mu는 단 3억 3천만 개의 파라미터로 구성된 소형 언어 모델(SLM)이며, 신경망 처리 장치(NPU)라는 특수 AI 칩에서 실행되도록 설계되었습니다.

Copilot+ PC: Mu를 위한 최적의 환경

이 칩은 2024년 6월부터 출시된 마이크로소프트, 델, HP, 레노버, 삼성, 에이서의 최신 Copilot+ PC에 탑재되어 있습니다. 현재 Mu와 Windows 11의 다른 고급 AI 기능을 사용할 수 있는 유일한 컴퓨터입니다. 클라우드 기반의 LLM 챗봇과는 달리, Mu는 인터넷 연결 없이도 PC에서 완전히 실행되는 SLM입니다. Microsoft Copilot+ PC는 초당 최소 40조 회의 연산을 처리할 수 있는 NPU를 탑재하고 있어 Mu를 실행할 수 있습니다.

Qualcomm, AMD, Intel과의 협력

마이크로소프트는 Qualcomm, AMD, Intel과 협력하여 Mu가 이들의 NPU에서 원활하게 실행되도록 했습니다. 이제 Copilot+ PC에는 이러한 NPU가 기본으로 탑재됩니다. Mu는 트랜스포머 인코더-디코더 설계를 사용하여 작업을 두 부분으로 나눕니다. 인코더는 사용자의 말을 압축된 형태로 변환하고, 디코더는 이 형태를 바탕으로 올바른 명령이나 답변을 생성합니다. 이 설계는 특히 설정 변경과 같은 작업에서 기존 모델보다 효율적입니다.

기술적 특징과 성능

Mu는 32개의 인코더 레이어와 12개의 디코더 레이어를 가지고 있으며, 이는 NPU의 메모리 및 속도 제한에 맞게 선택된 구성입니다. 이 모델은 로터리 위치 임베딩을 사용하여 단어 순서를 유지하고, 이중 레이어 정규화를 통해 안정성을 유지하며, 그룹화된 쿼리 어텐션을 통해 메모리를 보다 효율적으로 사용합니다. 이러한 기술적 선택 덕분에 Mu는 초당 100개 이상의 토큰을 처리하고 500밀리초 이내에 응답할 수 있습니다.

ChatGPT와의 비교

OpenAI의 ChatGPT와 같은 LLM 기반 챗봇과 비교했을 때 Mu는 매우 빠릅니다. 마이크로소프트는 Windows 설정 및 관련 작업에 초점을 맞춰 360만 개의 예제로 Mu를 훈련했습니다. 이 훈련은 NVIDIA A100 GPU를 사용하여 Azure에서 진행되었습니다. 훈련 후 마이크로소프트는 Mu를 미세 조정하고 양자화를 사용하여 메모리 요구 사항을 줄여 모든 칩 제조업체의 NPU에서 잘 실행되도록 했습니다. 그 결과 Mu는 Microsoft의 Phi-3.5-mini 모델 크기의 약 1/10이지만, 수행하도록 구축된 작업에서는 거의 동일한 성능을 보입니다.

Mu의 혁신성

Mu는 사용자가 자연어를 사용하여 시스템 설정을 제어할 수 있도록 구축된 최초의 SLM이며, 주류 장치에서 완전히 실행된다는 점에서 진정으로 획기적입니다. Apple의 iPhone, iPad, Mac에는 모두 Neural Engine NPU가 탑재되어 있으며, Siri 및 Apple Intelligence와 같은 기능을 위해 장치 내 AI를 실행합니다. 그러나 Apple은 Mu만큼 시스템 설정과 깊이 통합된 소형 언어 모델을 보유하고 있지 않습니다. Siri 및 Apple Intelligence는 일부 설정을 변경할 수 있지만, 범위나 유연성이 동일하지 않습니다.

삼성과 구글의 노력

삼성의 Galaxy S25 및 기타 최신 플래그십 휴대폰에는 사용자 정의 NPU와 Galaxy AI가 탑재되어 다양한 장치 제어 및 개인 비서 작업을 수행할 수 있습니다. 그러나 이들 역시 포괄적인 시스템 설정 제어를 위한 SLM이 부족합니다. Google의 Chromebook Plus 장치에는 NPU가 있고 장치 내 AI를 지원하지만, Mu와 같은 방식으로 시스템 설정에 SLM을 사용하지 않습니다.

개인 정보 보호 및 효율성

Mu는 데이터를 장치에서 직접 처리함으로써 개인 정보를 보호하고 즉각적으로 응답합니다. 또한 데이터가 컴퓨터에서 나가지 않기 때문에 유럽 및 미국과 같은 지역의 개인 정보 보호법을 준수하기가 더 쉽습니다. 업계가 이 방향으로 나아가는 것은 당연합니다. SLM은 이제 더 큰 클라우드 기반 모델과 동등한 수준으로 집중적인 작업을 처리할 수 있을 만큼 강력합니다. 운영 비용이 저렴하고 에너지를 덜 사용하며 특정 작업이나 언어에 맞게 조정할 수 있습니다.

NPU의 보편화

NPU는 희귀한 것이 아닙니다. 현재 새로운 휴대폰, 태블릿, 심지어 가전제품에서도 사용할 수 있습니다. 이러한 칩은 신경망을 효율적이고 낮은 전력으로 실행하도록 설계되어 안정적인 인터넷 연결 없이도 어디서나 작동하는 스마트 기능을 제공할 수 있습니다. 가장 중요한 것은 NPU에서 실행되는 SLM이 PC, 휴대폰, 태블릿뿐만 아니라 모든 것에 큰 영향을 미친다는 것입니다.

미래의 모습

성능과 기능이 향상되고 비용이 절감됨에 따라 자동차 대시보드, 온도 조절기, 세탁기, 트랙터 및 기타 모든 것(토스터 포함)이 복잡한 메뉴 대신 음성 제어 설정을 사용할 것으로 예상할 수 있습니다. 주방에 들어가 토스터에게 20분 후에 베이글을 살짝 굽고 커피 메이커에게 플랫 화이트를 만들어 달라고 말할 것입니다. 아침 식사 후에는 홈 오피스로 이동하여 각 장치에 전용된 SLM과 대화하여 모든 종류의 IoT 장치 및 기타 객체를 원격으로 제어할 것입니다.

LLM과의 협업

장치 제어를 위한 이러한 SLM은 코드 작성, 웹사이트 및 앱 구축, 모든 비즈니스 커뮤니케이션 지원과 같은 정보 및 기타 작업을 위해 LLM과 직접 협력할 것입니다. 사용자가 대화할 SLM은 주로 스마트 안경에서 로컬로 실행됩니다. Copilot+ PC를 소유하거나 사용하지 않을 수도 있습니다. 하지만 대부분의 전문적 및 개인적 생활에서 매일 많은 장치에서 Mu와 같은 것을 확실히 사용할 것입니다. 이는 우리가 기계와 상호 작용하는 방식의 미래를 엿볼 수 있는 진정한 기회입니다.

맺음말

마이크로소프트 Mu는 소형 언어 모델을 활용하여 시스템 설정을 자연어로 제어하는 혁신적인 AI 시스템입니다. Copilot+ PC를 통해 처음 선보였지만, 미래에는 다양한 장치에서 사용될 가능성이 높습니다. 개인 정보 보호를 강화하고 효율성을 높이는 Mu는 우리가 기계와 상호 작용하는 방식을 바꿀 잠재력을 가지고 있습니다.