by Wizard

데이터 유출 걱정 없이 안전하게! 온프레미스 AI 솔루션 ‘Lemony’ 주목

최근 기업들은 생성형 AI(GenAI)를 활용하여 업무 효율성을 높이고 혁신적인 서비스를 창출하는 데 많은 관심을 기울이고 있습니다. 하지만 클라우드 기반의 AI 솔루션은 데이터 보안 및 규정 준수 문제로 인해 도입을 망설이는 기업들도 존재합니다. 이러한 고민을 해결하기 위해 등장한 것이 바로 온프레미스 AI 솔루션입니다.

온프레미스 AI란 무엇일까요?

온프레미스 AI는 기업의 자체 데이터센터 또는 서버에 AI 모델과 인프라를 구축하여 사용하는 방식을 의미합니다. 클라우드 기반 AI와 달리 데이터가 외부로 유출될 위험이 적고, 기업의 보안 정책 및 규정을 준수하면서 AI를 활용할 수 있다는 장점이 있습니다.

Uptime Industries의 ‘Lemony’, 온프레미스 AI 시장에 도전장을 내밀다

이러한 시장의 요구에 맞춰 Uptime Industries는 클라우드 연결 없이도 안전하게 GenAI를 사용할 수 있는 **'Lemony'**라는 온프레미스 AI 솔루션을 출시했습니다. Lemony는 여러 개의 대규모 언어 모델(LLM)이 사전 탑재된 스택형 장치로, 최대 5명의 사용자를 지원하며 LAN을 통해 PC에 직접 연결할 수 있습니다. 필요에 따라 여러 노드를 연결하여 클러스터를 구성하고, 자동 장애 조치 기능을 통해 안정적인 서비스를 제공합니다.

Lemony의 주요 특징

Lemony는 IBM의 Granite AI 모델뿐만 아니라 Llama-3.1, Llama-3.2, Mistral 등 다양한 LLM을 지원합니다. 또한 JetBrains의 코딩 모델 및 도구를 통합하여 소프트웨어 개발자가 지능형 개발 기능을 활용할 수 있도록 지원합니다. 각 노드에는 NPU, AI 가속기 클러스터 및 CPU가 탑재되어 있어 뛰어난 성능을 제공하며, RAG 기능과 AI 비서 기능을 통해 문서 분석과 같은 작업을 효율적으로 수행할 수 있습니다.

간편한 설치 및 데이터 관리

Lemony는 간편한 설치 과정을 통해 빠르게 사용할 수 있도록 설계되었습니다. 사용자는 Lemony 브라우저를 통해 문서를 업로드하여 RAG에 사용하도록 인덱싱할 수 있으며, SharePoint 커넥터를 통해 더욱 간편하게 데이터를 업로드할 수 있습니다. 데이터는 API 또는 커넥터를 통해 연결하여 인덱싱되며, 데이터 유출을 방지하기 위해 지식 그래프만 유지됩니다.

철저한 보안 및 업데이트 관리

Lemony는 인터넷에 연결되지 않기 때문에 데이터 유출 위험이 적습니다. 분기별로 암호화된 USB 키를 통해 업데이트가 제공되며, 각 키는 지정된 노드에서만 작동합니다. 또한 구독 상태를 확인하기 위한 보안 타이머가 내장되어 있어 만료 시 데이터가 암호화됩니다.

전문가들의 긍정적인 평가

애널리스트들은 Lemony의 개념에 대해 긍정적인 평가를 내리고 있습니다. Moor Insights & Strategy의 Matt Kimball은 "Uptime은 규제 산업의 요구를 충족시키고 있다"고 평가하며, Gartner의 Chirag Dekate는 "온프레미스 AI 엣지는 과소 평가된 분야이며, 특히 지연 시간, 비용 또는 규정 준수가 우려되는 경우 현지화된 솔루션에 대한 기회가 있다"고 언급했습니다.

Lemony의 성공 가능성은?

Lemony는 데이터 보안 및 규정 준수를 중요하게 생각하는 기업들에게 매력적인 솔루션이 될 수 있습니다. 특히 법률, 금융, 의료 등 민감한 데이터를 다루는 분야에서 수요가 높을 것으로 예상됩니다. 하지만 AI 모델 관리, 업데이트, 문제 해결 등 해결해야 할 과제도 남아 있습니다. Uptime이 특정 산업 분야에 초점을 맞추고, AI 모델 관리 및 업데이트를 간소화하며, 경쟁력 있는 하드웨어 공급망을 구축한다면 Lemony는 온프레미스 AI 시장에서 성공적인 입지를 구축할 수 있을 것입니다.

맺음말

Lemony는 온프레미스 AI 시장에 새로운 가능성을 제시하는 솔루션입니다. 데이터 보안과 규정 준수를 중시하는 기업들에게 매력적인 대안이 될 수 있지만, 시장 경쟁력을 확보하기 위해서는 지속적인 기술 개발과 고객 지원이 필요합니다. Lemony가 이러한 과제를 극복하고 온프레미스 AI 시장을 선도하는 기업으로 성장할 수 있을지 기대됩니다.