AI 도입 실패 사례 증가: CIO의 신중한 접근 필요

최근 기업들이 AI 기술 도입에 어려움을 겪는 사례가 늘면서, CIO들이 기술 자체와 그 파급 효과를 충분히 이해하기 전에는 성급하게 추진하지 않으려는 경향이 뚜렷해지고 있습니다. 시장조사 회사 옴디아의 보고서에 따르면, AI 도입 의지는 여전히 높지만 실제 서비스로 이어지는 성공률은 낮습니다.

AI 프로젝트, 왜 실패하는가?

옴디아는 개념증명(PoC) 실패 원인을 AI 기술 자체의 결함보다는 기업과 공급업체 모두 AI 배포의 복잡성을 제대로 이해하지 못하기 때문이라고 분석합니다. 많은 기업들이 AI 실험 단계에 머물러 있지만, 실제 서비스 단계로 전환하는 데 어려움을 겪고 있습니다. 데이터 전략 수립, 데이터 파이프라인 정비 등 핵심 단계를 건너뛰면서 막대한 재작업 비용이 발생하기도 합니다.

CIO, 속도 조절이 필요하다

하이퍼프레임 리서치의 스티븐 디킨스 애널리스트는 이사회와 CEO의 압박 속에 CIO와 IT 의사결정권자들이 프로젝트 선정과 실행에서 속도를 지나치게 높일 위험이 있다고 지적합니다. 그는 성급하게 움직이기보다는 검증된 가치에 집중하고, 낮은 위험과 높은 효과를 기대할 수 있는 분야부터 시작하는 것이 중요하다고 강조합니다. 내부 코드 생성이나 고객 서비스 분류와 같은 영역에서 파일럿 프로젝트를 진행하는 것이 좋은 전략이 될 수 있습니다.

데이터 준비, 성공의 필수 조건

제이 골드 어소시에이츠의 잭 골드 애널리스트는 범용 LLM(Large Language Model)이 기업 환경에 최적화되어 있지 않으므로, 자체 데이터를 반드시 보완해야 한다고 강조합니다. 많은 기업들이 데이터가 여러 시스템에 흩어져 있거나 접근이 어려워 모델을 제대로 미세 조정하기 어렵다는 현실적인 문제에 직면하고 있습니다. 따라서 AI 도입 전에 데이터 전략을 수립하고 데이터 파이프라인을 정비하는 것이 필수적입니다.

성공적인 AI 도입을 위한 조건

AI를 비즈니스 재구상 도구로 바라보는 조직이 초기 우위를 점할 것으로 예상됩니다. 단순히 비용 절감에만 초점을 맞추기보다는 AI의 파급 효과를 고려해야 합니다. PoC를 실제 서비스로 확장하는 과정에서는 확장성, 프로젝트 비용, 인재 확보도 중요한 요소입니다. 젠팩트의 한진숙 총괄 책임자는 AI 도구가 단순한 '플러그 앤 플레이' 기술이 아니며, 기술이 실제 업무에 활용 가능하고 의미가 있으려면 더 많은 조건이 갖춰져야 한다고 지적합니다.

인간과 AI의 협업, 최적의 시너지 창출

한진숙 총괄 책임자는 에이전틱 AI가 도입된 경우에도 인간의 감독이 여전히 필요하다고 강조합니다. 기계가 가장 잘하는 일은 기계에 맡기고, 사람이 가장 잘하는 일은 사람에게 맡겨야 한다는 것입니다. AI 업체 클린랩의 커티스 노스컷 CEO는 도구 호출 기능을 갖춘 진정한 에이전틱 AI 에이전트는 빠르면 2027년 초에나 현실화될 것으로 전망합니다.

과거의 실패에서 배우는 지혜

잭 골드 애널리스트는 이미 성공 사례를 보유한 기업과 협력할 것을 권장합니다. 이러한 기업들은 다양한 실패 경험을 통해 시행착오 지점을 잘 알고 있기 때문에 도입 과정에서 시간을 절약하고 자원 낭비를 줄여 초기 성공률을 높이는 데 도움이 될 수 있습니다. 성공적인 AI 도입은 기술적 이해뿐만 아니라 전략적 접근, 데이터 준비, 그리고 인간과 AI의 협업을 통해 이루어집니다.

AI 도입, 신중한 접근과 전략적 선택이 성공의 열쇠

AI 기술은 기업의 혁신과 성장을 이끌 잠재력을 지니고 있지만, 성급한 도입은 실패로 이어질 수 있습니다. CIO는 기술에 대한 깊이 있는 이해를 바탕으로, 데이터 전략 수립, 인재 확보, 그리고 인간과 AI의 협업을 고려한 신중한 접근을 통해 AI 도입의 성공률을 높여야 할 것입니다.