생성형 AI 시대, 기업의 책임감 있는 AI 거버넌스 구축 전략
최근 생성형 AI 기술이 빠르게 확산되면서 기업들은 SaaS 플랫폼, 내장형 코파일럿, 제3자 도구 등을 통해 AI를 도입하고 있습니다. 하지만 기존의 거버넌스 체계로는 이러한 빠른 변화 속도를 따라가지 못하고 있으며, AI가 고객 상호 작용, 채용 결정, 재무 분석, 소프트웨어 개발 등 다양한 업무에 영향을 미치고 있음에도 불구하고 책임 있는 사용을 위한 보호 장치가 미흡한 상황입니다.
AI 도입 속도와 거버넌스 간의 격차
기업들은 AI를 도입하는 속도보다 AI 사용을 관리하는 속도가 더 느립니다. 문제가 발생한 후에야 통제 장치를 마련하려고 하지만, 이미 늦은 경우가 많습니다. 이는 구조적인 문제에서 비롯됩니다. 기존의 거버넌스는 중앙 집중식이고 의사 결정 속도가 느린 시스템에 맞춰 설계되었지만, AI 도입은 분산적이고 빠르게 진행됩니다. 기업들은 매일같이 AI 관련 결정을 내리고 있지만, 거버넌스는 여전히 승인 절차를 거치는 데 시간이 오래 걸립니다.
데이터 통제 및 가시성 확보의 중요성
AI 도입 과정에서 가장 먼저 무너지는 것은 데이터 통제와 가시성입니다. 직원들이 민감한 정보를 공개된 생성형 AI 도구에 붙여 넣고, 데이터 흐름이 추적되지 않아 데이터가 어디로 흘러갔는지 알 수 없게 됩니다. 따라서 기업은 모델 거버넌스에서 사용 거버넌스로 전환해야 합니다. 모델 자체를 통제할 수는 없지만, 모델 사용 방식, 데이터 접근, 결과물 흐름은 통제할 수 있습니다. 거버넌스를 사후 검토하는 정책 문서가 아닌, 업무 흐름 내에 통합해야 합니다.
기존 데이터 거버넌스의 한계
기존의 데이터 거버넌스 모델은 생성형 AI 시대에 맞지 않습니다. 과거에는 기록 시스템과 분석 파이프라인에 맞춰 거버넌스가 구축되었지만, 이제는 시스템이 시스템을 생성하고 새로운 데이터와 결과물이 생성되는 환경입니다. 이러한 환경에서는 특정 시점의 감사만으로는 충분하지 않으며, 결과물 중심의 통제로는 위험을 제대로 파악할 수 없습니다. AI는 환각, 차별, 데이터 드리프트 등의 문제를 일으킬 수 있으므로, 입력 데이터에 대한 관리가 중요합니다.
벤더 AI 거버넌스의 취약점
내부 AI 거버넌스가 약한 경우, 제3자 벤더 AI 거버넌스는 더욱 취약합니다. 기업들은 자체적으로 구축한 AI를 관리하는 데에는 비교적 능숙하지만, 벤더 제품에 내장된 AI를 관리하는 데에는 준비가 부족합니다. 많은 기업들이 AI 개인 정보 보호에 대한 질문에 대해 안심시키는 답변만 듣고 넘어가는 경우가 많습니다. 하지만 성숙한 거버넌스는 구체적인 질문을 던집니다. 고객 데이터가 모델 학습에 사용되는지, 다른 고객과 공유되는지, LLM에 대한 접근 방식은 무엇인지 등을 확인해야 합니다.
기술 통제만으로는 부족한 이유
기술 통제만으로는 책임감 있는 AI 사용을 보장할 수 없습니다. 행동이 더욱 중요합니다. AI 관련 사고가 발생한 후 전문가들은 사고가 예측 가능했다는 사실을 깨닫습니다. 문제는 사람들이 AI를 안전하게 사용하는 방법을 배우지 못했다는 것입니다. 생성형 AI에 대한 전면적인 금지는 효과가 없습니다. 오히려 직원들이 규제를 피해서 AI를 사용하게 되고, 통제할 수 없는 방식으로 사용할 수 있습니다. 따라서 행동 학습을 통해 압박감 속에서도 올바른 결정을 내릴 수 있도록 훈련해야 합니다.
감사 시 드러나는 거버넌스의 허점
많은 기업들이 정책을 가지고 있는 것과 거버넌스를 실제로 운영하는 것을 혼동합니다. 책임감 있는 AI 원칙은 실제 의사 결정에 영향을 미치지 않으면 의미가 없습니다. 성숙한 거버넌스는 결과에 영향을 미칩니다. AI 도입이 지연되거나, 벤더가 거부되거나, 기능이 제한되는 등의 결과가 나타납니다. 반면 미성숙한 거버넌스는 모호한 보장만 제공합니다. 따라서 AI 거버넌스를 준수 활동이 아닌, 경영 시스템으로 취급해야 합니다.
책임감 있는 AI 거버넌스 구축을 위한 노력
AI가 의사 결정에 미치는 영향을 파악하고, 사용 및 입력 데이터에 대한 관리를 강화하며, 벤더 AI에 대한 위험을 평가하고, 행동 학습을 통해 책임감 있는 AI 사용을 장려해야 합니다. 이러한 노력을 통해 기업은 규제 문제를 피할 뿐만 아니라, 더욱 빠르고 자신감 있게 AI를 활용할 수 있습니다.
