AI 거버넌스 부재가 초래한 컨설팅 업계의 위기: Deloitte 사례 분석
AI 도입 가속화와 거버넌스 격차
최근 Deloitte Australia에서 발생한 AI 거버넌스 문제는 기업들이 AI를 빠르게 도입하면서 나타나는 광범위한 문제점을 드러냅니다. AI가 생성한 허위 인용문이 정부 보고서에 포함되어 컨설팅 비용 일부를 환불하는 사태로 이어졌습니다. 이는 기업들이 AI 도입 속도를 따라가지 못하는 거버넌스 시스템의 부재를 여실히 보여주는 사례입니다.
Deloitte 사건의 전말
Deloitte는 호주 고용노동부(DEWR)의 독립적인 검토 보고서를 작성하는 데 OpenAI GPT-4o를 활용했습니다. 하지만 결과적으로 보고서에는 허위 학술 인용과 존재하지 않는 법원 판례가 포함되었습니다. 더욱 심각한 점은 이러한 오류가 발견될 때까지 AI 사용 사실을 공개하지 않았다는 것입니다. 결국 Deloitte는 계약에 따라 마지막 지급액을 환불해야 했습니다. Forrester의 Charlie Dai는 이 사건을 "성숙한 거버넌스 없이 AI를 확장하는 기업들의 광범위한 문제"라고 지적했습니다.
전문가의 역할과 책임
시드니 대학교의 Christopher Rudge 박사는 동료 학자들이 작성하지 않은 논문을 인용했다는 사실을 발견하고 허위 사실을 밝혀냈습니다. 이는 해당 분야 전문가의 검토가 AI 결과물의 품질을 보장하는 데 얼마나 중요한지 보여줍니다. Forrester의 Sam Higgins는 이 사건을 "생성형 AI의 기업 도입이 위험 관리를 위한 거버넌스 프레임워크의 성숙도를 앞지르고 있다"는 점을 상기시키는 사건이라고 평가했습니다.
고객과 공급업체의 공동 책임
Greyhound Research의 Sanchit Vir Gogia는 공급업체와 고객 모두에게 책임이 있다고 주장합니다. 고객이 내부적으로 사용하는 도구가 공급업체의 업무 흐름에 나타나는 것을 놀라워해서는 안 된다는 것입니다. 그는 보고서가 공개되기 전에 왜 검토가 이루어지지 않았는지에 대한 질문을 던지며 책임은 양방향으로 작용한다고 강조했습니다.
투명성 부족과 사후 공개의 문제점
수정된 보고서에는 AI 도구를 사용하여 "추적 가능성 및 문서화 격차"를 해소했다는 내용이 추가되었습니다. 하지만 Dai는 많은 기업들이 AI 사용을 "내부 도구"로 간주하여 투명성과 신뢰 격차를 야기한다고 지적했습니다. Higgins는 Deloitte의 사후 공개가 정부의 AI 사용 투명성 지침을 훼손한다고 비판했습니다.
벤더 계약의 현대화 필요성
Deloitte 사례에서 드러난 정보 공개 실패와 품질 관리 문제는 AI 도구를 사용하는 벤더와의 계약 방식에 근본적인 문제가 있음을 시사합니다. Rudge는 AI가 비용과 시간을 절약해 줄 수 있지만, 최종 품질 검토 단계에서 해당 분야 전문가의 검토를 의무화해야 한다고 주장했습니다. 그는 AI 도입의 경제적 이점이 전문가 검토 비용을 상쇄할 수 있다고 덧붙였습니다.
성숙한 거버넌스 프레임워크 구축
벤더 관리 외에도 조직은 AI를 체계적인 위험으로 간주하고 공식적인 정책과 교차 기능적 감독을 요구하는 포괄적인 거버넌스 프레임워크를 구축해야 합니다. Dai는 CIO와 조달 팀이 AI 공개 의무, 품질 보증 표준, AI 오류에 대한 책임, 감사 권한 등을 계약 조항에 포함해야 한다고 강조했습니다. Higgins는 AI 오류에 대한 책임을 정의하고 감사 권한을 포함해야 한다고 덧붙였습니다.
AI 시대의 협력적 거버넌스
Gogia는 고객과 벤더 담당자가 참여하는 공동 검토 위원회를 통해 AI가 생성한 콘텐츠를 검토하는 모델이 등장하고 있다고 언급했습니다. 그는 "AI가 없는 것이 아니라 증거가 있는 것이 성숙함"이라며 "AI 시대의 거버넌스는 대립이 아닌 협력에 보상을 줄 것"이라고 전망했습니다.
결론
Deloitte 사건은 AI 도입에 앞서 거버넌스 체계 구축의 중요성을 일깨워주는 사례입니다. 기업은 AI 사용에 대한 투명성을 확보하고, 전문가 검토를 의무화하며, AI 오류에 대한 책임 소재를 명확히 해야 합니다. 또한, AI를 단순한 생산성 도구가 아닌 체계적인 위험으로 인식하고, 전사적인 차원에서 AI 거버넌스를 강화해야 할 것입니다. 이러한 노력은 AI 시대에 지속 가능한 성장을 위한 필수 조건입니다.
