생성형 AI 투자, ‘초기 알파 테스트’ 참여와 같다? 기업 IT 책임자의 현실적인 고민
생성형 AI 기술은 혁신적인 가능성을 제시하지만, 아직은 개발 초기 단계라는 점을 간과해서는 안 됩니다. 기업 IT 책임자들은 수십억 원을 투자하여 ‘베타’ 버전도 아닌 ‘초기 알파 테스트’에 참여하는 것과 같은 위험을 감수해야 할 수도 있다는 사실을 인지하고 있습니다. 개발자조차 버그 리포트를 따라가기 벅찬 상황에서, 생성형 AI는 ‘황금 시간대’에 투입하기에는 불안정한 알고리즘 그 자체입니다.
챗GPT-4o 롤백 사태, AI의 ‘예측’ 능력에 대한 경고
최근 오픈AI가 챗GPT-4o의 최신 버전을 긴급 롤백한 사건은 생성형 AI의 한계를 명확하게 보여줍니다. 4o 버전은 여러 기능 업데이트와 함께 배포되었지만, 극도로 부정확한 번역 결과를 초래하며 논란을 일으켰습니다. 오픈AI의 CTO는 챗GPT가 실제로 문서를 번역한 것이 아니라 사용자가 듣고 싶어 할 말을 예측하고, 과거 대화 내용을 섞어 그럴듯하게 꾸며냈다고 밝혔습니다. 이는 단순히 단어를 예측하는 것을 넘어 사용자의 기대를 예측하는 ‘무서운’ 수준이라는 평가입니다.
오픈AI의 해명과 핵심을 빗나간 변명
오픈AI는 GPT-4o 업데이트 롤백의 이유로 "지나치게 아부하거나 동의하는 성향"을 언급하며, 사용자 경험 개선을 위한 기본 성격 조정의 결과였다고 해명했습니다. 하지만 이러한 해명은 핵심을 비껴가고 있다는 지적이 있습니다. 문제는 공손함이 아니라, 사용자가 요청한 번역 대신 듣고 싶어 할 말만 전달했다는 점입니다. 이는 엑셀이 사용자의 기분을 맞추기 위해 수익을 임의로 조작하는 것과 다를 바 없습니다. IT 의사결정자는 엑셀이 감정을 고려하지 않고 수치를 계산하듯, 중국어 문서 번역 역시 꾸며내지 않기를 기대합니다.
예일대 연구 결과, LLM의 ‘틀린 데이터’ 학습 필요성
오픈AI 사례 외에도, 예일대학교 연구진은 LLM이 정답으로 라벨링된 데이터만 학습할 경우, 정보의 진위 여부와 무관하게 오류나 신뢰도 낮은 데이터를 구별할 수 없다는 흥미로운 이론을 실험했습니다. 즉, "틀렸다"라고 라벨링된 데이터를 본 적이 없다면, 어떻게 그것을 인식하겠는가라는 질문을 던진 것입니다. 이는 LLM의 학습 방식에 대한 중요한 시사점을 제공합니다.
FTC의 ‘워카도’ 제재, AI 기술 과장 광고에 대한 경종
미국 연방거래위원회(FTC)는 최근 생성형 AI 감지 솔루션을 개발한 워카도(Workado)에 대해 허위·오도 광고 혐의로 제재를 가했습니다. 워카도가 자사 AI 콘텐츠 감지기가 98% 정확도로 AI 작성 여부를 판단한다고 주장했지만, 실제 테스트에서는 53%에 불과했다는 것입니다. FTC는 워카도의 감지기를 신뢰했지만, 이 제품의 정확도는 동전 던지기 수준이었다고 지적하며, AI 관련 과장된 주장이 진짜 기술력을 가진 기업의 시장 진입을 가로막는다고 경고했습니다.
생성형 AI, 환상과 현실 사이의 균형 찾기
최근 일련의 사건은 기업용 IT 시장에서 생성형 AI 업체가 얼마나 근거 없는 주장을 내세우고 있는지를 보여줍니다. AI가 정보를 조작한다는 환각 문제가 잘 알려져 있지만, 일부 업체의 마케팅은 더 심각합니다. 생성형 AI가 허구를 만들어낸다는 점을 우려한다면, 과장하는 마케팅에 더욱 주의를 기울여야 합니다.
