AI 시대, 기업 IT는 ‘자동화된 계정 차단’ 리스크에 어떻게 대비해야 할까?
최근 스위스 사이버 보안 회사 CEO의 사례는 기업 IT 임원들에게 중요한 경고를 던져줍니다. 바로 제3자 의존의 위험성, 자동화된 의사 결정 시스템의 한계, 그리고 정책 위반으로 인한 계정 차단 시 고객과의 소통 문제점입니다. Anthropic과 한 CEO 간의 사건을 통해 AI 기반 서비스의 잠재적인 위험과 기업이 어떻게 대비해야 하는지 살펴보겠습니다.
자동화된 계정 차단의 현실
Wicked Design의 CEO 톰 호프만은 Anthropic으로부터 자동화된 시스템 검토 결과, 정책 위반으로 계정이 취소되었다는 통보를 받았습니다. 그는 LinkedIn을 통해 이 문제를 알리고, Anthropic 담당자에게 연락했습니다. 다행히 계정은 복구되었지만, 회사 프로젝트와 데이터의 80%가 사라진 것을 확인했습니다. Anthropic은 유료 구독을 통해 데이터 복구가 가능하다고 안내했습니다. 이러한 상황은 자동화된 시스템 오류로 인해 기업이 얼마나 큰 혼란을 겪을 수 있는지를 보여주는 단적인 예입니다.
AI 서비스 의존, 새로운 리스크의 등장
AI 서비스 의존에 대한 우려는 이미 존재했지만, 대부분 서비스 중단이나 사이버 공격에 초점이 맞춰져 있었습니다. 하지만 이번 사례처럼 AI 벤더의 자동화 시스템이 구체적인 설명 없이 계정을 차단하고, 사람이 개입하기 어려운 상황은 기업에게 새로운 골칫거리를 안겨줍니다. 톰 호프만은 서비스 만족도 때문에 Anthropic을 계속 이용할 계획이지만, Microsoft, AWS, Google, OpenAI 등 다른 기업들도 이러한 문제를 피할 수 있을지 의문을 제기했습니다. 특히 계정 차단 사유를 공개하지 않는 정책은 정부 압력에 의한 부당한 제재를 은폐할 수 있다는 우려도 낳고 있습니다.
고객에게 무엇을, 얼마나 알려야 할까?
정책 위반으로 계정이 차단된 고객에게 정보를 제공하는 것은 어려운 문제입니다. 정보를 숨기는 것은 사이버 보안 및 사기 방지 프로토콜에 근거합니다. 차단된 고객이 실제로 사기꾼이나 사이버 범죄자일 경우, 상세한 정보를 제공하면 수법을 개선하여 재시도할 수 있기 때문입니다. 반면, 고객에게 충분한 정보를 제공하는 것은 공정성을 확보하고, 고객이 해명하고 방어할 기회를 제공합니다. 기업은 고객이 문제를 해결할 수 있을 만큼 충분한 정보, 그러나 범죄자가 악용할 수 없는 수준의 정보를 제공해야 합니다. 예를 들어, 어떤 행위가 의심스러운지 알려주되, 어떻게 탐지했는지는 밝히지 않는 방식입니다.
자동화된 의사 결정 소프트웨어, '사람'의 역할은 필수
자동화된 의사 결정 시스템은 비용 절감 압박에 직면했을 때 더욱 위험해질 수 있습니다. '사람'이 개입하는 것은 필수적이지만, 그것만으로는 충분하지 않습니다. 소프트웨어가 수천 명의 고객 계정 차단을 추천하고, 한 사람이 짧은 시간 안에 결정을 내려야 한다면, 이는 제대로 된 관리라고 할 수 없습니다. 소프트웨어는 문제를 감지하되, 사람이 적극적으로 검토해야 합니다. 긴급한 상황에서는 즉시 계정을 중단해야 할 수도 있지만, 대부분의 경우 고객에게 사전 경고를 보내고 답변을 듣는 것이 바람직합니다.
문제 발생 시, 고객과 소통할 담당자를 배치해야
안전한 환경을 구축하려면 고객 계정 차단 관련 문의에 응대할 인력을 배치해야 합니다. 이들은 소프트웨어의 결정을 번복하고 즉시 계정을 복구할 수 있는 권한을 가진 고위 담당자여야 합니다. 또한 부당하게 계정이 차단된 고객에게는 충분한 보상을 제공해야 합니다. 이는 고객의 불만을 줄이고, 기업이 자동화 시스템을 개선하도록 유도하는 효과가 있습니다. 과도한 보상 지급은 소프트웨어 개선 필요성을 알려주는 신호가 될 수 있습니다.
계약서 검토 및 명확한 대응 계획 수립
Greyhound Research의 수석 분석가인 Sanchit Vir Gogia는 이러한 계정 차단 상황이 더욱 흔해질 것이며, 기업은 이에 대한 대비책을 마련해야 한다고 강조합니다. 많은 CIO들이 핵심 클라우드 또는 AI 제공업체가 설명 없이 계정을 중단할 경우, 대응 계획이 없다고 인정합니다. 이는 보안 문제가 아닌 거버넌스 문제입니다. 계약서를 통해 공급업체의 책임과 의무를 명확히 규정하고, 예상치 못한 계정 차단에 대비한 명확한 대응 계획을 수립해야 합니다.
