by Wizard

급증하는 AI 봇 트래픽: 웹사이트 운영자를 위한 경고와 대응 전략

최근 Fastly에서 발표한 보고서는 자동화된 웹 트래픽의 급격한 변화를 보여줍니다. 특히 AI 봇 트래픽이 눈에 띄게 증가했으며, Meta의 AI 크롤러가 전체 AI 크롤러 트래픽의 절반 이상을 차지하는 것으로 나타났습니다. 이는 웹사이트 운영자에게 다양한 문제점을 야기할 수 있으며, 이에 대한 이해와 적절한 대응 전략 마련이 시급합니다.

AI 봇 트래픽의 두 가지 유형: 크롤러와 Fetcher

보고서는 AI 봇을 크롤러와 Fetcher 두 가지 유형으로 분류합니다. 크롤러는 검색 엔진처럼 웹사이트를 체계적으로 스캔하여 콘텐츠를 수집하고, 언어 모델 훈련에 필요한 데이터를 구축합니다. 반면 Fetcher는 사용자 요청에 따라 웹사이트 콘텐츠에 접근하여 실시간 정보를 제공하거나, 검색어와 관련된 웹사이트 링크를 제공합니다. 흥미로운 점은 전체 AI 봇 요청의 약 80%를 크롤러가 차지하고 있다는 것입니다.

AI 봇 트래픽 급증의 영향

보고서는 AI 봇의 실시간 Fetching이 크롤러 속도보다 더 큰 문제가 될 수 있다고 지적합니다. Fetcher 봇은 단일 웹사이트에 분당 수만 건의 요청을 보내 서버 자원을 고갈시키고, 대역폭을 소비하며, DDoS 공격과 유사한 효과를 일으킬 수 있습니다. 이러한 과도한 트래픽은 웹사이트의 성능 저하, 사용자 경험 악화, 심지어 서비스 중단으로 이어질 수 있습니다.

Meta, AI 크롤러 트래픽의 절반 이상 차지

보고서에 따르면 Meta의 AI 봇은 전체 AI 크롤러 트래픽의 52%를 차지하며, Google(23%)과 OpenAI(20%)를 합친 것보다 두 배 이상 많습니다. 이는 Meta가 AI 모델 훈련을 위해 웹 콘텐츠를 적극적으로 수집하고 있다는 것을 의미합니다. 특히 하이테크, 상거래, 미디어 및 엔터테인먼트 분야에서 AI 모델 훈련을 위한 스크래핑이 활발하게 이루어지고 있습니다.

ChatGPT, 실시간 웹사이트 트래픽의 대부분을 생성

Fetcher 봇 요청의 98%가 OpenAI의 봇에서 발생하는 것으로 나타났습니다. 이는 ChatGPT와 같은 AI 챗봇이 실시간으로 웹사이트 정보를 검색하고 사용자에게 제공하는 과정에서 막대한 트래픽을 발생시키고 있음을 시사합니다. 이러한 트래픽은 웹사이트에 새로운 기회를 제공할 수도 있지만, 동시에 서버 부하를 증가시키는 요인이 될 수도 있습니다.

웹사이트 운영자가 직면한 과제

AI 봇 트래픽 증가는 웹사이트 운영자에게 다양한 과제를 안겨줍니다. 데이터 프라이버시, 보안, 윤리, 지적 재산권, 인프라 및 대역폭 소비 등 부정적인 영향에 대한 이해가 필요합니다. 또한, 많은 AI 크롤러가 인간 행동을 모방하여 기존 방어 및 제어 시스템을 우회하므로, 혁신적인 탐지 기술 개발이 요구됩니다.

AI 봇 트래픽 관리 전략

Fastly 보고서는 웹사이트 운영자가 더욱 스마트한 봇 관리 전략을 수립해야 한다고 강조합니다. `robots.txt` 지시문 활용, 속도 제한과 같은 기술적 제어, 그리고 종합적인 봇 관리 솔루션 투자를 통해 AI 봇 트래픽을 효과적으로 관리할 수 있습니다. 또한, 봇 트래픽 급증에 대비한 사전 전략 수립도 중요합니다.

웹사이트 소유주의 어려운 선택

웹사이트 소유주는 어려운 선택에 직면해 있습니다. 한편으로는 자신의 블로그와 정보가 AI 도구에 활용되어 정보 수집이나 쇼핑 결정에 도움이 되는 것이 가치 있을 수 있습니다. 또한, AI 에이전트를 통해 웹사이트와 상호 작용하고 주문을 완료할 수 있는 미래의 가능성도 존재합니다. 다른 한편으로는 AI가 훈련 데이터 세트를 개선하기 위해 비용을 발생시키고, 검색 엔진처럼 웹사이트로 트래픽을 유도하지 못할 수 있습니다. 또한, AI가 환각 현상을 일으켜 웹사이트나 비즈니스 제품에 대한 잘못된 정보를 제공하거나, 악의적인 사용자가 AI 모델을 오염시켜 비즈니스에 피해를 줄 위험도 존재합니다.

DDoS 공격 위험 증가

보안 측면에서, 누군가가 AI 트래픽을 DDoS 공격에 활용하는 것은 시간 문제입니다. 봇 트래픽, 특히 AI 봇 트래픽은 계속 증가할 것이므로, 이를 완화하기 위한 통제가 필수적입니다.

결론

AI 봇 트래픽의 급증은 웹 생태계에 큰 변화를 가져오고 있습니다. 웹사이트 운영자는 AI 봇 트래픽의 특성을 이해하고, 잠재적인 위험을 평가하며, 적절한 관리 전략을 수립해야 합니다. 능동적인 대응을 통해 AI 시대에도 지속 가능한 웹 환경을 구축할 수 있을 것입니다.