사이버 범죄, AI 악용 심화: 웜GPT부터 감옥 탈출 LLM까지

최근 시스코 탈로스의 연구 결과에 따르면 사이버 범죄자들이 인공지능(AI) 도구를 창의적으로 악용하고 있는 것으로 나타났습니다. 합법적인 대규모 언어 모델(LLM)을 악용한 도구들이 등장하고 있으며, 범죄자들은 자체적인 LLM을 훈련시키기도 합니다. AI가 사이버 보안 팀과 사이버 범죄자 모두에게 활용되고 있다는 점은 부인할 수 없지만, 범죄자들이 ‘검열되지 않은’ LLM, ‘감옥 탈출’ LLM, 그리고 사이버 범죄자 맞춤형 LLM을 표적에 활용하는 사례가 늘고 있습니다.

웜GPT와 LLM 악용의 현실

최근 공개된 바에 따르면 Grok과 Mistral AI 모델이 웜GPT 변종을 구동하여 악성 코드 생성, 사회 공학 공격, 해킹 튜토리얼 제공 등에 활용되고 있습니다. 이는 LLM 악용이 사이버 범죄자들에게 인기 있는 전략으로 자리 잡고 있음을 시사합니다. LLM은 보안 기능과 안전 장치를 갖추고 있어 편향성을 최소화하고 인간의 가치와 윤리에 부합하는 결과물을 생성하도록 설계되었으며, 챗봇이 악성 코드나 피싱 이메일 생성과 같은 유해한 행위에 관여하지 않도록 방지합니다. 하지만 이러한 안전 장치를 우회하는 방법들이 속속 등장하고 있습니다.

검열되지 않은 LLM과 감옥 탈출 LLM

이번 연구에서 관찰된 소위 ‘검열되지 않은’ LLM은 정상적인 제약 조건 없이 작동하는 AI 모델의 변종입니다. 즉, 범죄자를 위해 작업을 수행하고 유해한 콘텐츠를 생성할 수 있습니다. 연구 결과에 따르면 이러한 LLM은 쉽게 찾을 수 있으며, 비교적 간단한 프롬프트만으로 실행할 수 있습니다. 일부 범죄자들은 한 걸음 더 나아가 웜GPT, FraudGPT, DarkGPT와 같은 자체적인 LLM을 만들었습니다. 이러한 LLM은 악의적인 기능을 제공하며, FraudGPT는 로그/쿠키 복제를 위한 자동 스크립트 생성, 사기 페이지/편지 작성, 유출 및 취약점 발견, 코딩/해킹 학습 기능 등을 제공한다고 주장합니다. 다른 범죄자들은 ‘감옥 탈출’ 챗봇을 통해 합법적인 AI 모델의 안전 기능을 우회합니다. 이는 Base64/Rot-13 인코딩, 다른 언어 사용, "L33t sp34k", 이모지, 심지어 모스 부호와 같은 ‘난독화 기술’을 사용하여 수행할 수 있습니다.

사이버 범죄의 ‘포스 멀티플라이어’ AI

시스코 탈로스는 "AI 기술이 계속 발전함에 따라 사이버 범죄자들이 LLM을 활용하여 프로세스를 간소화하고, 사용자를 공격하고 방어 시스템을 쉽게 우회할 수 있는 도구/스크립트를 작성하며, 콘텐츠를 생성하는 데 사용할 것으로 예상합니다. 이 새로운 기술은 사이버 범죄자에게 완전히 새로운 사이버 무기를 제공하는 것은 아니지만, 친숙한 공격을 강화하고 개선하는 ‘포스 멀티플라이어’ 역할을 합니다."라고 보고서를 통해 밝혔습니다.

맺음말

AI 기술은 사이버 보안과 사이버 범죄 양쪽에서 활용되고 있으며, 사이버 범죄자들은 AI를 점점 더 창의적인 방식으로 악용하고 있습니다. 웜GPT와 같은 자체 LLM을 개발하거나, 기존 LLM의 안전 장치를 우회하는 기술을 사용하는 등, AI는 사이버 공격의 효율성과 규모를 증폭시키는 ‘포스 멀티플라이어’ 역할을 하고 있습니다. 이에 대응하기 위해서는 AI 기반 사이버 보안 기술 개발과 함께, 사이버 범죄자들의 AI 악용 방식에 대한 지속적인 연구와 분석이 필요합니다.