GPT-5도 뚫렸다 에코 체임버와 스토리텔링 공격의 위협

오픈AI의 최신 모델 GPT-5가 출시된 지 얼마 되지 않아 보안 연구자들에 의해 해킹당했습니다. 뉴럴트러스트는 에코 체임버와 스토리텔링 기법을 결합한 공격을 통해 GPT-5의 보안 장치를 우회하는 데 성공했다고 발표했습니다. 이는 생성형 AI 모델의 보안 취약점을 보여주는 사례이며, 앞으로 더욱 강력한 보안 대책이 필요함을 시사합니다.

에코 체임버와 스토리텔링의 결합

뉴럴트러스트 연구팀은 에코 체임버 기법을 사용하여 겉으로 드러나지 않는 유해한 대화 맥락을 심고, 이를 반복적으로 강화했습니다. 또한, 모델이 이야기를 계속 전개하도록 유도하는 스토리텔링 기법을 사용하여 제한된 콘텐츠를 생성하도록 만들었습니다. 이러한 조합은 모델이 거부 반응을 일으키는 것을 최소화하면서 목표한 방향으로 유도하는 데 효과적입니다.

공격의 작동 방식

공격은 두 단계로 진행됩니다. 먼저, 무해한 프롬프트 문장에 목표 단어나 아이디어를 숨겨 유해한 맥락을 만듭니다. 이후, 이야기 흐름이 끊기지 않도록 대화를 설계하고, 세부 설명이나 전개를 반복적으로 요청하여 대화가 목표 방향으로 수렴되도록 합니다. 연구팀은 이야기 형식을 통해 유해한 콘텐츠를 끌어내는 데 성공했습니다.

기존 필터의 무력화

각 대화 턴은 이야기의 세부 묘사를 요청하는 것처럼 보이기 때문에 악의적 의도나 경고성 키워드를 탐지하는 기존 필터가 작동하기 어렵습니다. 연구팀은 긴급성, 안전, 생존을 강조했을 때 모델이 서사 안에서 '도움이 되는' 방향으로 세부 내용을 확장하는 경향을 보였다고 설명했습니다.

다른 모델도 취약

뉴럴트러스트는 이전에도 xAI의 그록-4를 유사한 방식으로 해킹한 바 있습니다. 또한, 에코 체임버 기법은 GPT와 제미나이 모델에도 적용될 수 있다는 사실을 밝혀냈습니다. 이는 다양한 생성형 AI 모델들이 유사한 취약점을 가지고 있음을 시사합니다.

보안의 중요성 증대

보안 업체들은 새로운 모델이 출시될 때마다 압박 테스트를 진행하여 보안 취약점을 찾고 있습니다. 이는 모델 제공업체에 책임을 묻는 동시에 기업 보안팀이 AI 모델의 안전한 사용법을 이해하도록 돕기 위한 노력입니다. 모델 제공업체들은 보안을 더욱 강화하고, 기업 보안팀은 AI 모델의 사용을 신중하게 관리해야 할 것입니다.

맺음말

이번 GPT-5 해킹 사례는 생성형 AI 모델의 보안 취약성을 명확히 보여줍니다. 앞으로 AI 모델 개발 경쟁이 심화될수록 이러한 취약점은 더욱 많이 나타날 수 있습니다. 따라서 AI 모델 개발자들은 보안을 최우선으로 고려하고, 사용자들은 AI 모델의 사용에 주의를 기울여야 합니다.