생성형 AI의 현실, 보안과 엔지니어링의 중요성

생성형 AI는 혁신적인 가능성을 제시하지만, 그 이면에는 간과할 수 없는 위험이 존재합니다. 특히 보안 문제는 AI 도입의 발목을 잡을 수 있는 핵심 요소입니다. 데이터셋(Datasette) 설립자 사이먼 윌리슨은 현재 AI 개발의 흐름을 웹 2.0 시대의 실수와 비교하며, 데이터와 명령어를 동일하게 취급하는 오류를 지적합니다. 이는 프롬프트 인젝션과 같은 취약점을 낳고, 데이터 탈취 및 잘못된 작업을 대규모로 수행하는 AI 에이전트를 만들어낼 수 있습니다.

프롬프트 인젝션: 새로운 SQL 인젝션

프롬프트 인젝션은 AI 에이전트 보안의 핵심 약점으로, 윌리슨은 이를 "오늘날의 SQL 인젝션"이라고 표현합니다. 그는 시스템이 개인 데이터 접근 권한, 신뢰할 수 없는 콘텐츠 접근 경로, 데이터 기반 행동 수행 능력이라는 3가지 조건을 모두 갖추고 있다면 공격에 노출된 것으로 간주합니다. 이 문제는 이론이 아닌 현실이며, 파일 읽기, 웹페이지 스크래핑, 이메일 전송 등의 기능을 수행하는 에이전트는 이미 명령 주입 공격에 취약할 수 있습니다. AI로 AI 공격을 탐지하려는 시도는 일종의 ‘마법적 사고’에 불과하며, 적응형 공격 앞에서는 무력화될 가능성이 높습니다.

컨텍스트는 기능이 아니라 버그다

개발자 사이에는 컨텍스트가 많을수록 좋다는 안이한 전제가 존재하지만, 컨텍스트는 마법 같은 기억력이 아닌 일종의 의존성입니다. 컨텍스트 창에 토큰을 추가할수록 혼란, 환각, 인젝션 공격의 가능성은 커집니다. 따라서 더 큰 프롬프트가 아닌 더 나은 아키텍처에 집중해야 합니다. 범위가 명확히 정의된 도구, 작고 명시적인 컨텍스트, 격리된 워크스페이스, 지속성이 필요한 데이터를 저장할 수 있는 별도의 공간이 필요합니다. 컨텍스트를 다루는 규율이란 모델이 볼 수 있는 정보를 적극적으로 잘라내는 시스템을 구축하는 것입니다.

메모리는 결국 데이터베이스 문제

윌리슨은 AI의 메모리는 결국 데이터 엔지니어링 문제라고 주장합니다. 그는 컨텍스트 오프로딩을 통해 예측 불가능한 프롬프트에서 상태를 제거하고 안정적이고 영속적인 저장소로 옮기는 과정을 강조합니다. 하지만 현재 많은 팀이 이 과정을 ‘바이브’에 의존하여 처리하고 있습니다. JSON 데이터를 벡터 스토어에 던져 넣고 그것을 메모리라고 부르는 방식으로는 충분하지 않습니다. 메모리는 단순히 과거 대화를 기억하는 기능만이 아니라, 정체성, 권한, 워크플로우 상태, 도구 사용 기록 등을 포함하는 광범위한 개념입니다.

'바이브'로 만든 결과를 진짜 작동하게 만들기

윌리슨은 AI 툴을 활용한 코딩을 즐기지만, ‘바이브 코딩’과 ‘바이브 엔지니어링’을 구분합니다. 그는 AI를 테스트, 벤치마크, 제약 조건의 하네스 안에 묶어 구현은 AI에 맡기되, 동작의 검증은 코드로 수행합니다. AI가 생성한 코드는 대부분 "거의 맞는" 상태이지만, 그 ‘거의’를 바로잡는 데 드는 시간은 예상보다 훨씬 오래 걸립니다. 따라서 AI는 개발의 순환 과정을 대체하지 않으며, 테스트 단계에 더 많은 노력을 기울여야 합니다.

결론

생성형 AI는 놀라운 가능성을 제시하지만, 보안과 엔지니어링이라는 중요한 과제를 안고 있습니다. 우리는 AI를 신뢰할 수 없고 잠재적으로 위험한 구성 요소로 취급해야 하며, 지루하지만 철저한 엔지니어링을 통해 위험을 관리해야 합니다. AI를 마법처럼 다루는 대신, 기본적인 보안 원칙을 다시 배우고 적용하는 것이 AI 시대의 필수적인 자세입니다.