2026년 기준, AI 에이전트 시장은 급성장하지만, 40%의 프로젝트가 취소될 수 있습니다. 그 원인은 모델 성능이 아닌 ‘사용자 신뢰’ 부족입니다. 본 글은 AI 에이전트의 성공을 위한 사용자 경험 중심의 새로운 평가 프레임워크를 제시합니다.
2026년 현재, AI 에이전트 시장은 2024년 51억 달러에서 2030년 470억 달러 이상으로 급성장할 전망입니다.
하지만 가트너는 2027년 말까지 에이전트 AI 프로젝트의 40% 이상이 취소될 것이라 경고합니다. 그 원인은 모델 역량이 아닌 ‘신뢰’ 문제입니다. 전통적인 AI 평가는 모델 성능에 집중할 뿐, 사용자가 에이전트에게 행동을 위임할 만큼 신뢰하는지는 측정하지 않습니다.
인포월드는 신뢰성과 예측 가능성이 기업 도입의 최대 과제라고 지적합니다. 이는 모델 계층이 아닌 상호작용 계층의 문제이며, 평가에 대한 새로운 접근 방식을 요구합니다. 마이크로소프트와 시스코에서의 경험은 성공적인 팀들이 사용자 관점에서 에이전트 행동을 평가함을 보여줍니다. 이하에서 그 프레임워크를 소개합니다.
평가의 공백
2024년 네이처 휴먼 비헤이비어 연구는 인간-AI 조합이 인간 단독 또는 AI 단독보다 성과가 낮은 경우가 많았다고 밝혔습니다. 특히 의사결정 과제에서 성과 저하가 나타났으며, 차이는 모델 품질이 아닌 인간-AI 상호작용 방식에서 비롯됩니다.
표준 벤치마크는 이 상호작용 계층을 놓칩니다. 검색 벤치마크에서 완벽한 에이전트라도 불확실성을 전달 못하거나 의도를 오해하면 사용자에게는 실패한 도구입니다. 깃허브와 액센추어 연구도 이를 뒷받침합니다. AI 어시스턴트 사용으로 작업이 55% 빨라졌지만, AI 생성 코드의 수정 빈도는 41% 높았습니다. 기술적으로 유효한 결과물과 실용적으로 올바른 결과물 사이의 간극이 분명히 존재합니다.
AI 평가가 측정해야 할 것의 재정의
벤치마크 성능과 사용자 신뢰 간의 간극은 무엇을 평가해야 하는지에 대한 근본적인 질문을 던집니다. 전통적 지표는 에이전트가 올바른 결과물을 냈는지만 알려줄 뿐, 사용자의 이해, 신뢰, 문제 해결 능력은 측정하지 않습니다.
여기서 사용자 경험(UX) 방법론이 핵심이 됩니다. UX 리서치는 시스템과 사용자 경험 간의 간극에 집중해왔으며, 전통적 사용성 문제가 AI 에이전트에서는 신뢰 문제로 드러납니다. 상호작용 계층 평가는 이 시각을 AI 에이전트에 적용해 "모델 성능"에서 "사용자 경험"으로 초점을 전환합니다. 이 관점의 전환은 에이전트 성공을 좌우하는 세 가지 차원을 제시합니다.
에이전트는 사용자가 실제로 원하는 것을 이해하는가
가장 흔한 상호작용 실패는 에이전트가 사용자 의도와 다르게 요청을 해석하여 정확도 지표를 통과하지만, 사용자는 원치 않는 결과물을 받는 ‘의도 정렬 문제’입니다. 기술적으로 유효한 해석이라 표준 평가로는 감지되지 않습니다.
실패는 사용자의 의도와 에이전트의 이해 간 간극에 존재합니다. 효과적인 평가는 이 간극을 직접 측정합니다. 사용자의 해석 수정 빈도, 작업 포기율, 요청 재구성 횟수가 주요 지표입니다. 2026년 기준, 오픈AI 오퍼레이터는 행동 전 사용자 승인을, 앤트로픽은 사람 검증을, 마이크로소프트 HAX 툴킷은 기대치 설정을 강조합니다. 구글 제미나이는 API 안전 제어를 제공하나 상호작용 계층 확인은 구현 주체에 맡깁니다.
에이전트는 자신이 모르는 것을 아는가
적절한 불확실성을 표현하는 에이전트는 신뢰를 얻지만, 실제 신뢰도와 무관하게 자신감만 내비치는 에이전트는 신뢰를 갉아먹습니다. 표준 평가는 모든 결과물을 동일하게 취급하여 ‘신뢰도 보정 문제’를 야기합니다.
사용자는 결과물을 언제 믿고 검증해야 할지 알아야 합니다. 보정되지 않은 불확실성 신호는 과도한 의존 또는 불필요한 검증으로 이어집니다. 효과적인 평가는 에이전트의 명시된 신뢰 수준이 실제 신뢰도를 얼마나 정확히 예측하는지를 추적합니다. 2026년, 앤트로픽 클로드는 불확실할 때 약 70% 답변을 거부하며, 오픈AI는 단호한 응답을 우선시합니다. 구글은 개발자를 위한 기술적 로그프로브를 제공하며, 마이크로소프트 코파일럿 연구는 검증 사용자가 더 나은 결정을 내린다고 보고합니다.
사용자의 수정이 에이전트 행동에 대해 무엇을 말해주는가
사용자가 에이전트 결과물을 수정할 때마다 상호작용 계층 실패에 대한 신호가 생성됩니다. 표준 평가는 수정을 오류로 보지만, 상호작용 계층 평가는 수정을 진단 데이터로 취급하는 ‘수정 패턴 문제’에 주목합니다.
핵심은 수정 빈도보다 수정이 드러내는 내용입니다. 에이전트가 맥락 오해, 잘못된 가정, 기술적으로는 맞지만 실용적이지 않은 결과물을 냈는가? 효과적인 평가는 수정을 유형별로 분류하고 추이를 추적합니다. 특정 영역에서 높은 수정율은 체계적 문제 신호이며, 사용자 전반의 일관된 패턴은 벤치마크가 놓친 공백을 의미합니다. 2026년, 링크드인 AI 플랫폼은 이메일 수정 내용까지 기록하며, 구글 PAIR 가이드북은 사용자 수정을 학습 신호로, 앤트로픽 헌법적 AI는 구조화된 피드백으로 모델을 업데이트합니다.
에이전트 평가를 강화하는 UX 리서치 방법론
전통적 AI 평가는 자동화된 지표에 의존하지만, 상호작용 계층 평가는 맥락 속 사용자 행동 이해를 위해 UX 리서치 방법론이 필수적입니다.
태스크 분석: 사용자 워크플로 매핑으로 에이전트 평가 체크포인트와 의도 정렬 오류의 고위험 순간을 식별합니다. 초기 오해는 후속 오류를 누적시킵니다.
발화 사고(Think-aloud): 원격 측정으로는 파악 어려운 신뢰도 보정 실패를 드러냅니다. 사용자가 에이전트와 상호작용하며 추론 과정을 소리 내어 말할 때, 불확실성 신호 전달 여부와 자동화 편향을 포착합니다.
수정 분류 체계: 수정을 단순히 집계하지 않고 유형별로 분류합니다. 요청 오해, 잘못된 가정, 기술적 유효성 및 맥락 부적절 등, 각 유형은 다른 개선 방향을 제시합니다.
신뢰 변화 추적 다이어리 연구: 에이전트와의 초기 상호작용과 정착된 패턴의 차이를 종단적으로 포착합니다. 과도한 의존, 회의론, 보정된 신뢰로 이어지는 과정을 분석하여 신뢰의 형성과 오류를 밝힙니다.
현장 조사(Contextual inquiry): 실제 환경에서 사용자를 관찰하여, 중단, 멀티태스킹, 시간 압박 등 환경적 요인이 에이전트 결과물 해석에 미치는 영향을 드러냅니다.
즉각적인 피드백 수집 또한 중요합니다. 필자는 음성 AI 에이전트 연구에서 4가지 과제 후 즉시 피드백을 수집하여 대화 품질, 발화 교대, 톤 변화가 신뢰에 미치는 영향을 파악했습니다. 이 순차적 구조는 단일 과제 평가가 놓치는 누적된 신뢰 또는 신뢰 훼손 과정을 포착했습니다. 이러한 방법론들은 자동화된 평가를 보완하며, UX 리서치를 평가 주기에 통합한 팀은 신뢰 실패가 프로덕션에 도달하기 전에 효과적으로 포착하고 해결할 수 있습니다.
제품 개발에 AI 평가 내재화하기
데이터브릭스의 LLM 심사위원과 합성 데이터 병행 방식은 확장 가능하나, 자동화된 평가만으로는 실제 사용자 경험을 파악할 수 없습니다. 효과적인 AI 제품 개발은 개발 주기 전반에 걸쳐 상호작용 계층 평가를 통합해야 합니다.
모델 성능이 아닌 사용자 행동을 측정하도록 구축 전에 평가 기준을 정의해야 합니다. 전통적 가관측성은 지연 시간, 오류율을 포착하지만, 상호작용 계층 가관측성은 작업 이탈, 재구성 빈도, 사용자 수정의 성격을 포착합니다. 2026년, 파운데이션 모델 기반 팀은 평가를 API 수준 지표에서 멈춰서는 안 됩니다. 동일 모델도 상호작용 계층이 역량과 한계를 사용자에게 어떻게 드러내느냐에 따라 성패가 갈립니다.
신뢰라는 명제
연구 결과는 명확합니다. 에이전트가 사용자가 이해하고 예측 가능한 방식으로 행동할 때 인간-AI 협업은 성과를 높입니다. 기술적으로는 맞지만 실용적으로 불투명한 에이전트 행동은 성과를 낮춥니다.
이제 모델 역량은 병목이 아닙니다. 병목은 상호작용 계층입니다. 신뢰는 더 나은 벤치마크로 쌓이지 않고, 벤치마크가 놓치는 사용자 경험 차원을 평가함으로써 쌓입니다. 효과적인 AI 에이전트를 구축하는 팀은 모델 개발자에게 중요한 것이 아닌 사용자에게 중요한 것을 평가합니다. 그 신뢰가 어떤 에이전트 AI 프로젝트가 성공하고, 어떤 프로젝트가 가트너가 예측한 40% 취소 목록에 합류할지를 결정할 것입니다.
