대형언어모델(LLM), 의료 상담 도우미로 아직은 역부족? 현실적인 사용성 검증 결과

최근 옥스퍼드 인터넷 연구소와 널필드 1차 의료 보건 과학과의 공동 연구 결과, 대형언어모델(LLM)의 방대한 의학 지식이 실제 환자에게 유용한 정보로 이어지지 못한다는 사실이 밝혀졌습니다. 겉으로 보기에는 의료 지식이 풍부해 보이는 LLM이 실제 의료 현장에서 얼마나 도움이 될 수 있을까요? 이번 연구는 이러한 의문에 대해 중요한 시사점을 던져줍니다.

LLM, 이론적 지식과 실제 활용 간의 괴리

이번 연구는 영국인 1,298명을 대상으로 진행되었으며, GPT-4o, Llama 3, Command R 등 다양한 LLM을 활용하여 건강 증상을 평가하고 대응 방안을 제시하는 그룹과, 기존 방식(검색 엔진, 개인적인 지식 등)을 사용하는 대조군으로 나누어 진행되었습니다. 결과는 놀라웠습니다. 생성형 AI(genAI) 도구를 사용한 그룹은 질병의 긴급성을 평가하는 데 있어 대조군보다 나은 결과를 보이지 못했을 뿐만 아니라, 정확한 의학적 상태를 식별하는 데 있어서도 오히려 더 나쁜 결과를 보였습니다.

정보 제공의 어려움과 부정확한 조언

연구진은 이러한 결과의 원인으로 두 가지 주요 문제를 지적합니다. 첫째, 사용자들이 챗봇에게 관련성 높고 완전한 정보를 제공하는 데 어려움을 겪었습니다. 환자의 증상을 정확하게 설명하고 필요한 정보를 빠짐없이 입력하는 것은 생각보다 어려운 일입니다. 둘째, LLM이 때로는 모순적이거나 완전히 잘못된 조언을 제공하는 경우가 있었습니다. 아무리 방대한 지식을 가지고 있다고 해도, 상황에 맞는 정확한 판단을 내리는 것은 또 다른 문제입니다.

기존 AI 테스트의 한계

이번 연구는 기존 AI 테스트, 예를 들어 의학 시험 문제 풀이가 실제 사용 환경을 제대로 반영하지 못한다는 점을 보여줍니다. LLM이 이론 시험에서 높은 점수를 받는다고 해서 실제 의료 상황에서 안전하게 작동할 수 있다는 보장은 없는 것입니다. 환자와 상호작용하며 정보를 주고받고, 적절한 조언을 제공하는 것은 훨씬 더 복잡한 문제입니다. 따라서 기존의 평가 방식으로는 LLM의 실제 의료 활용 가능성을 정확하게 판단하기 어렵습니다.

환자를 위한 신뢰할 수 있는 의료 조언, 아직은 시기상조

결론적으로, 연구진은 현재의 AI 챗봇이 일반 대중을 위한 신뢰할 수 있는 의료 상담 도구로 사용되기에는 아직 준비가 덜 되었다고 판단합니다. LLM의 잠재력은 분명하지만, 실제 의료 현장에서 안전하고 효과적으로 사용되기 위해서는 더 많은 연구와 개선이 필요합니다. 단순히 방대한 지식을 습득하는 것을 넘어, 환자와의 효과적인 소통 능력, 상황에 맞는 정확한 판단 능력, 그리고 무엇보다 안전성을 확보하는 것이 중요합니다.

맺음말

이번 연구는 LLM의 의료 분야 활용에 대한 기대와 함께 현실적인 한계를 보여줍니다. LLM이 미래에 의료 분야에서 중요한 역할을 할 수 있을지 모르지만, 현재로서는 맹목적인 신뢰보다는 비판적인 시각으로 접근해야 합니다. 환자들은 자신의 건강 상태에 대해 LLM에만 의존하기보다는 반드시 의료 전문가와 상담하여 정확한 진단과 치료를 받는 것이 중요합니다.