“GPT-4가 ‘많은 의사’보다 더 나은 임상적 판단을 가지고 있다.”

Harvard의 컴퓨터 과학자이자 의사인 Isaac Kohane 박사는 두 명의 동료와 팀을 이루어 OpenAI의 최신 인공지능 모델이 의료 환경에서 어떻게 수행되는지 확인하는 주요 목표를 가지고 GPT-4를 테스트하였다.

독립 저널리스트인 Carey Goldberg와 Microsoft 연구 부사장인 Peter Lee가 공동 저술한 책 <의학에서의 AI 혁명>(The AI Revolution in Medicine)에서 그는 "내가 관찰한 많은 의사들보다 낫다"고 말했다. 이 책에서 Kohane 박사 2023년 3월 유료 구독자에게 공개된 GPT-4가 미국 의료 시험 면허 질문에 90% 이상 정확하게 답했다고 말한다.

하지만 GPT-4는 단순히 좋은 시험 응시자 및 사실 찾기 도구가 아니다. 훌륭한 번역 기능 또한 가능하다. 책에 따르면, 포르투갈어를 사용하는 환자를 위한 퇴원 정보를 번역하고 6학년 학생들이 쉽게 읽을 수 있는 어려운 전문 용어를 추출할 수 있다.

GPT-4는 또한 의사에게 병상 매너에 대한 유용한 제안을 제공할 수 있으며 환자에게 동정심 있고 명확한 언어로 자신의 상태에 대해 이야기하는 방법에 대한 팁을 제공하며 긴 보고서나 연구를 읽고 요약할 수 있다. 눈 깜짝할 사이,이 기술은 인간 스타일의 지능처럼 보이는 것을 어느 정도 측정해야 하는 방식으로 문제를 통해 추론을 설명할 수도 있다.

그러나 GPT-4에게 이 모든 작업을 수행하는 방법을 묻는다면 모든 지능은 여전히 "데이터의 패턴으로 제한되며 진정한 이해나 의도를 포함하지 않는다."고 말할 것이다. 이러한 한계에도 불구하고 Kohane이 책에서 발견한 것처럼 GPT-4는 의사가 불완전하지만 놀라운 성공으로 상태를 진단하는 방법을 모방할 수 있다.

▲ 의학과 AI의 교차점에 초점을 맞춘 의사이자 컴퓨터 과학자 Dr. Isaac Kohane (출처: https://www.insider.com/chatgpt-passes-medical-exam-diagnoses-rare-condition-2023-4)  © 길잡이뉴스

Kohane은 몇 년 전에 치료한 신생아와 관련된 실제 사례를 바탕으로 GPT-4로 임상적 사고 실험을 진행한 바 있다. 신체검사에서 수집한 아기에 대한 몇 가지 주요 세부 정보와 초음파 및 호르몬 수치의 일부 정보를 봇에 제공하면 기계는 선천성 부신 증식증이라는 조건을 100,000분의 1로 정확하게 진단할 수 있었다. 이때 의사는 ‘감동’과 ‘공포’를 동시에 느꼈다고 한다.

그는 "전산 과정을 통해 정교한 의료 대화를 나누고 있었다."면서 "다른 한편으로는 수백만 가족이 곧 이 인상적인 의료 전문 지식에 접근할 수 있다는 불안한 깨달음이 마음을 아프게 했다. 그리고 GPT-4의 조언이 안전하고 효과적이라는 것을 어떻게 보증하거나 인증할 수 있는지 알 수 없었다.”고 하였다.

“GPT-4도 실수를 할 수 있으며 히포크라테스 선서도 하지 않았다.”

사실 GPT-4가 항상 옳은 것은 아니며 윤리적 나침반도 없다. GPT-4가 항상 신뢰할 수 있는 것은 아니며 책은 GPT-4의 실수 사례로 가득 차 있다. 봇이 이전에 정확하게 계산한 BMI를 잘못 기재한 것과 같은 단순한 사무 오류부터 스도쿠 퍼즐을 부정확하게 풀거나 방정식의 항을 제곱하는 것을 잊어버린 것과 같은 수학 실수까지 다양하다. 실수는 미묘하고 시스템은 도전을 받더라도 옳다고 주장하는 경향도 있지만, 잘못 배치된 숫자나 잘못 계산된 체중이 어떻게 처방이나 진단에서 심각한 오류로 이어질 수 있는지 상상하는 것은 무리가 아니다.

이전 GPT와 마찬가지로 GPT-4도 "환각할 수 있다(hallucinate)"고 한다. 이 책의 저자들이 이 문제에 대해 질문하자 GPT-4는 "나는 누군가를 속이거나 오도할 의도가 없지만 불완전하거나 부정확한 데이터를 기반으로 실수나 가정을 할 때가 있습니다. 또한 임상적 판단이나 인간 의사나 간호사의 윤리적 책임이 없습니다."라고 답했다.

저자가 이 책에서 제안하는 한 가지 잠재적 교차 확인은 GPT-4로 새 세션을 시작하고 "새로운 시각"으로 자체 작업을 "읽고", "확인"하도록 하는 것이다. 이 전략은 실수를 드러내는 데 효과가 있다. 또한 봇이 자신의 작업을 보여주도록 명령하여 인간 스타일로 확인할 수 있도록 하는 것이다.

저자는 GPT-4가 진료 상황에서 귀중한 시간과 자원을 확보할 수 있는 잠재력을 가지고 있고, 임상의가 "컴퓨터 화면 대신" 환자와 더 많이 함께할 수 있게 해준다고 썼다. 그러나 그들은 "우리는 더 똑똑하고 더 똑똑한 기계가 있는 세상을 상상하도록 강요해야 하며 결국에는 거의 모든 차원에서 인간의 지능을 능가할 것입니다. 그런 다음 우리가 그 세상이 작동하기를 바라는 방식에 대해 매우 열심히 생각해야 합니다."라고 말한다.

이제 우리는 의료에서의 AI 혁명을 눈앞에 두고 있다.