원문 소식, 쉽게 읽기
Microsoft AI는 2026년 10월 22일 MAI-DxO의 진단 연구 결과를 발표했습니다. MAI-DxO는 여러 가상 진단 역할의 의견을 조율하며 다음에 물을 질문이나 요청할 검사를 고르는 AI 시스템입니다. 정답률과 함께, 답을 얻는 데 어떤 정보를 요청했는지 평가합니다. 출처
정답률을 비교할 때 붙여 읽을 조건
발표가 소개한 SDBench는 진단 과정을 비교하는 평가 틀입니다. 평가에는 의학 학술지 NEJM에 실린 복잡한 사례 304건이 포함됐습니다. 아래는 이 사례군에 대해 Microsoft가 보고한 수치입니다. 의사의 참고자료 사용 조건을 나눠 표시했습니다. 출처
| 평가 대상과 조건 | 보고된 진단 정답률 |
|---|---|
| MAI-DxO | 83% |
| 외부 참고자료 없이 진단한 의사 | 22% |
| 교과서와 인터넷을 이용한 의사 | 36% |
이 평가에서는 짧은 사례 요약부터 시작해 정보를 더 요청한 뒤 진단을 제출합니다. 처음부터 모든 검사 결과를 읽고 답을 고르는 시험과 정보가 주어지는 순서가 다릅니다. 그래서 결과를 읽을 때는 최종 답과 정보를 모으는 경로를 함께 볼 수 있습니다. 출처
질문에 답하는 AI와 채점하는 AI
평가 도구는 세 역할을 구분합니다. 진단 에이전트는 질문·검사 요청·최종 진단 중 다음 행동을 고르는 대상입니다. 게이트키퍼는 정보를 제공하는 담당으로, 사례 원문에 검사 결과가 있으면 이를 반환하고 없으면 합성 결과를 만듭니다. 합성 결과는 평가를 진행하기 위해 생성한 정보입니다. 출처
저지라는 채점 역할은 제출한 진단을 기준 진단과 대조합니다. 공식 README는 1점부터 5점까지 매긴 뒤, 4점과 5점을 정답으로 처리한다고 설명합니다. 에이전트를 비교할 때는 정해진 설정에 따라 게이트키퍼와 채점 모델·지침을 고정합니다. 같은 ‘정답률’에도 어떤 정보 제공자와 채점 기준을 썼는지가 붙는 셈입니다. 출처
검사비는 어떤 기준으로 계산하나
README에 따르면 논문에서 보고한 검사비는 공개된 병원 검사·처치 가격표를 근거로 추정했습니다. 도구는 언어모델만으로 비용을 추정하는 방식도 지원하지만, 두 방식의 비용을 직접 비교하지 않도록 안내합니다. 따라서 절감 수치를 해석할 때는 요청한 검사의 종류와 비용 계산 방식까지 맞춰 봐야 합니다. 환자가 실제 지불한 금액을 측정한 자료로 읽으면 평가의 범위를 벗어납니다. 출처
공개 코드와 사례 데이터의 이용 조건도 구분됩니다. NEJM 사례는 별도 이용 허락이 필요하고, 병원 기록 기반 MIMIC 데이터에는 자격 확인·교육·이용 동의가 요구됩니다. 저장소에 기본 제공되는 가상 사례 5건은 개발·점검용이며 진단 성능 보고에 쓰도록 만든 자료가 아닙니다. 출처
Microsoft는 Beth Israel Deaconess Medical Center와 앞으로 환자가 시스템에 직접 참여하는 전향적 평가를 진행할 계획이라고 밝혔습니다. 전향적 평가는 계획을 세운 뒤 참여자에게서 새 자료를 모으며 결과를 살피는 방식입니다. 발표는 의사의 독립적인 평가와 비교할 예정이라고 설명합니다. 출처
OYOPICK의 시선
이 연구에서 눈여겨볼 변화는 AI에게 답만 요구하지 않고, 어떤 정보를 더 얻을지 선택하게 했다는 점입니다. 정보 요청과 검사비를 함께 평가하면 높은 정답률을 위해 지나치게 많은 검사를 고르는지 따져 볼 수 있습니다. 의료 AI의 발전을 판단하는 기준이 더 구체적으로 드러나는 방향이라 봅니다.
공개된 평가 틀이 재현과 검토에 도움이 되려면 데이터 접근 조건과 채점 설정도 함께 전달돼야 합니다. 특히 합성 정보를 돌려주는 단계와 비용 추정 방식이 결과에 미치는 영향을 다른 연구진이 살필 수 있기를 바랍니다. 앞으로의 병원 평가에서는 이 방식이 실제 업무와 환자에게 어떤 이익과 부담을 주는지까지 확인돼야 기대를 더 단단한 근거로 옮길 수 있을 것입니다.