원문 소식, 쉽게 읽기
오픈AI는 2026년 11월 6일 생명공학 회사 리고(Ligo)와 만든 실험실 AI 평가 도구 ‘바이오베이식스벤치(BioBasicsBench)’를 공개했습니다. 생물 시료를 다루는 실험실에서 얻은 현미경 사진, 기기 측정값 같은 원자료를 AI가 얼마나 잘 읽는지 살피는 평가입니다. 연구진은 논문에 실릴 만큼 선명한 자료만 보는 대신, 실제 실험에서 자료가 모호하거나 오류가 있을 때 AI가 이를 알아차리는지도 100개 과제로 물었습니다. 출처
같은 100개 과제를 하나당 다섯 번씩 풀게 하고, 더 많은 추론을 허용하는 ‘xhigh’ 설정에서 비교했습니다. 오픈AI가 발표한 평균 점수는 GPT‑6 Astra가 66.7%, GPT‑5.6 Sol이 43.8%였습니다. 한 답변의 결론이나 수치, 판단 이유를 기준별로 채점해 부분 점수도 줍니다. 그래서 66.7%는 받을 수 있는 점수 중 평균적으로 얻은 비율입니다. 100문제 중 67개를 완전히 맞혔다는 식으로 환산할 수는 없습니다. 출처
한 과제에서는 형광 신호만 보고 세포가 죽었는지 판단해야 했습니다. GPT‑5.6 Sol은 밝기를 보고 죽은 세포라고 분류했지만, Astra는 측정기에 다른 염료의 빛도 들어올 수 있다는 점을 짚었습니다. 어느 염료가 빛을 냈는지 가려낼 비교 자료가 있어야 한다는 판단입니다. 반면 세포가 자라 만든 작은 덩어리인 집락의 수를 세는 과제에서는 Astra도 틀렸습니다. 한 사진에서 서로 가까운 집락을 제대로 구분하지 못하고 빈 곳에도 표시해, 평가 기준보다 약 12% 많이 셌습니다. 이는 그 사진 한 장에서 나온 오류입니다. 출처
2025년 오픈AI의 별도 연구에서는 모델이 제안한 변경을 실제 실험으로 여러 차례 시험했습니다. 이번 평가는 이미 얻은 증거를 읽고 판단하는 능력을 봅니다. 두 연구는 서로 다른 일을 측정하므로 점수를 직접 비교할 수 없습니다. 출처 출처
OYOPICK의 시선
처음 맡길 만한 일은 결론을 고르는 것보다 결론을 내리기 전에 빠진 증거를 짚는 일입니다. 형광 사례처럼 추가 비교가 필요하다는 지적은 다음 실험을 정하는 데 도움이 될 수 있습니다. 반대로 집락 사례에서처럼 이미지의 숫자부터 틀리면 그 숫자를 바탕으로 한 다음 결정도 흔들립니다. 답변이 어떤 관찰을 근거로 삼았고 무엇을 아직 구별하지 못했는지 보여 준다면, 연구자는 실험을 되풀이하기 전에 검토할 곳을 더 빨리 찾을 수 있을 것입니다. 출처