원문 소식, 쉽게 읽기
OpenAI는 2026년 11월 19일 ChatGPT 등의 성능 문제를 조사하고 수정하는 내부 시스템 Performance Factory를 소개했습니다. 코딩 작업을 수행하는 AI 에이전트 Codex가 조사와 수정 제안을 맡고, 엔지니어가 제안된 변경을 검토해 병합 여부를 결정하는 구조입니다. 이번 발표를 통해 이용자는 서비스가 느려졌을 때 회사 내부에서 어떤 판단과 확인을 거치는지 들여다볼 수 있습니다. 출처
이 시스템의 첫 작업 흐름은 ‘성능 회귀’를 다룹니다. 소프트웨어를 바꾸고 난 뒤 이전보다 응답이나 가용성이 나빠지는 상황을 가리키는 말입니다. 예를 들어 원문은 ChatGPT의 첫 토큰 지연을 조사 대상으로 듭니다. 토큰은 답변을 구성하는 텍스트 조각이며, 첫 토큰 지연은 첫 조각이 나오기까지 기다리는 시간입니다. 알림이 울리면 작업이 생성되고, 에이전트가 성능이 언제부터 나빠졌는지와 어떤 요청이 영향을 받았는지 조사합니다. 출처
평균이 느려졌다는 관측에서 원인까지는 확인할 단계가 있습니다. 에이전트는 같은 종류의 요청 자체가 느려졌는지, 원래 처리 시간이 긴 요청이 더 많이 들어왔는지를 나누어 살핍니다. 이후 배포·설정 변경, 코드와 실행 기록을 대조합니다. 요청 구성의 변화와 특정 변경의 영향을 구분해야 고칠 대상을 정할 수 있다는 조사 방식입니다. 출처
첫 진단에는 별도의 Codex 세션이 반증 검토를 수행합니다. 제안된 원인이 맞지 않을 가능성을 찾아 가정과 비교 대상을 다시 확인하는 절차입니다. 회사가 소개한 이미지 다운로드 오류 사례에서는, 원인으로 지목한 내부 서비스가 회복된 뒤에도 이미지 요청 실패가 이어졌습니다. 검토 에이전트는 이 설명으로 남은 실패를 설명할 수 없다고 보고 조사를 다시 열었습니다. 출처
OpenAI는 이 작업 흐름이 3개월 조금 넘는 기간에 1,700건 넘는 조사를 추적하고, 600건 넘는 사례의 원인을 파악했다고 집계했습니다. 별도로 원인 제안 100건을 사람이 검토한 평가에서는 70%를 정확하다고 평가했고, 30%는 추가 보완이 필요하거나 인과관계를 충분히 확립하지 못했다고 밝혔습니다. 조사 건수, 원인 파악 건수, 이 표본의 정확도는 각각 다른 단계와 대상을 세는 수치입니다. 출처
원인 검토를 통과하면 Codex가 수정을 구현하고 코드 변경 요청을 엽니다. 엔지니어는 근거와 제안을 읽고 병합 여부를 정하며, 직접 코드를 고치거나 제안을 바탕으로 별도 수정을 작성할 수도 있습니다. OpenAI는 에이전트가 필요 이상으로 복잡한 변경을 만들거나 새 문제를 일으킨 사례도 소개했습니다. 캐시처럼 처리 속도를 높이는 대신 오래된 데이터를 보여 줄 수 있는 설계에는 서비스를 아는 사람의 판단이 도움이 된다고 설명합니다. 출처
배포 뒤에도 작업은 이어집니다. 다른 에이전트가 성능이 이전 기준 수준으로 돌아왔는지 확인합니다. 일부만 회복되면 남은 지연을 새 작업으로 열고, 개선이 없으면 결과를 기록해 다시 조사로 돌립니다. 작업의 상태와 근거를 개별 에이전트의 대화 밖에 보존하고, 검토 의견이나 배포 완료 같은 사건을 계기로 다음 단계를 재개하는 구조가 이 연결을 받칩니다. 출처
회사는 모델이나 조사 지침을 바꿀 때 진단의 품질과 엔지니어에게 전달하는 요약의 유용성을 따로 평가한다고 설명합니다. 과거 장애로 시험할 때도 나중에 확보한 자료가 원인을 미리 알려 주지 않는지 살핍니다. 저위험 수정을 사람 없이 배포하는 방안과 알림에 잡히지 않은 느려짐을 먼저 찾는 기능은 앞으로 탐색하거나 개발 중인 방향으로 제시했습니다. 출처
OYOPICK의 시선
이 발표에서 더 무게를 두고 보는 부분은 AI가 제안한 수정의 수보다, 배포 뒤 회복 여부를 확인하고 설명이 맞지 않으면 조사를 다시 여는 연결입니다. 원인 제안 100건 중 30%에 보완이나 인과관계 문제가 남았다는 회사 평가를 함께 읽으면, 조사 자동화가 넓어질수록 그 결론을 되짚는 절차도 필요하다는 판단이 가능합니다.
이 구조가 일반 이용자에게 얼마나 도움이 되는지는 실제 서비스의 회복과 재발 자료가 쌓일 때 더 구체적으로 판단할 수 있을 것입니다. 앞으로 같은 범위에서 수정 후 회복 정도와 남은 문제를 함께 공개해 주기를 바랍니다. 사람이 검토할 근거를 정리하고, 그 결정을 실제 결과와 다시 연결하는 방식이 더 명료해진다면 AI와 엔지니어가 반복적인 운영 문제를 나누어 해결하는 가능성도 평가하기 쉬워질 것입니다.