AI 사용자가 늘고 토큰 사용량이 많아졌다면, 회사 일도 그만큼 나아진 걸까? OpenAI가 소개한 ChatGPT Admin Console 분석은 ChatGPT Work와 Codex의 사용량·비용 데이터뿐 아니라 작업 인사이트와 결과 지표도 함께 보여준다. 변화의 핵심은 관리자가 ‘얼마나 썼나’에서 출발해 ‘어떤 일에 썼고, 결과는 어땠나’까지 살펴볼 수 있다는 점이다. 출처

이 내용이 특히 필요한 사람은 AI 도입이나 비용을 관리하는 담당자와 실제 업무 방식을 정하는 팀 책임자다. 지금 알아둘 핵심은 간단하다. 사용량은 조사할 업무를 찾는 단서이지 성과 자체가 아니다. 먼저 중요한 업무를 하나 고르고, AI 적용 전후의 시간과 품질, 검토·수정에 든 노력까지 비교해야 한다. 출처

1. 사용량에서 출발하되, 성과로 단정하지 않기

Admin Console의 Usage 화면에서는 활성 사용자, 크레딧, 토큰 사용량을 확인할 수 있다. 그룹이나 사용자별로 걸러 보면 AI 도입이 낮은 곳을 찾는 데 도움이 된다. 그 결과를 보고 곧바로 ‘이 팀은 뒤처졌다’고 판단하기보다, 해당 팀에 적합한 시작 업무가 있는지, 교육이 필요한지를 검토하는 출발점으로 삼는 방식이다. 출처

숫자를 읽을 때는 질문을 구체적으로 바꾸는 편이 낫다. ‘전사 사용량이 얼마나 늘었나’만 묻는 대신 ‘어느 팀에서 어떤 업무를 살펴봐야 하나’를 정하는 것이다. OpenAI가 제시한 성과 측정 순서도 팀에 중요한 결과를 먼저 고르는 것에서 시작한다. 출처

2. AI가 실제로 맡은 일을 찾기

Insights의 작업 분류 기능은 메시지 표본을 사용 사례와 작업으로 묶어 AI가 지원하는 업무를 보여준다. 관리자는 팀별 작업 분포를 살펴본 뒤 업무 책임자와 함께 평가할 워크플로와 성과를 정할 수 있다. 이 단계에서 필요한 것은 모든 AI 사용을 한꺼번에 평가하는 일이 아니라, 사업 우선순위와 맞닿은 공통 업무를 고르는 일이다. 출처

시작 방법도 제시돼 있다. Admin Console에서 Insights를 열어 관련 업무를 선택하고, 업무 책임자와 측정할 결과와 진척을 다시 확인할 시점을 합의한다. 이렇게 해야 사용 내역을 본 뒤에도 ‘그래서 무엇을 바꿀 것인가’라는 질문으로 이어갈 수 있다. 출처

3. 비교 기준을 먼저 적어두기

AI를 쓰기 전에는 해당 업무가 얼마나 자주 발생하는지, 원래 얼마의 시간이 걸리는지, 결과물에 요구되는 품질은 무엇인지 기준선을 정한다. 이후 정해진 기간 동안 AI를 적용한 결과와 비교한다. 초안 작성 시간만 줄었는지 볼 것이 아니라 결과물을 검토하고 수정하는 데 든 시간도 포함해야 한다. 출처

예를 들어 작업별 모델·추론·속도 설정이 차지하는 크레딧 비중을 보면 현재 설정이 업무에 맞는지 점검할 수 있다. OpenAI는 일상적인 브리프 업무에서 더 빠르거나 비용이 낮은 설정을 시험하되, 결과물의 품질과 검토·수정 시간을 함께 비교하는 예를 들었다. 플러그인과 스킬 사용 현황도 교육이 필요한지, 도구 접근에 문제가 있는지 살펴보는 단서가 된다. 출처

4. 업무에 맞는 결과 지표를 함께 보기

개발 업무라면 Codex Outcomes 화면에서 Codex가 기여한 병합 커밋과 코드 라인의 비중, 코드 리뷰 활동을 확인할 수 있다. 그룹·사용자·저장소별 필터와 추세도 제공한다. 다만 기여 비중만으로 효율을 결론 내리기보다는 검토 시간, 결함, 재작업을 함께 살펴보는 것이 OpenAI가 제안한 평가 방식이다. 출처

다른 업무에서도 원리는 같다. 관리자는 Admin 플러그인으로 도입·지출·작업을 비교해 보고서를 만들거나, Admin API로 자체 대시보드의 분석을 자동화하고 업무 시스템 데이터와 결합할 수 있다. OpenAI가 든 예시는 지원 대시보드에서 크레딧 사용량과 티켓 해결 시간을 나란히 보는 것이다. AI 사용 데이터만 보지 말고 업무 결과를 나타내는 데이터와 연결해야 판단에 가까워진다. 출처

5. 절약한 시간을 ‘이익’으로 바로 바꾸지 않기

시간 절감은 중요한 결과지만 곧바로 재무적 이익을 뜻하지는 않는다. 절약한 시간이 실제로 어떤 생산적인 일에 쓰였는지 확인하고, AI 사용과 설정, 교육, 지속 지원에 든 비용을 팀이 얻은 편익과 비교해야 한다. 그 결과에 따라 워크플로를 확대할지, 사용 방식을 개선할지, 다른 접근을 시험할지 결정할 수 있다. 출처

OpenAI가 제시한 영업 계정 조사 사례의 ROI 245%는 실제 조직의 성과가 아니라 가정에 따른 계산 예시다. 판매자 20명이 주 2건의 브리프마다 3시간을 절약하고 연 46주 일하며, 절약 시간의 50%를 시간당 75달러의 완전부담 인건비로 평가하고 첫해 비용을 6만 달러로 둔 결과다. 이 계산은 추정된 업무 용량 가치에 기반하며 승률이나 거래 규모 변화는 포함하지 않는다. 따라서 자기 조직의 판단에는 자기 팀의 기준선과 실제 결과를 써야 한다. 출처

다음에 확인할 것

처음부터 회사 전체의 AI 가치를 하나의 숫자로 만들 필요는 없다. 우선순위가 높은 업무 하나, 그 업무의 책임자, 기존 소요 시간과 품질 기준, AI 적용 후 결과를 확인할 기간부터 정하자. 이후 사용량과 작업 유형을 참고하되 검토·수정 시간과 비용, 절약한 시간의 활용처까지 함께 보면 확대할 만한 업무인지 판단할 근거가 생긴다. OpenAI는 조직의 비즈니스 데이터를 기본적으로 모델 학습에 사용하지 않는다고 밝혔다. 출처