원문 소식, 쉽게 읽기
NVIDIA는 2026년 10월 8일 AI 에이전트와 Omniverse 라이브러리를 결합해 로봇·자율주행·디지털 트윈 시뮬레이션을 만든 개발 사례를 공개했다. 개발자는 자연어로 작업을 지시하고 결과를 검토하며 수정을 안내한다. 에이전트는 물리 계산, 장면 구성, 렌더링, 센서 시뮬레이션용 라이브러리를 연결하거나 응용 프로그램 코드를 만든다. 출처
Omniverse는 가상 공간에서 물체의 움직임과 충돌, 빛과 영상, 카메라·라이다 같은 센서 출력을 계산하는 도구 묶음이다. 디지털 트윈은 실제 공간이나 장비를 디지털 환경에 대응시킨 모델이다. 현실의 로봇을 바로 움직이기 전에 작업 절차와 센서 반응을 반복해 살펴볼 수 있지만, 가상 결과가 실제 장비의 성능을 자동으로 보증하지는 않는다. 이번 발표도 시뮬레이션 개발 사례를 소개하며 실제 로봇·차량의 현장 성능을 제시하지 않았다. 출처
창고 사례에서는 NVIDIA 제품 관리자가 GPT-6 Astra에 창고와 휴머노이드 로봇 자산을 연결하도록 지시했다. Astra는 물리 계산용 ovphysx, 장면 갱신용 ovstage, 렌더링용 ovrtx, 화면 구성용 ovui를 묶고 애니메이션과 응용 프로그램 코드를 생성했다. 결과물은 1인칭과 3인칭 시점으로 휴머노이드의 작업 행동을 살펴보는 대화형 시뮬레이터였다. 출처
자율주행 사례인 Zero to Alpamayo는 샌프란시스코 마켓 스트리트를 바탕으로 장면 제작, 교통, RTX 센서 시뮬레이션, Alpamayo 주행 모델을 단계별로 연결했다. 장면이나 센서 설정이 바뀌었을 때 주행 모델의 반응이 어떻게 달라지는지 추적하는 시험장이다. 별도의 Cosmos3-Nano 실험에서는 같은 시뮬레이션 영상을 날씨와 조명만 바꿔 주행 모델의 반응을 비교했다. 출처
현실과 가상의 센서 차이를 줄이는 작업에는 Astra와 Claude Fable 5가 함께 쓰였다. 개발자는 약 사흘 동안 에이전트가 가상 카메라·라이다 출력과 기록된 실제 데이터를 비교하도록 안내했다. 에이전트는 두 개의 디지털 트윈을 새로 만들고 기존 두 개를 고쳤으며, 누락된 물체와 형상·재질을 조정했다. 완성 여부는 사람이 정한 카메라와 라이다 측정값으로 판단했다. AI가 장면을 수정해도 무엇을 측정하고 어느 수준을 받아들일지는 사람이 정한 구조다. 출처
Robo Olympics 실험에서는 스포츠 영상과 자연어 지시를 바탕으로 가상 Unitree G1 휴머노이드의 동작 제어기를 만들고 물리 시험으로 다듬었다. NVIDIA가 공개한 한 실험에서 로봇은 장애물 하나를 100회 중 64회 넘었다. 자동차 서스펜션 분해 사례에서는 에이전트가 볼트에 닿을 공간을 측정하고 가상 로봇용 렌치를 설계했으며, 발표자는 시뮬레이션 안에서 부품 제거에 성공했다고 보고했다. 두 결과 모두 공급업체가 공개한 가상 환경 결과다. 출처
OYOPICK의 시선
OYOPICK은 피지컬 AI에서 에이전트의 가장 유용한 초기 역할 중 하나가 현실에서 비싸거나 위험한 시행착오를 시뮬레이션으로 옮기는 것이라고 본다. 이번 사례에서는 코드 작성뿐 아니라 장면·센서·물리 라이브러리를 연결하고, 실패 횟수와 센서 차이를 다음 수정의 근거로 썼다. 사람이 목표와 측정 기준을 정하고 결과를 검토하는 구조라면 더 많은 팀이 로봇과 자율주행 아이디어를 안전하게 시험할 수 있다.
관건은 시뮬레이션의 정확도와 현실 이전 과정이다. 장애물 성공률과 가상 분해 성공의 검증 범위는 시뮬레이션에 머문다. 실제 모터, 마찰, 센서 잡음, 통신 지연을 포함하려면 현실 장비 시험이 더 필요하다. 재현 가능한 시험 조건과 실패 기록, 실제 장비에서의 단계적 검증이 함께 공개된다는 전제 아래, AI 에이전트가 사람의 판단을 대신하기보다 더 많은 설계를 비교하고 위험을 먼저 발견하는 동료 도구로 발전하기를 기대한다.