엔비디아, 물리적 AI 훈련 혁신할 '코스모스-트랜스퍼1' 공개

엔비디아(NVDA)가 로봇 및 자율주행 차량 훈련을 위한 첨단 AI 모델 ‘코스모스-트랜스퍼1(Cosmos-Transfer1)’을 공개했다. 이번 모델은 개발자들이 극도로 현실적인 시뮬레이션을 생성할 수 있도록 돕는 혁신적인 기술로, 물리적 AI 개발 과정에서 시뮬레이션과 실제 환경 간 격차를 줄이는 데 중점을 두고 있다.

엔비디아가 논문과 함께 발표한 내용에 따르면, 코스모스-트랜스퍼1은 ‘조건부 세계 생성 모델’로 △세그먼테이션 △깊이 정보 △엣지 감지 등의 다양한 공간적 제어 입력을 활용해 환경을 시뮬레이션할 수 있다. 이를 통해 사용자는 보다 정밀하게 제어 가능한 가상 환경을 생성하고, ‘Sim2Real(시뮬레이션에서 실제 환경으로 전이)’ 방식으로 활용할 수 있다.

특히, 기존 시뮬레이션 모델과 달리 ‘적응형 다중모달 제어 시스템(Adaptive Multimodal Control System)’을 적용해 장면 내 특정 영역에서 서로 다른 가중치를 부여할 수 있는 점이 핵심이다. 예를 들어, 로봇 팔의 동작과 관련된 요소는 그대로 유지하면서도 배경 환경은 다양하게 조정할 수 있도록 해 실제와 유사한 트레이닝 환경을 제공한다.

자율주행 차량 개발에서도 유용하게 활용될 전망이다. 도로 형태 및 교통 흐름은 유지한 채 날씨, 조명 조건 또는 도시 환경을 변형함으로써 차량이 실도로에서 만나기 어려운 다양한 예외 상황을 학습할 수 있다.

이번 기술의 실용성은 시뮬레이션 테스트에서 이미 입증됐다. 엔비디아 연구진은 로봇 시뮬레이션에서 ‘광학적 사실성’을 크게 개선하며, 조명과 그림자 효과 등을 보다 자연스럽게 반영하는 데 성공했다고 밝혔다. 또한, 실제 도로에서 얻기 어려운 ‘엣지 케이스(Edge Cases, 극단적인 상황)’를 재현할 수 있어 개발 효율성을 크게 높일 것으로 기대된다.

엔비디아는 코스모스-트랜스퍼1을 포함한 ‘코스모스(Cosmos)’ 플랫폼을 통해 물리적 AI 개발을 가속화하겠다는 계획이다. 해당 플랫폼에는 세계 생성 모델 ‘코스모스-프리딕트1(Cosmos-Predict1)’과 물리적 추론 모델 ‘코스모스-리즌1(Cosmos-Reason1)’이 포함되며, 모두 오픈소스로 제공된다.

이번 모델은 엔비디아의 최신 하드웨어, 특히 GB200 NVL72 랙에서 실시간으로 실행 가능하도록 설계됐다. 연구진은 1개 GPU에서 64개 GPU로 확장할 경우 약 40배의 성능 향상을 기록했으며, 5초 분량의 고품질 영상을 불과 4.2초 만에 생성하는 데 성공했다.

코스모스-트랜스퍼1은 오픈소스로 공개되며, 개발자들은 깃허브(GitHub)와 허깅페이스(Hugging Face)를 통해 모델과 관련 코드에 접근할 수 있다. 엔비디아가 AI 개발자 커뮤니티에 이러한 도구를 개방한 것은 소규모 연구팀과 스타트업이 고급 AI 시뮬레이션 기술을 보다 쉽게 활용할 수 있도록 하기 위한 전략의 일환으로 풀이된다. 이는 기업이 자사의 하드웨어 및 소프트웨어 생태계를 강화하는 동시에, 물리적 AI 개발 속도를 더욱 앞당기는 계기가 될 것으로 전망된다.