런웨이, 영상 사전학습 로봇 모델 ‘프락시스-1’ 공개

영상 생성 기업 런웨이(Runway)가 영상 사전학습을 로봇 제어에 적용한 세계 동작 모델 ‘프락시스-1(Praxis-1)’을 공개했다. 로봇 시연 데이터를 모으는 데 드는 비용과 수고를 줄이고, 영상에서 학습한 움직임과 물체의 물리를 로봇 동작에 연결하겠다는 구상이다.

런웨이는 9월 30일 X 게시물에서 프락시스-1을 오픈웨이트 세계 동작 모델로 소개했다. 오픈웨이트는 모델의 가중치를 공개해 이용자가 내려받고 조정할 수 있게 하는 방식이다. 회사는 가중치를 향후 몇 달 안에 공개할 계획이라고 밝혔다.

로봇을 여러 환경과 작업에 투입하려면 다양한 상황을 담은 학습 데이터가 필요하다. 실제 로봇을 원격 조종해 시연 데이터를 모으는 방식은 수집량과 비용에 한계가 있다. 런웨이는 사람과 물체의 움직임, 작업이 진행되는 중간 모습을 담은 영상은 더 많이 확보할 수 있다고 보고 영상 사전학습을 로봇 정책 모델의 기반으로 삼았다.

정책 모델은 주어진 상황에서 로봇이 어떤 동작을 할지 결정하는 모델이다. 런웨이는 영상에 담긴 움직임과 물체의 상호작용을 먼저 학습하면 로봇이 실제 작업을 수행하는 데 활용할 수 있다고 설명했다.

런웨이는 자체 연구에서 웹 영상으로 사전학습한 모델의 최종 배치 오차가 16.1㎝, 원격 조종 로봇 영상으로 학습한 모델은 16.0㎝였다고 제시했다. 평가는 93개 쌍을 대상으로 했다. 회사가 공개한 그래프는 두 결과의 차이가 오차 범위보다 작아 유의미하지 않다고 설명한다.

이 수치는 런웨이가 제시한 실험 결과로, 모델의 전반적인 작업 성공률을 나타내는 지표와는 다르다. 원문은 작업별 성공률이나 별도의 정량 성능 평가 결과를 제시하지 않았다.

런웨이는 9월 30일 노블 머신스(Noble Machines), 스탠더드 봇츠(Standard Bots), 울트라(Ultra)가 서로 다른 하드웨어에서 모델을 시험하고 있다고 밝혔다. 노블 머신스는 양팔 조작 기체, 스탠더드 봇츠는 6축 로봇 팔 RO1, 울트라는 이동형 플랫폼에 적용했다. 런웨이는 공개 전 여러 기체와 환경에서 성능과 안전성을 점검한다고 밝혔다.

오픈웨이트 공개 계획은 개발자가 모델을 각 하드웨어에 맞게 시험하고 조정할 수 있도록 한다. 다만 런웨이는 모델 규모와 학습에 사용한 영상의 총량, 상업적 이용에 적용될 라이선스 조건을 공개하지 않았다.

런웨이는 프락시스-1을 로봇 개발자와 연구자를 위한 범용 정책 모델로 설명했다. 가중치 공개 시점은 ‘향후 몇 달’로만 제시됐다.