메타, '세그먼트 애니띵(Segment Anything) 2' 비디오 도메인으로 확장

메타(Meta)가 작년에 선보인 이미지 세그멘테이션 모델 '세그먼트 애니띵(Segment Anything)'의 후속작이 비디오 도메인으로 확장됐다. '세그먼트 애니띵 2(SA2)'는 비디오에서도 빠르고 정확하게 객체를 식별하고 구분할 수 있으며, 이는 최근 AI 분야의 빠른 발전을 보여준다.

30일(현지시간) 테크크런치에 따르면, 메타는 작년에 이미지에서 무엇이든 빠르고 신뢰할 수 있게 식별하고 윤곽을 그릴 수 있는 머신 러닝 모델 '세그먼트 애니띵'으로 큰 인기를 끌었다. 월요일 SIGGRAPH 무대에서 CEO 마크 저커버그(Mark Zuckerberg)가 공개한 후속작은 이 모델을 비디오 도메인으로 확장하여 최근 AI 분야의 빠른 발전을 보여준다.

세그멘테이션은 비전 모델이 사진을 보고 객체를 구분하는 기술 용어로, "이것은 개, 이것은 개 뒤의 나무"와 같이 객체를 구분하는 것을 의미한다. 이 기술은 수십 년 동안 사용되어 왔지만, 최근에는 세그먼트 애니띵이 주요한 진전을 이루면서 훨씬 더 빠르고 정확해졌다.

세그먼트 애니띵 2(SA2)는 자연스럽게 비디오에 적용되며, 물론 첫 번째 모델을 비디오의 각 프레임에 개별적으로 실행할 수도 있지만, 이는 효율적인 워크플로우는 아니다.

저커버그는 엔비디아(Nvidia) CEO 젠슨 황(Jensen Huang)과의 대화에서 "과학자들은 산호초와 자연 서식지 등을 연구하기 위해 이러한 기술을 사용한다. 비디오에서도 이를 제로 샷으로 수행하고 원하는 것을 지시할 수 있다는 것은 매우 멋진 일"이라고 말했다.

비디오를 처리하는 것은 훨씬 더 많은 계산 능력을 요구하며, SA2가 데이터 센터를 과부하시키지 않고 실행될 수 있다는 것은 업계 전반에서 효율성의 진전을 보여주는 증거이다. 물론 여전히 거대한 모델이므로 작동하려면 강력한 하드웨어가 필요하지만, 빠르고 유연한 세그멘테이션은 불과 1년 전만 해도 거의 불가능했다.

이 모델은 첫 번째 모델처럼 공개되고 무료로 사용할 수 있으며, 호스팅 버전에 대한 언급은 없지만 무료 데모는 제공된다.

이 모델을 훈련시키기 위해서는 방대한 데이터가 필요하며, 메타는 이를 위해 50,000개의 비디오로 구성된 대규모 주석 데이터베이스를 공개한다. SA2를 설명하는 논문에서는 100,000개 이상의 "내부에서 사용 가능한" 비디오 데이터베이스도 훈련에 사용되었으나, 이는 공개되지 않았다. (우리의 추측으로는 공개 인스타그램 및 페이스북 프로필에서 가져온 것으로 보인다.)

메타는 최근 몇 년 동안 '오픈' AI 분야에서 선두를 달리고 있으며, 최근에는 PyTorch와 같은 도구를 통해 오랫동안 이러한 작업을 수행해 왔다. 최근에는 LLaMa, 세그먼트 애니띵과 같은 몇 가지 모델을 무료로 공개하여 해당 분야에서 AI 성능의 비교적 접근 가능한 기준이 되었다. 그러나 이들의 '개방성'은 논쟁의 여지가 있다.

저커버그는 메타의 개방성이 순수한 이타심에서 나온 것은 아니지만, 그들의 의도가 불순하다는 의미는 아니라고 언급했다. "이것은 단지 소프트웨어 한 조각을 만드는 것이 아니다. 이를 둘러싼 생태계가 필요하다. 이를 오픈 소스로 만들지 않으면 제대로 작동하지 않을 것이다. 우리가 이타적인 사람들이기 때문에 하는 것이 아니라, 우리가 만드는 것이 최고의 성과를 낼 것이라고 생각하기 때문에 하는 것이다."

뉴스 속보를 실시간으로...토큰포스트 텔레그램 가기