메타, 차세대 언어 모델 훈련 위해 10배 더 많은 컴퓨팅 파워 필요

메타(Meta)가 가장 큰 오픈 소스 기초 언어 모델 중 하나인 라마(Llama)를 개발하고 있으며, 향후 모델 훈련을 위해 상당히 더 많은 컴퓨팅 파워가 필요할 것으로 보고 있다.

2일(현지시간) 테크크런치에 따르면, 메타 CEO 마크 저커버그(Mark Zuckerberg)는 메타의 2분기 실적 발표 전화 회의에서 라마 4를 훈련하기 위해 라마 3보다 10배 더 많은 컴퓨팅 파워가 필요할 것이라고 밝혔다. 그러나 경쟁사에 뒤처지지 않기 위해 메타가 모델 훈련 역량을 구축하기를 원한다고 했다.

마크 저커버그는 "라마 4를 훈련하는 데 필요한 컴퓨팅 양은 라마 3를 훈련하는 데 사용된 것보다 거의 10배 더 많을 것이며, 향후 모델은 계속해서 그 이상으로 성장할 것이다"라고 말했다. "미래 여러 세대의 경향을 예측하기는 어렵지만, 새로운 추론 프로젝트를 시작하는 데 걸리는 긴 리드 타임을 고려할 때, 필요하기 전에 역량을 구축하는 것이 늦어지는 것보다 낫다고 생각한다"고 말했다.

메타는 4월에 80억 개의 매개변수를 가진 라마 3를 출시했으며, 지난주에 4050억 개의 매개변수를 가진 라마 3.1 405B라는 업그레이드된 버전을 출시하여 메타의 가장 큰 오픈 소스 모델로 만들었다.

메타의 최고재무책임자(CFO) 수잔 리(Susan Li)는 회사가 미래 AI 모델을 훈련할 역량을 구축하기 위해 다양한 데이터 센터 프로젝트를 고려하고 있다고 말했다. 또한 메타는 이 투자가 2025년 자본 지출을 증가시킬 것으로 예상하고 있다.

큰 언어 모델을 훈련하는 것은 비용이 많이 드는 일이다. 메타의 자본 지출은 서버, 데이터 센터 및 네트워크 인프라에 대한 투자로 인해 2024년 2분기에 85억 달러로 전년 동기 64억 달러에서 거의 33% 증가했다.

더 인포메이션(The Information)의 보고서에 따르면, 오픈AI(OpenAI)는 모델 훈련에 30억 달러, 서버 임대에 추가로 40억 달러를 사용하고 있으며, 이는 마이크로소프트(Microsoft)로부터 할인된 요금으로 서버를 임대하는 비용이다.

수잔 리는 "기초 모델을 발전시키기 위해 생성형 AI 훈련 역량을 확장함에 따라, 시간이 지남에 따라 이를 유연하게 사용할 수 있는 방식으로 인프라를 구축할 것이다. 이를 통해 추론 역량을 생성형 AI로 또는 우리의 핵심 순위 및 추천 작업으로 전환할 수 있을 때 더 가치 있다고 예상될 때 그렇게 할 수 있을 것이다"라고 전화 회의에서 말했다.

또한, 메타는 소비자 대상의 메타 AI 사용에 대해 논의했으며, 인도가 가장 큰 시장이라고 밝혔다. 그러나 수잔 리는 생성형 AI 제품이 수익에 크게 기여할 것으로 예상하지 않는다고 언급했다.

뉴스 속보를 실시간으로...토큰포스트 텔레그램 가기