데이터브릭스, 앤트로픽과 5년 파트너십… AI 경쟁력 강화

데이터브릭스(Databricks)가 인공지능(AI) 연구 기업 앤트로픽(Anthropic)과 5년 간의 파트너십을 체결하며, AI 산업 내 경쟁력을 한층 높이고 있다. 이번 협력을 통해 데이터브릭스의 데이터 인텔리전스 플랫폼 내에서 앤트로픽의 '클로드 3.7 소넷(Claude 3.7 Sonnet)' 모델을 직접 사용할 수 있게 됐다.

데이터브릭스는 이번 파트너십을 통해 AWS, 마이크로소프트 애저(Azure) 및 구글 클라우드에서 클로드 3.7 소넷을 활용할 수 있도록 지원한다. 클로드 3.7 소넷은 사용자의 요청에 따라 사고 과정의 지속 시간을 조절할 수 있는 것이 특징으로, 보다 정교하고 문맥에 최적화된 답변 제공이 가능하다.

데이터브릭스와 앤트로픽은 이번 협력을 통해 기업들이 보다 안전하고 효율적으로 AI 에이전트를 구축, 배포 및 관리할 수 있도록 지원할 계획이다. 특히, 대규모 데이터 거버넌스, 프라이버시 및 컴플라이언스 준수를 필요로 하는 기업 환경에서 AI의 활용도를 극대화하는 데 초점을 맞췄다.

AI 연구 기업과 대형 데이터 플랫폼 간 협업은 최근 더욱 활발해지는 추세다. 앞서 데이터브릭스의 경쟁사인 스노우플레이크(Snowflake)도 앤트로픽 및 마이크로소프트와 제휴를 맺고 AI 에이전트 활용을 확대한 바 있다. 이러한 파트너십 강화는 기업들이 AI를 비즈니스에 효과적으로 접목할 수 있도록 돕는 중요한 전략이 되고 있다.

또한, 데이터브릭스는 별도로 '테스트 시간 적응 최적화(TAO, Test-time Adaptive Optimization)' 기반의 새로운 미세 튜닝 기법을 발표했다. 전통적인 AI 모델 학습 방식이 대규모 데이터 라벨링에 의존하는 반면, TAO는 모델 자체의 패턴과 테스트 과정에서 수집된 데이터를 활용해 보다 빠르고 경제적인 튜닝을 가능하게 한다.

이 방식은 기존 라벨링 데이터 없이도 정밀한 모델 수정을 가능하게 하며, 오픈소스 모델이 상용 모델과 경쟁력을 가질 수 있도록 돕는다. 특히, 메타(Meta)의 '라마(Llama)' 모델처럼 비용 효율적인 AI 모델을 오픈AI의 GPT-4o 등과 비교 가능한 성능 수준으로 끌어올리는 것이 가능해진다.

이번 데이터브릭스와 앤트로픽의 협력은 AI의 대중화를 가속화하는 중요한 이정표로 평가받고 있다. 기업들이 점점 더 전문화된 AI 솔루션을 필요로 하는 가운데, 이러한 협업이 AI 산업의 발전을 촉진하는 핵심 동력이 될 것으로 보인다.