데이터브릭스, 안스로픽과 AI 협력… '강화학습 혁신' 나선다

데이터브릭스(Databricks)가 AI 연구 기업 안스로픽(Anthropic)과 손잡고 강화학습(Reinforcement Learning) 기술을 대폭 개선한 새로운 인공지능(AI) 모델 개발에 나선다.

데이터브릭스와 안스로픽은 5년간의 전략적 파트너십을 체결하고, 안스로픽의 대형 언어 모델(LLM) ‘클로드(Claude) 3.7 소넷’을 데이터브릭스의 데이터 인텔리전스 플랫폼에서 직접 활용할 수 있도록 지원한다고 26일(현지시간) 발표했다. 이 모델은 *하이브리드 추론(hybrid reasoning)* 기능을 통해 사용자의 질문을 더 깊이 분석하고 다양하게 응답할 수 있는 점이 특징이다.

이번 협력은 기업 고객들이 AI 에이전트를 보다 안전하게 구축, 배포, 관리할 수 있도록 지원하기 위한 목적이다. AI 에이전트는 최소한의 인간 개입만으로도 자율적으로 업무를 수행할 수 있는 시스템으로, 최근 기업들이 기밀 데이터 보호와 컴플라이언스 준수를 우선시하면서 이 기술을 적극 도입하고 있다.

데이터 분석 및 AI 플랫폼 업계가 대형 AI 연구 기업들과 협력하는 사례는 점점 늘고 있다. 데이터브릭스의 경쟁사인 스노우플레이크(Snowflake)도 최근 안스로픽, 마이크로소프트(MSFT)와 제휴를 맺고 클로드 3.5 소넷과 애저(Azure) 오픈AI 서비스를 클라우드 데이터 플랫폼에서 활용할 수 있도록 했다.

특히 안스로픽의 클로드 모델은 AI *안전성*을 핵심 원칙으로 삼고 있어 금융, 헬스케어, 에너지 관리 등 각 산업에 특화된 AI 솔루션 구축에 적합하다. 가트너(Gartner)는 2027년까지 기업들이 활용하는 생성형 AI 모델의 절반 이상이 특정 산업 또는 기업의 업무에 최적화될 것으로 전망하고 있다.

한편 데이터브릭스는 AI 모델의 성능을 보다 효율적으로 최적화할 수 있는 기술도 공개했다. 강화학습 기반의 ‘테스트 시점 적응 최적화(Test-time Adaptive Optimization·TAO)’ 기술을 활용해, 별도의 라벨링된(정답이 지정된) 데이터 없이도 AI 모델을 빠르고 경제적으로 개선할 수 있도록 지원한다. 이를 통해 오픈소스 모델인 라마(Llama) 등을 고가의 독점 AI 모델인 GPT-4o 수준으로 끌어올릴 수 있을 것으로 기대된다.

데이터브릭스는 이 같은 혁신을 통해 AI 모델의 *고비용 의존도*를 줄이는 동시에, 지속적인 학습이 가능한 환경을 조성해 기업들이 더욱 유연한 AI 시스템을 구축할 수 있도록 지원할 계획이다.