데이터브릭스(Databricks)가 AI 성능 향상에 필요한 핵심 기술로 주목받는 실시간 피처 엔지니어링 기능을 강화하기 위해 피처 엔지니어링 신생기업 페넬(Fennel)을 인수했다. 정확한 인수 금액은 공개되지 않았지만, 지난 1월 150억 달러(약 21조 6,000억 원) 이상의 자금을 조달한 데이터를 감안하면 실제로 기업 전략에 큰 영향을 줄 규모는 아닌 것으로 분석된다.
이번 인수를 통해 데이터브릭스는 데이터 인텔리전스 플랫폼에 페넬의 증분 연산 기능을 결합, 머신러닝 모델 개발의 속도와 성능을 크게 높일 수 있을 것으로 기대하고 있다. 특히 배치와 실시간 데이터 처리 모두를 지원하는 페넬의 연산 엔진은 학습용과 운영용 데이터 환경 간 일관성을 유지해야 하는 과제를 해결함으로써, 효율성과 정확도를 동시에 잡는 데 기여한다.
페넬은 2023년 메타 및 구글 브레인 출신 AI 엔지니어 니킬 가르그(Nikhil Garg)와 아베 보트라(Abhay Bothra)에 의해 설립됐으며, 머신러닝에 최적화된 데이터 파이프라인을 실시간으로 구축하고 관리할 수 있는 완전관리형 플랫폼을 제공해 주목을 받아왔다. 특히 변경된 데이터만 골라 재계산하는 기능을 통해 불필요한 연산을 줄이고 비용을 절감하는 것이 강점이다.
또한 페넬은 파이썬 친화적 인터페이스를 제공해 새로운 언어 학습 없이 복잡한 피처를 손쉽게 생성할 수 있게 돕는다. 사용자들은 데이터 팀의 사전 정의 없이도 직접 파이프라인을 구축할 수 있으며, 이는 기존 머신러닝 워크플로우에서 흔히 발생하는 병목을 줄이는 데 유효하다.
기술적 차별성과 실용성을 기반으로 페넬은 시장에서 빠르게 신뢰를 축적했으며, 크리컷(Cricut), 업워크(Upwork), 리플링(Rippling) 등 여러 고객사들이 이미 페넬의 플랫폼을 이용해 사기탐지, 신용평가, 추천시스템 등 다양한 AI 솔루션을 운영 중이다.
데이터 인텔리전스 업계에선 이번 인수를 데이터브릭스의 보다 매끄러운 AI 기능 확장을 위한 전략적 행보로 보고 있다. 지난 2월에도 데이터 이전 자동화 스타트업 블레이드브리지(BladeBridge)를 인수했던 데이터브릭스는 연이어 신기술 흡수에 속도를 내며 머신러닝 생태계 전반에 걸친 영향력 확대에 나선 모습이다. AI 모델의 성능이 점차 데이터 품질과 처리 방식에 좌우되는 현 상황에서, 피처 엔지니어링 기술은 핵심 경쟁력으로 떠오르고 있다.
데이터브릭스는 이번 통합을 통해 고객들이 더욱 빠르게 데이터를 탐색하고, 정밀한 AI 모델을 구축할 수 있도록 지원하겠다고 밝혔다. 궁극적으로는 사용자의 맥락을 더 깊이 이해하고 개인화된 경험을 제공하는 AI 개발을 가속화하겠다는 목표다.