“AI 시대, 구조화된 데이터 없인 도태된다”…dbt 랩스가 바꾼 데이터 전략

클라우드 기반 데이터 플랫폼이 진화하는 가운데, 생성형 인공지능(AI)의 부상은 데이터 엔지니어링의 미래를 근본적으로 바꾸고 있다. dbt 랩스(dbt Labs)의 창립자이자 CEO인 트리스탄 핸디(Tristan Handy)는 최근 인터뷰에서 “AI를 활용하려면 구조화되고 통합된 데이터가 반드시 필요하다”며, 데이터 구조화와 거버넌스를 실패한 조직은 결국 AI 시대에서 뒤처질 것이라고 강조했다.

핸디는 지난 13년간 클라우드 기술이 데이터 관리 방식을 혁신했지만, 여전히 ‘구름 위에서 데이터를 변환하는 효과적인 방식’이 미비했음을 지적하며, dbt 랩스가 그 간극을 메웠다고 설명했다. 회사는 구조화된 쿼리 언어(SQL)를 기반으로 클라우드 간 변환 계층을 구축했으며, 이는 소프트웨어 엔지니어링의 핵심 개념인 지속적 통합(CI), 지속적 배포(CD), Git 기반 워크플로를 데이터 환경에 접목한 결과물이다.

핸디는 “혁신은 매일 테이블에 올라오는 거창한 기술이 아니라, 고객의 맥락에 맞게 개선되는 실용성에 있다”고 말했다. 그는 현재의 데이터 환경이 AI와 오픈 스탠더드(개방형 표준)에 의해 새로운 전환점을 맞이하고 있다며, 차세대 데이터 시대는 단순한 클라우드 이전이 아니라, ‘표준화’와 ‘AI 활용의 최적화’라는 두 축이 이끌 것이라고 내다봤다.

핸디가 언급한 오픈 스탠더드는 Iceberg 및 OpenTable 등 데이터 저장 포맷과 엔진의 호환성을 높이는 방식으로, 이는 기업의 데이터 전략에 근본적인 변화를 야기할 것으로 보인다. 핸디는 “이제는 데이터를 특정 포맷에 저장하고, 그것을 사용할 때마다 비용을 지불한다는 전제 자체가 무너지고 있다”며, 기업이 데이터 주권을 되찾는 흐름이 시작됐다고 분석했다.

dbt 랩스는 기술적 기여뿐 아니라 문화적 가치 측면에서도 높은 평가를 받으며, 올해 ‘HyperCUBEd 혁신상 – 비상장 기업 부문’을 수상했다. 이 회사는 “우리는 지식 순환 고리에 기여한다”는 철학을 통해 오픈소스 커뮤니티 중심의 알트루이즘(이타주의)을 실현하고 있으며, 공유 문화와 협업 중심의 개발 모델을 데이터 엔지니어링에 확산시키고 있다.

핸디는 “우리가 구축하는 오픈소스 생태계는 단순한 기술을 넘어선다”며, “해당 생태계는 창조물의 지속성과 세대를 넘는 지식 전승을 가능하게 한다”고 강조했다. 이는 상용 소프트웨어가 기업의 흥망에 따라 소멸하는 것과는 대조적이다.

생성형 AI의 가능성과 한계를 가늠하는 데 있어, 구조화된 데이터를 어떻게 준비하느냐는 점이 기업 경쟁력을 좌우하게 될 것이다. dbt 랩스는 단순한 분석 툴을 넘어, 데이터 전략을 주도하는 핵심 파트너로 떠오르고 있다.