아파치 에어플로우 3.0 출시… AI 시대 맞춘 이벤트 기반 전환

실시간 AI 시대가 도래하면서 기존의 일괄 처리 방식은 갈수록 한계에 부딪히고 있다. 이런 가운데 오픈소스 데이터 오케스트레이션 플랫폼 아파치 에어플로우(Apache Airflow)가 4년 만에 메이저 업데이트인 3.0 버전을 출시하며 주목받고 있다. 이번 버전은 대규모 조직의 복잡한 데이터 파이프라인과 인공지능(AI) 인퍼런스 시스템을 보다 정밀하게 제어할 수 있는 강력한 기능을 대거 채택했다.

에어플로우는 지난 몇 년간 데이터 엔지니어의 표준 도구로 자리 잡으며, 포춘 500대 기업들에 폭넓게 도입됐다. 현재 3,000명 이상의 오픈소스 개발자들이 참여하고 있으며, 아스트로노머(Astronomer)의 아스트로 플랫폼, 구글 클라우드 컴포저(Google Cloud Composer), 아마존 매니지드 워크플로우(MWAA), 마이크로소프트 애저 데이터 팩토리 등에서 상업용 서비스로도 활용되고 있다.

에어플로우 3.0의 가장 큰 변화는 기존의 일괄처리 중심 구조에서 벗어나 이벤트 기반 스케줄링을 본격 도입했다는 점이다. 기존에는 매시간 정해진 시간에 데이터를 처리했다면, 이번 버전부터는 새로운 데이터가 업로드되거나 메시지가 특정 조건을 충족했을 때 자동으로 작업을 시작하는 구조로 진화했다. 예를 들어 아마존 S3 버킷에 데이터가 올라오거나 아파치 카프카에서 메시지가 감지되면 즉시 관련 작업이 실행된다.

비크람 코카(Vikram Koka) 아스트로노머 전략총괄이자 에어플로우 프로젝트 관리위원회(PMC) 위원은 “이번 3.0은 기존 기능을 거의 완전히 재설계한 수준의 변화이며, 대기업들이 요구해온 미션 크리티컬(핵심적) 기능들을 반영한 차세대 플랫폼 기반이 될 것”이라고 밝혔다.

아키텍처 측면에서는 이전까지 하나의 단일 패키지 형태였던 구조에서 벗어나, 분산형 클라이언트 모델을 채택했다. 이를 통해 다중 클라우드 환경에서의 유연한 작업 분배는 물론 복잡한 보안 제어와 다국어 지원이 가능해졌다. 특히 기존의 파이썬 중심에서 벗어나 고(Go)를 우선 지원하며, 자바, 타입스크립트, 러스트에 대한 향후 지원도 계획되어 있다.

이러한 변화는 특히 복잡한 AI 워크플로우를 다루는 기업들에게 매력적인 선택지다. 최신 버전은 복수의 대규모 언어모델(LLM)과 분석 모델을 단계별로 연계해 하나의 시스템처럼 운용할 수 있는 이른바 ‘컴파운드 AI(compound AI)’ 구현을 지원한다. 단순한 자율형 에이전트 방식(agentic AI)이 아닌, 예측 가능한 구성으로 업무 효율을 높일 수 있는 것이 특징이다.

실제로 대형 기업뿐 아니라 프로 스포츠 팀도 에어플로우 도입을 가속화하고 있다. 메이저리그 구단 텍사스 레인저스는 아스트로 기반 에어플로우를 데이터 오케스트레이션의 ‘신경망’으로 운용하고 있으며, 선수 계약, 경기 데이터, 인공지능 분석 전반에 이를 활용 중이다. 텍사스 레인저스의 데이터 엔지니어 올리버 다익스트라(Oliver Dykstra)는 “3.0의 이벤트 기반 스케줄링과 향상된 가시성 및 신뢰도는 우리 전 조직의 AI/ML 파이프라인을 더욱 민첩하고 안정적으로 만들 것”이라고 평가했다.

이번 에어플로우 3.0 출시는 엔터프라이즈 시장의 AI 도입 가속화에 있어서 핵심 인프라 역할을 수행할 것으로 보인다. 기술 리더들은 기존 스케줄 기반 워크플로우 중 이벤트 트리거 방식으로 전환이 가능한 부분을 발굴하고, 개발 언어 환경 통합을 통해 툴 생태계를 재정비할 필요가 있다. 특히 복잡한 다단계 AI 처리 흐름을 갖춘 기업에서는 에어플로우 3.0이 파일럿 단계를 넘어 전사적 도입을 실현할 수 있는 촉매제가 될 수 있다.