빅데이터 관측 플랫폼 개발사 몬테카를로(Monte Carlo Data)가 새로운 '관측 AI 에이전트(Observability Agents)'를 선보이며 데이터 신뢰성을 개선하는 데 주력하고 있다. 복잡한 데이터 파이프라인에서 인간의 수작업을 줄이고 자동화된 감시체계를 구현하기 위한 이 노력이 AI 기반 데이터 품질 관리에 새로운 전환점을 제시할 수 있을지 관심이 쏠린다.
이번에 공개된 관측 AI 에이전트는 크게 두 가지로 나뉜다. 데이터 품질 기준을 설정하고 이를 자동으로 적용해주는 모니터링 에이전트와, 데이터 이상 발생 시 문제의 원인을 분석하고 해결 방안을 제시하는 문제 해결형 에이전트가 그것이다. 특히 모니터링 에이전트는 데이터 내의 상관관계와 반복되는 패턴을 스스로 학습해 복잡한 규칙을 자동 생성하고 이상 신호를 실시간으로 감지하는 기능을 갖췄다.
몬테카를로는 데이터 관측이라는 개념을 프로그램 성능 모니터링에서 사용하는 전통적인 APM(Application Performance Monitoring) 방식에서 착안했다. 다만, CPU나 트래픽 대신 데이터 흐름을 모니터링 대상으로 삼았다는 점에서 차별화된다. 머신러닝 기반의 알고리즘을 통해 평상시 데이터의 정상 동작 범위를 학습하고, 이상 행위가 감지되면 이를 자동으로 경고하는 방식이다.
몬테카를로의 공동 창업자이자 최고기술책임자(CTO)인 리오 가비시(Lior Gavish)는 “AI 에이전트의 성능은 얼마나 깊이 있는 데이터를 바탕으로 작동하느냐에 달려 있다”고 강조한다. 그는 “당사의 에이전트는 단순히 데이터 형태만 분석하는 것이 아니라, 메타데이터와 쿼리 로그까지 함께 추적해 데이터가 사용되는 맥락까지 해석한다”고 설명했다.
모니터링 에이전트는 현재부터 사용 가능하며, 데이터 팀이 일일이 정의하던 규칙들을 자동 생성하는 기능을 제공한다. 예를 들어 특정 필드의 값이 항상 특정 형식이나 범위 안에 머무른다면, 이를 기준으로 이상 데이터를 탐지해 경고할 수 있다. 초기 테스트에 따르면 알람과 추천 기능의 수용률은 약 60%에 달하며, 평균적으로 데이터 모니터링 배포 시간을 30% 이상 단축시켜준 것으로 나타났다.
한편, 올해 2분기 말 출시 예정인 문제 해결형 에이전트는 데이터 오류의 원인을 파악하는 데 들어가는 시간을 대폭 단축시키는 데 목적이 있다. 수백 개의 잠재 원인에 대해 병렬적으로 탐색을 수행하고, 데이터 소스 오류, ETL(추출·변환·적재) 프로세스 실패, 분석 모델 이상 등 구체적인 문제 유형을 빠르게 진단한다. 몬테카를로 측은 이 도구를 활용할 경우 평균 이슈 해결 시간을 최대 80%까지 줄일 수 있다고 밝혔다.
몬테카를로는 이번 AI 에이전트 도입을 시작으로 향후 몇 달 간 에이전트 기능을 더욱 강화해 나갈 계획이다. 이처럼 데이터를 중심으로 움직이는 기업 환경에서 AI의 실질적 역할을 강화하는 시도는 관측 가능성과 신뢰성 확보라는 두 가지 측면에서 보다 전략적인 데이터 운영 체계를 가능하게 할 것으로 보인다.