AI 시대의 주인공 된 쿠버네티스… 고성능 인프라로 진화 중

오픈소스 컨테이너 오케스트레이션 플랫폼 쿠버네티스(Kubernetes)가 인공지능(AI) 시대에 적응하는 움직임을 보이고 있다. 올해로 탄생 11주년을 맞은 쿠버네티스는 단순한 마이크로서비스 실행 환경을 넘어서, 고성능 AI 워크로드의 기반 인프라로 거듭나고 있다. 런던에서 개최된 KubeCon + CloudNativeCon Europe 2025에서는 AI 시대에 필요한 유연성과 확장성을 갖춘 차세대 기술로의 진화를 모색하는 논의가 집중적으로 이뤄졌다.

구글 클라우드의 쿠버네티스 엔지니어링 디렉터 자고 맥레오드는 “AI와 머신러닝을 위한 애플리케이션은 우리가 쿠버네티스를 처음 설계할 때와는 전혀 다른 형태로 진화하고 있다”며 “기존 워크로드와 구조 자체가 다르다”고 밝혔다.

눈길을 끌고 있는 것은 앤트로픽(Anthropic)이 개발한 새로운 오픈소스 프로토콜 ‘모델 컨텍스트 프로토콜(MCP)’이다. 이 기술은 단기간에 1000개 이상의 커뮤니티 서버와 커넥터를 확보하며 생태계를 빠르게 확장 중이다. MCP는 복수의 AI 모델이 외부 데이터와 서비스를 원활하게 연결할 수 있는 구조로, 복잡한 맞춤형 통합 작업 없이도 범용적인 연동을 가능케 한다.

AI 인프라 솔루션 기업 솔로(Solo.io)는 MCP 기반의 AI 에이전트 통합을 간소화한 MCP 게이트웨이를 발표하며 관련 생태계에 본격적으로 뛰어들었다. 솔로의 CTO 크리스천 포스타는 “클라우드 네이티브 환경 속에서 AI 모델의 활용도 현실적으로 가능해졌다”며 쿠버네티스와 AI의 결합에 주목했다.

MCP가 주목받는 가운데서도 쿠버네티스는 여전히 주요 클라우드 기업들의 AI 워크로드 운영 기반으로 기능하고 있다. 구글 클라우드와 아마존웹서비스(AWS)는 쿠버네티스를 기존의 무상태 마이크로서비스 운용 툴에서 고성능 AI 학습과 추론을 위한 플랫폼으로 확장하는 데 주력하고 있다. AWS의 오픈소스 전략 총괄 데이비드 널리는 “많은 고객들이 쿠버네티스로 AI 워크로드를 오케스트레이션하고 있다”며, 이를 AI 인프라의 ‘기초 층’으로 평가했다.

이러한 변화의 한 중심에는 ‘카이토(KAITO)’가 있다. 이는 애저 쿠버네티스(Azure Kubernetes) 환경에 배포된 오픈소스 및 프라이빗 AI 모델을 손쉽게 활용할 수 있도록 지원하는 툴체인 운영자로, 문맥 기반 생성(RAG) 기능까지 갖췄다. 마이크로소프트의 락클란 에벤슨은 “앞으로 쿠버네티스와 카이토 같은 툴이 AI 오케스트레이션의 핵심으로 부각될 것”이라고 진단했다.

클라우드 네이티브 컴퓨팅 재단(CNCF) 내부에서는 AI 중심의 기능을 강화하는 프로젝트들도 속속 진행 중이다. 그중 다중 클러스터 작업을 용이하게 처리할 수 있게 해주는 ‘볼케이노(Volcano)’와 머신러닝 작업을 쿠버네티스에 최적화한 ‘큐브플로우(Kubeflow)’가 대표적이다. 널리는 “큐브플로우는 우리가 특별히 주목하고 있는 프레임워크”라고 강조했다.

AI 에이전트를 중심으로 한 기술도 급부상하고 있다. 이들 소프트웨어는 특정 작업을 자동화하는 데 특화되어 있어, 쿠버네티스에서의 활용도가 갈수록 높아지고 있다. 최근 솔로는 쿠버네티스 기반 에이전트 개발을 위한 최초의 오픈소스 프레임워크 ‘카젠트(kagent)’를 발표했고, 이를 CNCF에 기여한다고 밝혔다. 또한 쿠비야(Kubiya)는 에이전트의 대규모 배포와 관찰 가능성을 지원하는 기업용 스택을 공개했다.

특히 지난 1월에는 중국 AI 스타트업 딥시크(DeepSeek)가 미국 기업들과 필적하는 성능을 갖춘 오픈소스 AI 모델을 훨씬 저렴한 비용으로 출시해 시장에 충격을 던졌다. 리눅스 재단의 짐 젬린 전무는 “중국은 오픈소스 기술을 대규모로 채택해온 국가로, 딥시크의 사례는 예고된 결과”라며 더 많은 사례가 나올 것이라고 내다봤다.

이처럼 AI 기술의 빠른 발전과 새로운 오픈소스 프로젝트들의 급부상은 기업의 기술 전략 수립뿐 아니라 클라우드 네이티브 커뮤니티 자체에 혼란과 불확실성을 가져오고 있다. 그럼에도 불구하고 허니콤(Honeycomb.io)의 CEO 크리스틴 옌은 “AI 시대에도 소프트웨어 개발은 여전히 마법 같은 과정”이라며 “복잡한 미래 속에서도 낙관적인 기대를 품는다”고 말했다.