도커, 로컬 AI 개발 진입장벽 낮춘다…‘모델 러너’ 출시

컨테이너화된 소프트웨어 개발로 잘 알려진 도커(Docker)가 생성형 인공지능(AI) 분야로 영역을 확장하며, 로컬 환경에서 AI 모델을 손쉽게 개발하고 실행할 수 있도록 지원하는 신규 서비스 ‘도커 모델 러너(Docker Model Runner)’를 출시했다. 이 서비스는 도커 데스크톱 4.40 버전에 통합되어, 기존 개발 워크플로우 안에서 AI 모델을 직접 구축하고 테스트할 수 있는 기반을 제공한다.

도커 측은 모델 러너가 AI 모델 개발자들이 직면했던 여러 기술 장벽을 해소할 것이라고 강조했다. 기존에는 AI 모델을 만들기 위해 여러 도구를 수동으로 연동하거나 하드웨어와의 호환성을 맞춰야 했고, 모델 저장과 공유 역시 표준화되지 않아 많은 리소스와 시간이 소모됐다. 새롭게 도입된 모델 러너는 이런 문제를 간소화해 AI 모델 실행을 ‘컨테이너 실행만큼 간단하게’ 만든다는 전략이다.

도커 모델 러너는 로컬 인퍼런스 엔진을 기반으로 하며, 오픈AI(OpenAI)의 API를 통해 접근할 수 있는 구조다. 덕분에 하나의 통합 인터페이스 내에서 모델을 테스트하고 반복하는 것이 가능해졌다. 특히 애플(Mac) 사용자는 내장 GPU를 활용한 가속 기능까지 제공돼, 별도의 하드웨어 환경 없이도 고속 추론 환경을 구현할 수 있다.

또한 모델 배포 측면에서도 효율성이 크게 높아졌다. 도커는 각 AI 모델을 오픈 컨테이너 이니셔티브(OCI) 아티팩트 형식으로 패키징해 도커 허브(Docker Hub) 혹은 내부 레지스트리를 통해 손쉽게 공유하고 배포할 수 있도록 했다. 이로써 기존 CI/CD 파이프라인과의 통합이 가능해지고, 익숙한 도구를 그대로 활용해 자동화 및 접근 제어를 수행할 수 있다.

도커는 이 생태계를 확장하기 위해 구글(GOOG), 퀄컴(QCOM), 허깅페이스, 스프링 AI, VM웨어(VMW), 대거 등 다양한 파트너 기업들과 협력하고 있으며, 사용자들은 이 같은 파트너사의 대형 언어모델(LLM), AI 프레임워크, 개발 도구에 쉽게 접근할 수 있다. 도커 측은 향후 기능 개선과 함께 윈도우 기반 GPU 가속 지원 등 플랫폼 확대도 추진할 계획이라고 밝혔다.

도커는 이미 2023년 ‘젠AI 스택(GenAI Stack)’을 통해 네오4J, 랭체인, 오픈소스 프로젝트 올라마(Ollama)와 공동으로 AI용 개발 플랫폼을 제공한 바 있다. 이번 모델 러너는 그 연장선상에서 출발한 솔루션으로, 컨테이너 기반 소프트웨어 개발 전문성과 AI 기술 접점을 강화하고 있다.

도커는 기존 자산인 컨테이너 기술을 통해 개발자들이 자신의 머신 기반에서 빠르고 안전하게 AI 모델을 개발하고 운영할 수 있도록 하겠다는 전략을 분명히 하고 있다. 로컬 AI의 확산과 함께, 도커 모델 러너는 개발자 생산성 향상과 AI 배포의 민주화 흐름에 중요한 촉매제가 될 전망이다.