세계적인 오픈소스 인공지능 개발 움직임에 또 하나의 중요한 이정표가 세워졌다. AI 스타트업 투게더 AI(Together AI)와 에이전티카(Agentica)는 코드 생성에 최적화된 고성능 AI 모델 ‘딥코더(DeepCoder)-14B’를 전격 공개했다. 이 모델은 파라미터 수가 140억 개에 불과하지만, 오픈AI의 상용 코딩 모델인 ‘o3-mini’와 견줄 만큼 뛰어난 성능을 지닌 것으로 평가된다.
딥코더는 기존 오픈소스 모델 딥식-R1(DeepSeek-R1)을 기반으로 개발됐으며, 코드 생성과 수학적 추론 두 분야에서 모두 뛰어난 성과를 거뒀다. 특히 LiveCodeBench, Codeforces, HumanEval+ 등 대표적인 코딩 벤치마크에서 선두 모델들과 대등한 결과를 냈고, 고등 수리능력을 평가하는 AIME 2024 벤치마크에서는 73.8점을 기록해 기존 모델 대비 4.1%의 개선 효과를 보였다.
흥미로운 점은 이러한 성능이 140억 개라는 비교적 작은 파라미터 수에도 불구하고 구현됐다는 점이다. 덕분에 대규모 클라우드 인프라 없이도 실세계에서 쉽게 운용할 수 있다는 평가가 나오고 있다. 개발팀은 모델과 함께 학습 데이터, 코드, 로그, 최적화 방법 전반을 오픈소스로 공개해 AI 커뮤니티가 이를 활용해 지속적으로 성능을 향상시킬 수 있게 했다.
딥코더의 기반 기술 중 하나인 GRPO(Group Relative Policy Optimization)도 주목할 만하다. 이는 강화학습(RL) 방법의 일종으로, 개발팀은 이를 한층 더 개선한 GRPO+로 모델이 더 길게 학습할 수 있도록 안정성을 높였다. 특히 RL 학습에서 코드 과제에 대한 보상 설계를 간결하게 구성해, 결과적으로 모든 테스트 케이스를 통과한 코드에 대해서만 정답으로 인식되도록 설정했다. 이를 통해 단순한 암기 기반의 결과를 방지하고 진짜 추론 능력을 키우도록 유도했다.
또한 프로그래밍 과제의 특성을 고려해 ‘컨텍스트 확장 학습’ 기법도 도입됐다. 짧은 문맥에서 시작해 점차 긴 문맥으로 확장하는 방식으로, 최대 64K 토큰까지 해결 가능하도록 구성됐다. 특히 긴 문장을 생성하는 와중에 문맥 한계를 넘긴 경우, 이를 학습 과정에서 패널티로 간주하지 않는 방식으로 훈련 효율을 끌어올렸다.
기술 개발의 가장 큰 난제가었던 샘플링 시간 문제도 해결됐다. 긴 응답을 생성할수록 일부 GPU가 유휴 상태로 방치되며 학습이 지연되는 현상을 해결하기 위해 ‘One-Off Pipelining’이라는 새로운 병렬처리 기술이 도입됐다. 이를 통해 학습속도는 기존 방식 대비 두 배 이상 향상됐다. 실제 모델 학습은 최신 H100 GPU 32개를 활용해 단 2.5주 만에 완료된 것으로 알려졌다.
딥코더의 모든 개발 자산은 현재 깃허브(GitHub)와 허깅페이스(Hugging Face)에서 공개되어 있으며, 누구나 접근 가능한 자유 라이선스 방식으로 배포되고 있다. 이는 대규모 상용 모델에 대한 의존도를 낮추고, 기업들이 저비용으로 특화된 인공지능 시스템을 구축할 수 있는 여지를 크게 넓힌다.
이번 공개는 오픈소스 생태계 내에서 보다 강력하면서도 경량화된 모델이 주류로 부상하고 있음을 상징적으로 보여준다. 연산자원을 아껴야 하는 중소기업은 물론, 자체 데이터 거버넌스가 필수인 금융·의료 산업 등 특수 목적 영역에서도 활발한 활용이 기대된다.
기업 환경에서 딥코더와 같은 모델의 등장은 고급 AI 기술을 더 대중화시키고, 특정 요구에 최적화된 맞춤형 인공지능 개발을 한층 수월하게 만들 수 있다. 장기적으로는 이는 AI 도입의 진입 장벽을 낮추고 오픈소스 공유 기반의 혁신을 가속화하는 촉매제가 될 것으로 보인다.