中, 초거대 AI 도구 통합 혁신…LLM 실용성 확 끌어올린 'CoTools' 공개

중국 쑤저우대학교 연구진이 대규모 언어 모델(LLM)의 실용성을 대폭 향상시킬 수 있는 새로운 프레임워크 'CoTools(Chain-of-Tools)'를 공개했다. 이는 다양한 외부 도구를 자연스럽게 통합해 AI의 응용 가능성을 확장하려는 시도로, 기업들이 기존 방식에서 겪던 생산성 저하와 훈련 한계 문제를 극복할 수 있는 해법으로 주목받고 있다.

기존의 LLM 도구 통합 방식은 두 가지 방식으로 나뉜다. 하나는 모델을 외부 도구 사용 사례에 맞춰 직접 재학습(fine-tuning)하는 접근으로, 특정 도구에 특화된 결과를 낼 수 있지만 확장성과 범용성이 떨어진다는 단점이 있다. 다른 하나는 ‘인컨텍스트 러닝(in-context learning)’ 기반의 방식으로, 프롬프트 내에 각종 도구 사용 예를 삽입해 모델이 이를 스스로 학습하도록 유도한다. 이는 유연성을 확보할 수 있지만, 도구가 많아질수록 프롬프트 구성 부담이 커지고 모델 응답 효율이 현저히 떨어진다는 구조적 한계가 있었다.

CoTools는 이러한 대립된 요소를 절묘하게 조합한 방식으로, 모델의 ‘히든 스테이트(hidden state)’를 활용해 도구 호출 시점, 도구 선택 여부, 그리고 매개변수 입력 과정을 각기 분리 처리한다. CoTools의 핵심은 기존 LLM의 파라미터는 그대로 유지한 채, 가볍고 특화된 모듈 세 개를 별도로 구성해 함께 작동시킨다는 점에 있다. 이 프레임워크는 ‘Tool Judge’가 도구 호출 여부를 판단하고, ‘Tool Retriever’가 최적의 도구를 선택하며, 마지막으로 ‘Tool Calling’ 단계에서 실제 도구 호출을 위한 매개변수를 구성하고 실행한다.

해당 방식은 메타의 오픈소스 모델인 LLaMA2-7B를 활용한 수치 추론과 지식 기반 질의 응답 테스트에서 탁월한 성과를 보였다. 특히 도구 수가 1800개에 달하고, 그 중 절반 이상이 학습 시점에 없었던 STQuestions 벤치마크에서 높은 정확도를 기록하며 기존 툴러닝 기법보다 뛰어난 확장성과 적응성을 증명했다.

다만 CoTools의 적용에는 한계점도 존재한다. 모델의 내부 상태에 접근이 필요하기 때문에, GPT-4o나 Claude처럼 구조가 공개되지 않은 폐쇄형 모델에는 적용이 불가능하다. 이에 따라 LLaMA, Mistral 등 오픈웨이트 모델 기반에서만 사용이 가능하다는 점은 향후 상용화를 위한 과제가 될 전망이다.

쑤저우대학교 연구진은 CoTools가 기업용 AI 에이전트를 구축할 때 새로운 가능성을 제시할 수 있다고 보고 있다. 특히 모델 컨텍스트 프로토콜(MCP) 같은 표준이 확산됨에 따라, CoTools는 새로운 API나 기능이 지속적으로 등장하는 현실에서 재훈련 없이 유연하게 대응할 수 있는 구조적 강점을 지닌다는 설명이다.

연구를 이끈 우멍송(Mengsong Wu) 박사는 VentureBeat에 “CoTools는 복잡한 과학적 도구를 다루는 개인 맞춤형 AI 에이전트를 구현할 수 있는 가능성을 보여준다”며, “다만 실제 환경에 적용하기 위해서는 재학습 비용과 일반화된 도구 호출 가능성 사이에서 균형을 찾는 추가 연구가 필요하다”고 말했다.

CoTools의 초기 버전은 현재 GitHub를 통해 Judge와 Retriever 모듈의 훈련 코드가 공개된 상태다. 연구진은 향후 Tool Learning의 상용화를 위해 CoTools을 더욱 발전시켜 나갈 계획이다. LLM이 진정한 범용 도구가 되기 위한 씨앗이 이 프레임워크에서 시작될 수 있을지 업계의 관심이 집중되고 있다.