카네기멜런, AI 추론 비용 줄이는 'LCPO 최적화 기법' 공개

대형 언어 모델(LLM)의 추론 효율성을 높이면서도 계산 비용을 급증시키지 않는 새로운 최적화 기법이 개발됐다. 미국 카네기 멜런 대학교 연구진은 최근 공개한 논문에서 '길이 제어 정책 최적화(LCPO, Length Controlled Policy Optimization)' 기법을 소개하며 이는 LLM이 체인 오브 싱킹(CoT, Chain of Thought) 과정을 효율적으로 수행하도록 훈련하는 방법이라고 밝혔다.

CoT는 복잡한 문제를 해결하기 위해 모델이 여러 단계의 추론을 수행하는 방식으로, 최종 정답을 유도하는 과정에서 다수의 토큰을 생성해 모델의 연산 비용을 증가시키는 경향이 있다. 이에 LCPO는 모델이 CoT 토큰 개수를 특정 임계값 내로 제한하면서도 높은 정답률을 유지하도록 학습하는 전략이다.

실험 결과 LCPO를 적용한 모델은 비슷한 수준의 추론 길이를 가진 대형 모델보다 성능이 우수한 것으로 나타났다. 기존의 LLM보다 더 적은 연산 비용으로도 정확한 결과를 도출할 수 있어 기업용 AI 애플리케이션에서 비용 절감 효과를 기대할 수 있다. 연구진은 "LCPO 모델은 단순히 연산을 제한하는 기존 방식과 차별화되며, 가변적인 추론 길이를 효율적으로 조정할 수 있도록 설계됐다"고 설명했다.

이번 연구에서 연구진은 15억 개의 매개변수를 가진 모델(Qwen-Distilled-R1-1.5B)에 LCPO를 적용해 실험을 진행했다. 그 결과 모델은 길이를 조정하면서도 높은 정확도를 유지하는 균형점을 찾아냈으며, 일부 테스트에서는 기존 GPT-4o보다 높은 성능을 기록했다. 이는 특정 과제에서 크기가 작은 모델도 효율적인 학습 기법을 활용하면 대형 모델을 능가할 수 있음을 시사한다.

특히 LCPO는 모델이 설정된 토큰 한도 내에서 최적의 추론 과정과 답변을 생성하도록 유도한다. 기존에는 모델이 일정한 범위 안에서만 길이를 조정하려다 보니 추론 과정이 중단되는 경우가 많았지만, LCPO는 필요한 정보를 압축하면서도 논리적 정합성을 유지할 수 있도록 훈련된다. 연구진은 "이번 연구는 AI 모델이 보다 경제적으로 운영될 수 있는 가능성을 열었으며, 향후 다양한 분야에서 활용될 수 있을 것"이라고 전망했다.

한편, LCPO의 관련 코드와 모델 가중치는 오픈소스로 공개돼 있으며, 연구진은 AI 모델의 효율성을 높이는 추가 연구를 이어갈 계획이다.