LLM, 더 똑똑해진다… 'METASCALE'로 논리적 추론 대폭 강화

대형 언어 모델(LLM)의 논리적 추론 능력을 한층 강화할 수 있는 새로운 프레임워크 'METASCALE'이 발표됐다. 이 프레임워크는 LLM이 문제 유형에 따라 유연하게 사고 방식을 전환할 수 있도록 설계됐다. 기존 LLM은 대부분 고정된 논리 구조에 의존해 답변을 생성하지만, METASCALE은 '메타 사고(meta-thinking)' 개념을 도입해 문제 해결 방식을 동적으로 최적화한다.

미국 캘리포니아대학교 데이비스 캠퍼스(UC Davis), 서던캘리포니아대학교(USC) 및 마이크로소프트 리서치(Microsoft Research) 소속 연구진이 최근 이를 발표한 논문에 따르면, METASCALE은 추론 과정에서 ‘인지적 사고 방식(cognitive mindset)’과 ‘문제 해결 전략(problem-solving strategy)’을 결합해 LLM이 최적의 해법을 도출하도록 돕는다.

기존 LLM의 가장 큰 한계 중 하나는 문제 해결 방식이 지나치게 정형화되어 있다는 점이다. 인간은 문제 상황에 따라 다양한 사고 방식을 채택할 수 있지만, LLM은 훈련된 데이터 패턴에 의존하는 경향이 강하다. 이를 개선하기 위해 METASCALE은 LLM이 테스트 단계에서 다양한 사고 전략을 실험하며 최적의 접근 방식을 선택할 수 있도록 설계됐다.

연구팀은 METASCALE을 GPT-4o 및 Llama-3.1-8B 모델에 적용해 다양한 벤치마크 테스트를 수행했다. 그 결과, METASCALE을 활용한 모델은 수학적 문제 해결(GSM8K), 지식 및 언어 이해(MMLU-Pro), 복합 분석(Arena-Hard) 등 다양한 영역에서 기존 방식보다 우수한 성능을 보였다. 특히 기본 체인 오브 싱킹(CoT) 방식보다 더 높은 정답률을 기록해 테스트 단계에서의 확장성(scalability)도 입증됐다.

이 기술은 기업에서도 즉각적인 응용이 가능하다. METASCALE은 별도의 모델 재훈련이나 복잡한 소프트웨어 추가 작업 없이 단순한 프롬프트 엔지니어링만으로 LLM의 성능을 향상시킬 수 있기 때문이다. 또한, 오픈소스 모델은 물론, API 기반의 폐쇄형 모델에서도 적용 가능하다. 이는 다양한 산업에서 LLM을 활용한 분석 및 의사 결정의 품질을 향상시키는 데 기여할 것으로 기대된다.