LLM은 어떻게 답을 내렸나…Ai2, 학습 근거 추적 도구 'OLMoTrace' 공개

대규모 언어 모델(LLM)의 결과물이 어떤 학습 데이터를 바탕으로 생성됐는지 파악하는 것은 기업용 AI 도입에 있어 가장 큰 과제 중 하나다. 이에 미국 AI연구소 앨런 인공지능 연구소(Ai2)가 공개한 ‘OLMoTrace’는 이 문제에 직격탄을 날리는 오픈소스 도구로 주목 받고 있다.

OLMoTrace는 언어 모델의 출력 결과를 학습 데이터에 직접 연결해, 모델이 어떤 근거로 특정 답변을 도출했는지를 추적할 수 있게 해준다. 기존 AI 시스템의 ‘블랙박스’ 문제를 해소할 수 있는 투명성 도구로, 특히 규제 산업에서 AI를 활용하고자 하는 기업들에게 새로운 선택지를 제시한다.

OLMoTrace는 Ai2의 오픈소스 LLM 시리즈 ‘OLMo’에서 파생된 기술이다. 사용자는 Ai2의 웹사이트인 ‘Ai2 플레이그라운드’를 통해 최근 공개된 OLMo 2 32B 모델을 테스트할 수 있으며, 관련 소스 코드는 깃허브를 통해 무료로 제공되고 있다.

기존 AI 툴들이 신뢰도 점수나 검색 기반 결과 보강 방식(RAG)에 의존해 추론 과정을 설명하려 했던 것과 달리, OLMoTrace는 출력의 문장 구조를 그대로 학습 데이터와 대조해 일치하는 원문을 보여준다. 장문의 고유 텍스트 시퀀스를 모델 결과에서 식별하고, 이를 학습 말뭉치에서 찾아 하이라이트함으로써 사용자는 모델 학습의 실제 근거를 확인할 수 있다.

Ai2 연구원 류자청(Jiacheng Liu)은 “LLM이 답변을 생성할 때 왜 그 내용을 택했는지를 사용자가 직접 확인할 수 있도록 하는 것이 목적”이라며 “단순 신뢰도 점수보다 더 설득력 있는 분석 근거를 제공한다”고 강조했다. 그는 또 “모델이 과잉 자신감을 보이는 경우가 있어 단일 신뢰도 수치에 의존하기엔 한계가 있다”고 덧붙였다.

Ai2와 달리 앤트로픽(Anthropic)과 같은 기업들은 최근 모델 내부 구조나 뉴런 동작 방식에 기반한 방식으로 LLM 투명성 문제를 분석하고 있다. 그러나 Ai2는 여기에 선을 긋고 데이터를 기준으로 한 직접적인 추적 방식을 채택함으로써 현업 적용성을 높였다.

특히 의료, 금융, 법률처럼 높은 규제를 받는 산업에서 OLMoTrace의 활용 가능성은 크다. 전문가들은 이 도구가 데이터 추적성을 높이고, AI 모델 행동에 대한 신뢰를 구축하며, 허위정보 출력 원인을 규명하거나 훈련 오류를 식별하는 데 크게 기여할 수 있을 것으로 내다본다.

OLMoTrace는 향후 AI 거버넌스 프레임워크에서 핵심 도구로 자리매김할 잠재력이 있다는 평가도 나온다. 현재는 Apache 2.0 오픈 라이선스로 배포되고 있어, 공개된 학습 데이터를 보유한 어떤 모델에도 적용이 가능하다. 기업 내부에서 사용되는 독점 모델이라 해도, 모델 훈련 데이터를 갖고 있다면 자체적으로 구축해 사용할 수 있다.

Ai2 측은 이미 OLMoTrace를 활용해 자사 모델에서 잘못된 사후 훈련 데이터를 식별했고, 이를 고쳐 모델 성능을 향상시켰다고 밝혔다. 모델 디버깅부터 내부 설명성을 확보하고자 하는 기술 책임자들까지, 보다 신뢰할 수 있는 AI 활용을 고민하는 기업에게 실질적인 대안을 제시하는 기술로 주목된다.