AI 환각 잡는 'HallOumi'… 편향·허위 탐지에 특화된 오픈소스 등장

Oumi가 개발한 새로운 오픈소스 모델 'HallOumi'는 인공지능이 생성한 콘텐츠에서 '환각(hallucination)'이나 편향을 식별하는 데 특화된 기술로 주목받고 있다. 이 스타트업은 미국의 주요 대학 연구진과 협업해 '무조건적으로 개방적인 인공지능 플랫폼'을 개발 중인데, 이번에 발표한 HallOumi는 단 80억 개 파라미터로 구성됐지만 일부 거대 언어 모델(LLM)보다 정확도 면에서 우위에 있다고 평가받는다.

HallOumi의 가장 큰 강점은 AI가 만든 요약문이나 응답을 문장 단위로 분석하고, 출처 문서와 비교해 사실 여부를 판단할 수 있는 기능이다. AI의 응답을 신뢰할 수 없다는 점은 기업들의 AI 도입을 가로막는 가장 큰 장벽 중 하나다. 최근 유럽에서는 ChatGPT가 한 사용자를 살인범으로 잘못 지목해 논란이 커졌고, 월가에서는 AI 환각과 조작 가능성에 경고음을 내기도 했다.

이 모델은 문장마다 인용한 출처를 명시하고, 사람이 이해할 수 있을 정도의 설명도 덧붙인다. 요약문의 각 주장에 대해 근거 문장에서 파생된 논리 구조를 추적해 그 주장이 사실에 기반을 두고 있는지, 혹은 왜 허위인지를 스코어링 방식으로 시각화한다. 색상 구분을 통해 잠재적 편향 또는 환각 여부를 직관적으로 파악할 수 있도록 설계된 점도 특징이다.

제러미 그리어(Jeremy Greer) Oumi 공동창업자는 "AI는 본질적으로 자신이 배운 파라메트릭 지식을 실제 문서보다 우선하는 경향이 있다"며 "이는 악의 없는 상황에서도 잘못된 정보를 제공할 수 있게 만든다"고 설명했다. 그는 중국산 LLM인 DeepSeek의 사례를 언급하며, 민감한 정치 사안을 다룰 때 모델이 의도적으로 특정 맥락을 왜곡해 응답하는 사례가 발생한다고 덧붙였다.

기술적으론 속도가 다소 느리지만, 기업 고객의 수요는 분명했다. 마노스 쿠쿠미디스(Manos Koukoumidis) CEO는 "우리는 몇몇 대형 금융기관에 빠른 모델과 정확한 검증 모델 중 어느 쪽이 필요한지 물었을 때, 그들은 후자를 택했다"고 밝혔다. 그는 "사람이 수백 문장을 직접 확인할 필요 없이 요점만 빠르게 파악할 수 있다는 점이 현장에서 매우 높게 평가된다"고 강조했다.

Oumi의 이러한 기술은 특히 문서 검색 기반 생성(RAG) 환경이나 기업 내 맞춤형 모델 학습에서 이상적인 해법으로 떠오르고 있다. 회사는 관련 문서 및 예제 결과물도 함께 공개했으며, HallOumi는 완전한 오픈소스 라이선스로 제공되며, 기업 고객 대상 커스터마이징 및 기술 지원은 유료로 운영될 예정이다.