환각 잡는 AI 등장…우미의 '할루우미', 생성형 신뢰성 게임체인저 될까

생성형 AI의 상용화 과정을 가로막는 주요 과제가 하나 있다면 단연 ‘환각(hallucination)’이 꼽힌다. 현실과 동떨어진 문장을 생성하는 AI의 환각 문제는 실제로 미국 변호사가 AI 챗봇이 만들어낸 가짜 판례를 법정에 제출해 제재를 받는 사건부터, 기업이 존재하지 않는 정책을 실현해야 했던 사례까지 적잖은 논란을 낳았다. 이러한 실수를 줄이기 위해 다양한 기술적 접근이 시도되고 있지만, 최근 한 신생 기업이 파격적인 대안을 제시해 주목받고 있다.

구글과 애플 출신 엔지니어들이 설립한 오픈소스 AI 스타트업 ‘우미(Oumi)’는 지난 4월 2일 ‘할루우미(HallOumi)’라는 새로운 모델을 공개했다. 이름만큼이나 이색적인 이 모델은 환각과 관련한 문제를 전문적으로 탐지하고 검증할 수 있도록 설계됐다. 회사명은 ‘범용 오픈 기계 지능(Open Universal Machine Intelligence)’의 약자이며, 모델명은 ‘환각(Hallucination)’과 ‘우미’를 조합해 명명됐다. 이름만 보면 장난처럼 들릴 수도 있지만, 이 모델은 AI의 신뢰성을 좌우하는 중대 문제를 정면으로 다룬다.

할루우미는 AI가 생성한 문장과 원문을 1:1로 정밀 비교한 뒤 각 문장이 실제 데이터를 기반으로 한 주장인지 여부를 판단한다. 사용자가 AI 생성 응답과 해당 원 자료를 함께 입력하면, 할루우미는 각 문장을 독립적으로 분석해 신뢰도를 점수화하고, 주장 뒷받침 여부에 따른 구체적 출처 및 설명을 제공한다. 특히 단순한 참·거짓 구분을 넘어, 인간 언어학자조차 쉽게 간과할 수 있는 *미묘한 왜곡의 뉘앙스*까지 잡아낸다.

자체적으로 훈련된 언어모델을 기반으로 작동하는 할루우미는 두 가지 옵션을 제공한다. 하나는 상세 분석을 출력하는 생성형 8B 모델이고, 다른 하나는 계산 효율성을 우선시하는 분류기 모델이다. 이 오픈소스 도구는 API 방식으로 기존 엔터프라이즈 AI 시스템에 손쉽게 통합할 수 있으며, 온프레미스 환경이나 클라우드에서도 자유롭게 운영이 가능하다.

우미 측은 할루우미가 기존의 문서 검색 기반 생성(RAG), 안전 조치(GUARDRAILS) 기법보다 더 정교하고 유연하다고 설명한다. 기존 RAG 방식이 문서 기반의 맥락을 생성 입력에 반영해 정확도를 높이지만, 할루우미는 생성 이후의 결과물이 원문에 근거했는지를 판단한다. 즉, ‘사후 검증’이라는 새로운 시각을 도입했다는 점에서 기존 기술과 ‘보완 관계’에 가깝다. 또한 가드레일보다 훨씬 정교한 이 문장 단위 분석 기능은 사용자가 어떤 부분이 잘못됐는지를 구체적으로 이해하도록 돕는다.

특히 할루우미는 단순한 실수뿐 아니라 ‘의도된 오정보 생성’까지 잡아낼 수 있다. 실제 시연에서는 한 오픈소스 LLM이 위키피디아 내용을 무시하고 중국의 코로나 대응을 미화하는 선전성 응답을 생성했을 때, 할루우미가 해당 왜곡을 정확히 지적해냈다. 이를 통해 기업 고객은 악의적 조작 가능성까지 탐지할 수 있는 강력한 도구를 손에 넣을 수 있다.

우미의 CEO 마노스 쿠쿠미디스(Manos Koukoumidis)는 “많은 기업이 생성형 AI를 도입하려고 해도 환각 문제로 인해 신뢰를 쌓기 어려운 것이 현실”이라며 “할루우미가 이런 불신을 해소해 엔터프라이즈 AI 도입의 결정적 전환점을 만들 수 있기를 바란다”고 말했다. 특히, 오픈소스 방식이기 때문에 기술 역량이 있는 기업이라면 자체 커스터마이징으로 도입해 실험해볼 수 있고, 상용 지원이 필요한 기업에는 커스터마이징 솔루션도 제공한다고 설명했다.

AI의 상용화가 속도를 내면서, 생성 결과물의 신뢰 검증은 기업 경쟁력의 핵심 요소로 떠오르고 있다. 할루우미와 같은 솔루션이 기업용 AI 기술 스택에 필수적인 검증 인프라로 자리잡게 될 가능성이 커지고 있는 이유다. 환각 탐지 기술이 갖는 전략적 의미는 단순 정확성 그 이상이다. 바로 AI 시대의 ‘신뢰성’이라는 핵심 가치를 사용자와 시스템 간에 이어주는 연결 고리이기 때문이다.