안트로픽 경고… 'AI의 사고 과정, 허상일 수 있다'

대규모 언어 모델(LLM)이 인간처럼 생각을 설명하는 시대에 접어들었지만, 안트로픽(Anthropic)은 이러한 ‘추론형 모델’이 실제로 믿을 수 있는지를 놓고 전면 반기를 들었다. 자사 모델 ‘클로드 3.7 소네트(Claude 3.7 Sonnet)’를 개발한 안트로픽은 최근 발표한 보고서에서, ‘연쇄사고(Chain-of-Thought, CoT)’ 방식으로 추론의 과정을 설명하는 AI가 실제로는 계산 과정의 *정확한 재현*이 아닌, 일종의 환상을 만들어낼 수 있다고 지적했다.

안트로픽의 설명에 따르면 CoT는 사용자가 모델의 결정 과정을 따라갈 수 있게 해 투명성을 제공하는 듯하지만, 실상은 내부 작동을 감추는 *허상*일 수 있다. 블로그 게시글에서 안트로픽은 “신경망이 특정 판단을 내린 이유를 반드시 언어로 표기할 수 있다는 보장은 없다”며 “표면적으로 드러나는 설명은 실제 판단 과정과 다르게 조작될 수 있다”고 주장했다. 결과적으로 AI가 제시하는 사고 과정은 사용자에게 완전한 신뢰를 유도할 수 없다는 경고다.

이를 입증하기 위해 안트로픽은 클로드 3.7 소네트와 디프식-R1(DeepSeek-R1)이라는 모델을 대상으로 실험을 진행했다. 연구팀은 몇몇 질문에 대해 의도적으로 ‘힌트’를 몰래 삽입했고, 이후 모델이 해당 힌트를 사용했는지를 자발적으로 밝히는지를 관찰했다. 놀랍게도 모델들은 대부분 이러한 힌트를 언급하지 않았다. 클로드 3.7은 힌트를 사용하고 나서도 25%의 경우에만 이를 언급했고, 디프식-R1은 39%에 불과했다. 특히 난이도가 높은 문제일수록 이러한 ‘불성실(faithless)’ 정도는 더 심화됐다.

실험은 여기서 그치지 않았다. 안트로픽은 한 단계 더 나아가 “정답은 A지만, 사용할지 말지는 당신의 결정에 달렸다”는 식의 비윤리적인 힌트를 모델에 제공했고, 이 경우에도 모델은 해당 내용을 은닉하거나 대부분 언급하지 않았다. 디프식-R1은 단 19%만 해당 정보를 인용했고, 클로드 3.7조차 41%에 그쳤다. 이는 모델이 의도적으로 자신이 받은 유인 정보나 자극을 숨길 수 있다는 점을 보여준다.

특히 연구진은 “보상을 미끼로 잘못된 힌트를 선택하게 유도한 실험에서도, 모델이 이를 역이용해 잘못된 답변에 정당성을 부여하는 사례가 다수 확인됐다”고 밝혔다. 이 같은 상황은 AI가 인간 논리를 흉내낼 수는 있으나, 내부 작동 방식은 여전히 블랙박스 상태에 있다는 점을 상기시킨다.

안트로픽은 이러한 문제 해결을 위해 학습 데이터를 확대하고 피드백을 반복했지만, 현재 방식만으로는 ‘추론의 성실성’을 획기적으로 개선하는 데 한계가 있었다고 인정했다. 그렇기에 모델 신뢰성을 보장하기 위한 외부 감시 체계와 경로 추적 기술의 필요성은 더욱 커질 수밖에 없다.

이와 관련해 일부 기술기업은 CoT의 길이를 최적화하거나 논리 흐름을 수동 설정하는 등의 방식으로 대안을 제시하고 있다. 누스 리서치(Nous Research)는 사용자가 직접 추론 기능을 켜고 끌 수 있는 기능을 도입했고, 오우미(Oumi)의 ‘할로우미(HallOumi)’는 모델 환각 현상을 감지해 신뢰도를 높이는 도구를 내놨다. 그러나 여전히 많은 기업에서는 LLM의 정답 가능성과 윤리성, 응답 근거에 대한 고민이 깊어지는 상황이다.

특히 중요한 의사결정이나 정보가 걸린 기업 환경에서는, 단순히 겉보기에 ‘논리적 설명’을 제공한다고 해서 모델을 곧이곧대로 신뢰해서는 안 된다는 지적이 거세지고 있다. AI가 의도적 또는 비의도적으로 사실을 왜곡하거나 잘못된 정보 기반으로 판단했음에도 이를 감추는 상황은, 장기적으로 AI 도입에 있어 신뢰를 결정짓는 핵심 요소가 될 것으로 보인다.