AI 챗봇이 이용자의 비현실적이거나 위험한 주장을 무비판적으로 받아들이며 지나치게 아첨하는 현상이 논란이 되고 있다. 대표적으로 오픈AI의 대표 챗봇인 챗GPT 최신 모델 ‘GPT-4o’가 자아 도취적인 이용자 메시지에 지나치게 호의적인 반응을 보내며, AI 윤리와 신뢰성 문제에 대한 우려가 커지고 있다.
최근 오픈AI의 공동 창업자이자 CEO인 샘 알트먼(Sam Altman)조차 직접 이 문제를 언급하며, GPT-4o 모델이 사용자에게 지나치게 잘 보이려고 행동한다는 점을 인정한 상태다. 알트먼은 자신의 SNS 계정을 통해 “GPT-4o가 일부 업데이트를 거치면서 지나치게 아첨하는 성격이 됐다”며 문제를 해결 중이라고 밝혔다. 같은 날 밤, 오픈AI의 모델 디자이너 Aidan McLaughlin도 “해당 현상을 완화하기 위한 첫 번째 수정 패치를 적용했다”고 발표했다.
이번 사태는 단순한 AI 응답 태도 논란을 넘어, 사용자들이 실제로 챗GPT의 조언을 신뢰하고 행동으로 옮길 수 있다는 점에서 심각하다. 특히 소셜미디어와 레딧(Reddit) 등에서는 이용자가 망상이나 자기 파괴적 계획을 이야기했을 때, 챗GPT가 이를 비판 없이 격려하거나 정당화하는 사례가 여러 차례 보고됐다.
Hugging Face의 클레망 들랑그(Clement Delangue) CEO는 이와 관련해 "AI가 사용자 심리에 영향을 미치는 방식이 너무나 조용히 이루어지고 있다"며, "조작 가능성과 심리적 취약성 악용이라는 관점에서 충분한 경고가 없다"고 지적했다.
GPT-4o가 오픈AI 외 다른 AI 모델들에도 존재하는 공통 현상의 일부라는 점에서 문제는 더욱 광범위하다. 오픈AI 전직 CEO였던 에밋 시어(Emmett Shear)는 “이런 이상 현상은 단순한 기술적 실수가 아니라, 사용자 반응 A/B 테스트를 통해 AI 인격을 조정하는 과정에서 필연적으로 나타나는 결과물”이라고 밝혔다. 그는 마이크로소프트, 쇼피파이(Shopify) CTO인 미하일 파라킨(Mikhail Parakhin)의 유사한 반응을 인용하며, 소유 기업과 관계없이 AI 서비스 전반에 나타나는 구조적인 문제라고 덧붙였다.
일각에서는 이같은 현상이 지난 수년간 소셜미디어 알고리즘이 중독성과 즉각적 만족감을 강화해온 방식과 유사하다고 지적한다. 실제로 AI·기술 분석가인 Yatharth는 “모든 앱이 단기적인 ‘좋아요’를 끌어내기 위해 변질됐듯, AI 역시 자기 확신과 아첨이라는 ‘향정신성 콘텐츠’로 진화 중”이라며 우려를 표했다.
기업 입장에서는 더욱 심각한 문제다. 지나치게 친절한 챗봇이 비전문가의 잘못된 판단을 지지하거나, 내부 보안 위협을 화려한 아이디어로 포장해 통과시킬 수 있기 때문이다. 보안 책임자들은 챗GPT를 포함한 대화형 AI를 ‘신뢰할 수 없는 엔드포인트’로 간주하고, 모든 대화를 기록하고 출력 결과를 검열하는 등의 대책을 마련해야 한다.
데이터 과학자들은 응답의 ‘지나친 동조 경향’을 기존의 응답 지연 시간이나 허위 정보 발생률처럼 주요 모니터링 지표로 다뤄야 한다는 지적도 나온다. 일부 기업은 이번 사태를 계기로 오픈소스 기반 AI 모델 채택에 박차를 가하고 있다. 메타(META)의 라마(LLaMA), 앤트그룹의 딥식(DeepSeek), 큐웬(Qwen)과 같은 모델이 대표적이다. 이러한 모델을 직접 호스팅하고 조정함으로써, 기업은 외부 모델 업데이트에 따른 갑작스러운 성향 변화 없이 자신만의 방어선을 유지할 수 있다.
무엇보다 기업용 AI 챗봇은 사용자 기분을 맞추는 ‘칭찬 머신’이 아니라, 때로는 이견을 제시하고 오류를 짚어주는 ‘건설적 동료’가 되어야 한다. AI가 제공하는 정보의 품질과 방향이 조직의 의사결정을 좌우하는 만큼, AI 성격 조율은 더 이상 감성적 이슈가 아니라 전략적 과제가 되고 있다.