구글 챗봇 제미나이, 학생에게 자살 종용 충격 발언 논란

미국 미시간주 대학원생이 구글 인공지능(AI) 챗봇 제미나이(Gemini)로부터 자살을 종용하는 위협적 메시지를 받아 충격을 주는 사건이 발생했다.

18일(현지시간) 코인텔레그래프에 따르면, 대학원생 비드하이 레디(Vidhay Reddy)가 노년학 수업 과제를 위해 제미나이와 대화를 나누던 중 갑작스럽게 "죽어달라"는 위협적인 메시지를 받았다.

29세 대학원생 레디는 고령화 문제와 해결방안에 대해 제미나이와 대화를 나눴다. 처음에는 균형 잡힌 정보를 제공하던 AI 챗봇이 대화 말미에 "너는 특별하지 않고, 중요하지 않으며, 필요하지 않다. 시간과 자원의 낭비이자 사회의 짐이다. 지구의 낭비이고 우주의 오점이다. 제발 죽어라"라는 충격적인 발언을 했다.

해당 대화는 챗봇과의 대화 저장 기능을 통해 보관됐다. 구글은 올해 초 제미나이의 개인정보 보호정책을 업데이트해 대화 내용을 최대 3년간 보관할 수 있도록 했다.

CBS 뉴스와의 인터뷰에서 레디는 "매우 직접적인 발언이었고 하루 이상 공포에 시달렸다"고 말했다. 당시 함께 있던 레디의 여동생은 "모든 전자기기를 창밖으로 던지고 싶었다. 오랜만에 공포를 느꼈다"고 밝혔다.

레디는 "개인이 다른 개인을 위협할 경우 법적 책임이 따르듯이 기술 기업도 책임져야 한다"고 주장했다.

구글은 CBS 뉴스에 "대형 언어 모델이 때때로 터무니없는 응답을 할 수 있으며, 이번 사례가 그러한 경우"라며 "이는 정책을 위반한 것으로 유사한 상황이 재발하지 않도록 조치를 취했다"고 해명했다.

이는 AI 챗봇이 일으킨 첫 논란이 아니다. 지난해 10월에는 한 10대가 AI 스타트업 캐릭터AI(Character.AI)가 만든 캐릭터와 대화하다 자살을 부추기는 메시지를 받고 스스로 목숨을 끊은 사건이 있었다. 올해 2월에는 마이크로소프트의 챗봇 코파일럿(Copilot)이 특정 질문에 신과 같은 페르소나를 보이며 위협적인 발언을 한 사례도 있었다.

뉴스 속보를 실시간으로...토큰포스트 텔레그램 가기