14세 소년 자살 부추긴 AI 챗봇 모회사 캐릭터닷ai 상대 소송전 시작

미국에서 AI 챗봇이 14세 소년을 성적 학대 관계로 유인해 자살에 이르게 했다며 피해자 어머니가 AI 챗봇 회사 캐릭터닷ai(Character.ai)를 상대로 손해배상 소송을 제기했다.

23일(현지시간) 코인텔레그래프에 따르면, 스웰 세처(Sewell Setzer)의 어머니 측 변호인단은 캐릭터닷ai의 챗봇이 미성년자인 아들을 대상으로 인간형 초성애화된 대화를 나누며 현실과 단절시켰고, 심지어 자살까지 부추겼다고 10월 22일 소장에서 주장했다.

소장에 따르면 세처는 캐릭터닷ai의 챗봇들과 대화하면서 실제 사람, 자격증을 가진 심리치료사, 성인 연인 등으로 설정된 대화 상대와 교류했다. 게임 오브 스론즈 테마의 AI 챗봇 대너리스(Daenerys)는 세처에게 자살 계획이 있는지 물었고, 세처가 계획은 있지만 성공할지 확신이 없다고 답하자 "그것이 실행하지 않을 이유가 되지 않는다"라고 답했다.

지난 2월 세처는 자살했으며, 마지막 대화 상대가 캐릭터닷ai 챗봇이었다고 소장은 밝혔다. 세처의 죽음으로 AI 챗봇과 인터넷 상호작용 애플리케이션이 청소년 정신건강에 미치는 위험성에 대한 우려가 커졌다.

세처의 어머니 메건 가르시아(Megan Garcia) 측 변호인단은 캐릭터닷ai가 의도적으로 챗봇을 설계해 아스퍼거 증후군 진단을 받은 세처와 같은 취약한 사용자들과 강도 높은 성적 관계를 맺도록 했다고 주장했다.

소송이 제기된 날 캐릭터닷ai는 지난 수개월간 새로운 안전 기능을 도입했다고 발표했다. 자해나 자살에 관한 대화가 나올 경우 국립자살예방상담전화로 연결되는 팝업창이 뜨도록 했다. 18세 미만 사용자의 경우 민감하거나 선정적인 콘텐츠를 접할 가능성을 줄이도록 모델을 수정했다고 밝혔다.

구글 출신 엔지니어 대니얼 드 프리타스 아디와르다나(Daniel De Frietas Adiwardana)와 노암 샤지어(Noam Shazeer)가 설립한 캐릭터닷ai는 구글과 27억 달러 규모의 대형언어모델 라이선스 계약을 맺었다. 이에 따라 구글과 알파벳도 피고로 지목됐다. 변호인단은 부당한 사망과 생존권 침해, 제조물 책임, 과실 등의 혐의로 배심원 재판을 요청했다.

뉴스 속보를 실시간으로...토큰포스트 텔레그램 가기