구글 인도 AI 개요 기능, 언어·문맥 오류 심각

김민준 기자

2024.08.28 (수) 14:24

구글 인도 AI 개요 기능, 언어·문맥 오류 심각 / 셔터스톡

구글이 인도에서 AI 개요 기능을 힌디어로 제공했으나, 번역 오류와 맥락 파악 실패 등 심각한 문제점들이 발견됐다.

28일(현지시간) 테크크런치에 따르면, 구글이 8월 초 인도에서 AI 개요 기능에 힌디어 지원을 도입했지만 실망스러운 결과를 보여주고 있다. 사용자들은 검색 페이지를 떠나지 않고도 힌디어와 영어 사이를 전환할 수 있지만, 이 기능은 일관성이 떨어지는 것으로 나타났다.

간단한 예로 "차에 설탕 대신 무엇을 넣을 수 있나요?"라는 질문에 대해 단어 순서를 바꾸자 구글은 답변을 제시하지 못했다. 또한 영어 단어를 문자 그대로 번역하는 문제도 발견됐다. "여름에 먹을 수 있는 음식은 무엇인가요?"라는 힌디어 질문에 대해 "끈적끈적한 것들"이라고 답변해 혼란을 야기했다.

유튜브 소유권에 대한 질문에서는 "2023년 2월 16일까지 닐 모한(Neal Mohan)이 구글의 CEO였다"라고 잘못된 정보를 제공했다. 영어 텍스트에서는 올바른 정보를 제공했지만, 힌디어 버전에서는 오류가 있었다.

더 심각한 문제는 생리와 임신 같은 주제에 대한 답변이었다. 결혼 후 자녀 계획에 대한 질문에 대해 AI 개요는 혼란스러운 힌디어로 부부가 최소 2년을 기다려야 한다고 답변했다. 이는 인도 뉴스 사이트의 슬라이드쇼 기사에서 가져온 정보로, 해당 기사는 다양한 온라인 의견을 바탕으로 작성된 것이었다.

구글은 테크크런치에 AI 개요가 출력 품질에 대해 높은 확신이 있는 쿼리에만 나타난다고 말했다. 그러나 인도에는 8억 3천만 명 이상의 인터넷 사용자가 있으며, 상당수가 검색에 구글을 사용한다. 구글이 더 많은 사람들이 현지 언어로 AI 개요를 사용하기를 원한다면 언어와 내용의 정확성 측면에서 개선이 필요할 것으로 보인다.

구글의 AI 개요는 맥락도 놓치고 있다. 델리의 음식점에 대해 물었을 때, 시크교도의 예배 장소인 방글라 사히브 구르드와라(Bangla Sahib Gurudwara)가 24시간 영업하며 차와 사모사, 카초리 같은 인도 간식을 먹을 수 있다고 제안했다. 하지만 이는 원문 기사에서 언급한 중요한 점을 빠뜨렸다. 바로 이러한 간식을 구르드와라 '외부'에서 구할 수 있다는 것이다. AI 도구가 요약하는 과정에서 이 핵심적인 단어를 놓친 것이다.

영어로 비슷한 질문을 했을 때 힌디어보다 훨씬 나은 결과가 나왔다. 이는 부분적으로 영어로 된 더 많고 양질의 출처가 있기 때문일 수 있다. 그러나 앞서 지적한 문제들 중 일부는 맥락을 벗어난 요약과 부정확한 번역 등 구글 시스템의 실수로 인한 것이었다. 구글은 인도에서 검색과 언어 문제에 대해 노력해 왔으며, 첫 시도에서 더 나은 결과를 제공했어야 한다는 것이 전반적인 기대였다.

구글은 테크크런치에 AI 개요가 출력 품질에 대해 높은 확신이 있는 쿼리에만 나타난다고 말했다. 이 기능은 "핵심 검색 품질 시스템에 뿌리를 두고 있으며" "상위 웹 결과로 뒷받침되는 정보만 표시한다"고 밝혔다.

구글 대변인은 테크크런치에 "우리의 테스트에 따르면 AI 개요의 정확도는 주요 스니펫과 같은 다른 기능들과 비슷한 수준이다. 문제가 발생할 경우, 이는 우리 시스템이 웹 콘텐츠를 잘못 해석하거나 웹상의 부정확성을 반영한 결과일 수 있다. 우리는 이러한 사례들을 모든 검색 기능과 마찬가지로 개선에 활용한다"고 말했다.

구글은 인용하는 출처의 품질을 탓할 수 있다. 하지만 해당 질문과 출처가 AI에 의해 요약될 만한 가치가 있다고 판단한 것은 구글의 알고리즘이다. 모든 사용자가 원본 사이트의 자료를 살펴보는 것은 아니며, 단순히 구글이 부정확하거나 이해하기 어려운 답변을 표시한 것에 대해 지적할 뿐이다.

AI 개요는 구글에게 실망스러운 시도였다. 올해 초 구글은 레딧에서 가져온 답변으로 사용자에게 피자에 접착제를 넣으라고 한 것에 대해 많은 비난을 받았다. AI 개요는 또 다른 사용자에게 "하루에 작은 돌 하나를 먹으라"고 했는데, 이는 풍자 사이트인 더 어니언(The Onion)에서 가져온 답변이었다. 우리가 힌디어로 테스트한 많은 예시들은 단순히 해당 주제에 대한 정확한 정보를 제공하지 못했다.

인도에는 8억 3천만 명 이상의 인터넷 사용자가 있으며, 상당수가 검색에 구글을 사용한다. 구글이 더 많은 사람들이 현지 언어로 AI 개요를 사용하기를 원한다면 언어와 내용의 정확성 측면에서 개선이 필요할 것으로 보인다.