오픈AI, ChatGPT 생성 콘텐츠 감지 도구 공개 보류

오픈AI(OpenAI)는 ChatGPT가 생성한 콘텐츠를 감지할 수 있는 "매우 정확한" 도구를 보류하고 있으며, 이는 도구가 조작될 가능성이나 비영어권 사용자가 인공지능 모델로 텍스트 생성을 피할 우려 때문인 것으로 보인다.

4일(현지시간) 코인텔레그래프에 따르면, 오픈AI는 지난 5월 블로그 게시물에서 자사 제품이 생성한 콘텐츠를 감지하기 위한 다양한 방법을 연구 중이라고 언급했다. 그러나 월스트리트 저널(WSJ)이 8월 4일 독점 보도한 바에 따르면, 이러한 도구의 공개 계획은 그 출시의 파급 효과에 대한 내부 논쟁으로 인해 중단된 상태이다.

WSJ의 보도 이후, 오픈AI는 5월 블로그 게시물을 업데이트해 감지 도구에 대한 새로운 정보를 추가했다. 결론적으로, 최소한 하나의 텍스트 출처를 결정하는 도구가 “매우 정확하고 지역화된 조작에도 효과적”이라는 회사의 경고에도 불구하고 출시 일정은 여전히 없다.

불행히도, 회사는 악의적인 행위자가 감지를 우회할 수 있는 방법이 여전히 있다고 주장하며, 이를 대중에게 공개하는 것을 꺼리고 있다.

또 다른 단락에서는 영어 텍스트를 다른 언어로 번역하여 감지를 우회하는 악용과 관련하여 비영어권 사용자가 AI 제품을 사용해 글을 쓰는 것을 “낙인찍을” 수 있다고 암시하는 듯하다.

“또 다른 중요한 위험 요소는 텍스트 워터마킹 방법이 일부 그룹에 불균형한 영향을 미칠 수 있다는 우리의 연구 결과입니다. 예를 들어, 비원어민 영어 사용자가 AI를 유용한 글쓰기 도구로 사용하는 것을 낙인찍을 수 있습니다.”

현재 AI 생성 콘텐츠를 감지한다고 주장하는 여러 제품과 서비스가 있지만, 알려진 바에 따르면 일반적인 작업에서 높은 정확성을 입증한 것은 없다.

오픈AI의 도구는 회사의 모델이 생성한 콘텐츠를 위해 보이지 않는 워터마킹과 독점 감지 방법에 의존하는 최초의 내부 개발 시스템이 될 것이다.

뉴스 속보를 실시간으로...토큰포스트 텔레그램 가기