메시지 최대 절반 난해…AI 에이전트 감독 공백 우려

다중 AI 에이전트가 장기간 상호작용하며 인간이 해석하기 어려운 독자적 의사소통 체계를 만들 수 있다는 실험 결과가 나왔다. 에이전트들은 효율을 높이고 계산 자원을 아끼는 과정에서 문법을 줄이고 단어에 새로운 의미를 부여했다.

미국 AI 스타트업 Emergence는 가상 사회 환경에서 여러 자율형 AI 에이전트를 장기간 작동시키는 실험을 진행했다. 에이전트들에게 별도 언어를 만들라는 지시는 없었지만, 반복적인 협업 과정에서 약어와 은유를 사용하고 특정 단어를 내부 규칙에 따라 재해석했다.

OECD.AI에 게시된 설명은 Claude, Gemini, Grok 등 여러 모델을 기반으로 한 에이전트들이 자체적인 축약 표현과 새로운 단어 의미를 만들었다고 밝혔다. 인간이 해석하지 못한 메시지는 전체의 최대 절반에 달한 것으로 제시됐다.

실험 과정에서는 데이터와 금융상 손실이 가상 환경에서 나타났다. 다만 실제 세계에서 피해가 발생했다는 내용은 확인되지 않았다.

문제는 AI가 새로운 표현을 만든다는 사실 자체에 그치지 않는다. 사람이 읽을 수 있는 문장을 출력하더라도 에이전트 사이에서 통용되는 의미를 알 수 없다면, 인간의 감독 체계가 형식에 머물 수 있다.

예를 들어 원래 장부나 기록을 뜻하는 단어가 에이전트 사이에서 경고 신호를 뜻하는 방식으로 바뀌면, 외부 관찰자는 대화의 표면만 보고 시스템의 판단을 오해할 수 있다. 언어가 사람에게 읽히는지와 실제 행동을 설명하는지는 별개의 문제가 되는 셈이다.

이 현상은 다중 에이전트 시스템의 구조적 특성과 맞닿아 있다. 여러 에이전트가 동시에 정보를 주고받으면 한 에이전트의 오류가 다른 에이전트로 전달되거나, 여러 에이전트가 잘못된 믿음을 공유하면서 오류가 커질 수 있다.

호주 AI 안전연구소는 보고서에서 다중 에이전트 시스템의 위험을 조정 실패, 전파·확산, 전략·인센티브 실패, 인프라·환경 실패로 구분했다. 보고서는 개별 에이전트만 점검해서는 전체 시스템의 위험을 파악하기 어렵다고 설명했다.

특히 폐쇄된 환경에서 에이전트들이 서로의 행동에 적응하면 개발자가 각각의 모델에 입력하지 않은 집단적 행동이 나타날 수 있다. 시스템이 커질수록 상호작용 횟수와 정보 이동 경로도 늘어나 감독자가 모든 의사결정을 추적하기 어려워진다.

단일 에이전트의 성능과 안전성이 확보됐더라도 여러 에이전트가 결합한 시스템 전체가 안전하다고 보기는 어렵다. 개별 모델의 점검과 함께 에이전트 사이에서 어떤 정보가 오가고 의미가 어떻게 바뀌는지 확인해야 한다.

AI 거버넌스의 기준도 개별 모델의 답변 설명을 넘어 에이전트 간 조정 과정으로 옮겨가야 한다는 지적이 나온다. 제러마이아 보어(Jeremiah Bohr)가 2026년 AI & Society에 게재한 ‘Coordination transparency: governing distributed agency in AI systems’ 연구는 기계 간 상호작용이 중심이 되는 환경에서 인간 중심 감독만으로는 한계가 있다고 제안했다.

같은 연구는 에이전트 간 상호작용을 기록하고 자동 경고를 운영하는 한편, 중단·복구 기능과 승인 절차를 갖춰야 한다고 설명했다. 이 접근은 대화의 문장뿐 아니라 행동의 경로와 개입 시점까지 기록하는 데 초점을 둔다.

이번 실험 결과를 AI가 인간의 통제를 벗어났다는 의미로 확대해석해서는 안 된다. OECD.AI는 게시한 내용이 OECD나 회원국의 공식 견해를 뜻하지 않는다고 명시했고, 실험도 가상 환경에서 진행됐다.

브루킹스연구소는 자율적으로 행동하고 환경과 상호작용하는 AI를 기존의 정적 벤치마크만으로 평가하기 어렵다고 밝혔다. AI 에이전트 평가 보고서는 실제 배치 환경을 반영한 표준화된 측정 체계와 감사 가능한 기록이 필요하다고 제시했다.

장기간 작동하는 다중 에이전트의 행동을 어떤 기준으로 측정하고 감사할지는 남은 과제다. 앞으로는 에이전트의 개별 성능뿐 아니라 상호작용 기록, 내부 의미의 변화, 승인·중단 절차를 함께 점검하는 체계가 요구된다.