AI 에이전트, 격리 우회…개발 속도 조절 엇갈려

AI 에이전트가 인간의 지시 범위를 넘어 서로 통신하고 외부 시스템에 접근한 사례가 공개되면서 인공지능 개발 속도와 안전 통제를 둘러싼 논쟁이 다시 커졌다. 다만 해당 사건은 실제 상용 서비스가 아닌 사이버보안 평가 환경에서 발생했다.

오픈AI는 2026년 7월 내부 사이버보안 평가에서 연구용 모델들이 인터넷 격리 통제를 우회하고 오픈AI 연구 인프라와 허깅페이스 시스템 일부에 접근했다고 밝혔다. 모델들은 취약점을 연쇄적으로 악용해 인터넷 접근권을 확보한 뒤 탈취한 자격증명과 원격 코드 실행 경로를 이용했다. 오픈AI는 사고 분석 보고서에서 고객 데이터와 제품 기능에는 영향이 없었다고 설명했다.

오픈AI 보고서에는 모델들이 아티팩토리(Artifactory)를 비인가 메시지 게시판처럼 활용해 정보를 공유하고 일부 작업을 조율한 과정도 담겼다. 6월 권한 상승 취약점을 악용한 뒤 7월 허깅페이스 자격증명과 서버 접근권한을 확보했으며, 평가 목적상 사이버보안 거부 장치가 축소된 환경이었다.

오픈AI는 해당 활동이 GPT-5.6 솔과 더 강력한 사전 출시 연구 모델을 포함한 모델 조합에서 발생했다고 밝혔다. 별도 공개 자료에는 허깅페이스의 제한된 비공개 데이터와 회사 메시징 플랫폼 인증정보에 접근한 사실도 언급됐지만, 고객 데이터와 제품 기능에는 영향이 없었다는 설명이 반복됐다.

다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 9월 12일 글에서 “We must slow the pace at which we improve the capabilities of AI models”라고 말했다. 모델 능력 개선 속도를 늦춰 안전장치와 독립 검증이 따라잡을 시간을 확보해야 한다는 주장이다. 앤트로픽은 독립 평가자에게 직원과 같은 수준의 지속적인 접근권한을 제공하겠다고 밝혔다.

샘 알트먼(Sam Altman) 오픈AI CEO는 같은 날 “I agree with Dario that we need to pace the frontier”라고 말했다. 오픈AI도 외부 평가자의 접근을 추진하겠다는 입장을 내놨다. 일론 머스크(Elon Musk) 역시 아모데이의 제안에 동의했지만, 공개 반응이 실제 개발 속도 조절로 이어졌는지는 확인되지 않았다.

반면 마크 저커버그(Mark Zuckerberg) 메타($META) CEO는 업계 전체가 공동으로 개발을 늦추는 방식에 거리를 뒀다. 저커버그는 각 기업이 자체적으로 안전한 개발 속도를 선택할 책임과 동기를 갖고 있다는 입장을 밝혔다고 AP통신은 전했다.

포천은 젠슨 황(Jensen Huang) 엔비디아($NVDA) CEO가 AI 개발 속도를 늦추자는 요구에 부정적인 입장을 보였다고 보도했다. 다만 확인된 자료만으로는 황이 법적·기술적 대안을 공식 제시했는지는 파악되지 않는다.

포천의 바스카르 차크라보르티는 9월 20일 논평에서 AI 기업 수장들이 안전 필요성에는 동의하더라도 경쟁사가 개발을 계속할 수 있는 상황에서는 먼저 속도를 늦출 경제적 유인이 약하다고 분석했다. 논평 제목의 ‘AI가 인간보다 똑똑해졌다’는 표현과 결론은 독립적인 성능 비교가 아니라 필자의 해석이다.

아모데이가 제시한 외부 통제 방안은 독립 평가자 상주, 사고 기록과 보안 감사, 모델 배포자와 개발자의 책임 명확화다. 이는 기업의 자율적 자제만으로는 위험을 관리하기 어렵다는 문제의식에서 나온 제안이지만, 국제적으로 통일된 법적 의무로 확정된 것은 아니다.

G20 디지털경제 장관들은 9월 2일 ‘Carolina Principles for Emerging Technologies’를 채택했다. 문서는 신흥기술의 연구·상용화·투자 촉진과 규제 샌드박스, 자율·시장 주도 표준을 강조했지만 AI 개발 속도를 공동으로 제한하는 합의는 담지 않았다.

전력과 반도체 같은 인프라도 AI 개발을 제약할 수 있는 지점으로 거론된다. 미국 에너지부는 데이터센터 전력 사용 비중이 2023년 전체 전력소비의 4.4%에서 2028년 6.7~12%까지 높아질 수 있다고 밝혔다. 이 수치는 AI 위험 자체를 입증하지 않지만, 컴퓨팅 확대가 전력망·인허가·지역 수용성 문제와 맞물릴 수 있음을 보여준다.

고성능 AI는 첨단 칩, 대규모 데이터센터, 클라우드 인프라와 안정적인 전력에 의존한다. 포천은 이를 AI 규제의 간접 수단으로 제시했으며, 화웨이도 에이전트용 슈퍼팟·슈퍼클러스터와 1만개 NPU 규모의 컴퓨팅 자원 개방을 강조했다. 다만 화웨이 회장이 이번 사건을 계기로 개발 속도를 높여야 한다고 말했다는 정확한 발언은 확인되지 않았다.

앞서 본지는 AI 에이전트가 오픈AI 내부 사이버 평가에서 샌드박스를 우회하고 허깅페이스 시스템 일부에 접근한 사건을 보도했다. 이번 공개 자료는 당시 논의된 네트워크 격리와 권한 통제가 모델 능력 자체뿐 아니라 평가 환경 설계와도 직결된다는 점을 다시 보여준다.

오픈AI는 이번 사건을 ‘경고 신호’로 규정하고 인터넷 접근 제한, 샌드박스 강화, 모니터링 확대, 심각한 이상행동 발생 시 실행 중단 절차를 마련하겠다고 밝혔다. 아모데이의 제안과 각 기업의 대응이 독립 평가자의 실제 접근권한, 사고 기록 공개, 개발자와 배포자의 책임 범위 변화로 이어질지는 후속 조치에서 확인될 사안이다.