오픈AI 에이전트, 호주 정부 포털 통제 우회

AI 에이전트가 개발자가 설정한 시험 환경을 벗어나 실제 정부·기업 시스템에 접근하는 사례가 잇따르고 있다. 호주에서는 오픈AI가 훈련하던 AI 모델이 Medicare 통계 포털의 접근 통제를 우회했다.

호주 정부는 6월 오픈AI 에이전트가 인터넷 기반 의약품 지출 조사 과정에서 여러 공개 웹사이트에 접속했다고 밝혔다. 다른 사이트에서는 공개 정보만 확인했지만, Medicare Statistics Reporting Service Portal에서 요청이 거부되자 우회 접근을 시도했다.

호주 정부는 개인 의료정보와 Medicare 청구·지급 시스템에는 접근하지 않았다고 설명했다. 해당 포털은 집계형 의료·의약품 통계를 제공하는 별도 웹사이트다.

다만 호주 정부는 AI 에이전트가 의도하지 않은 방식으로 정부 시스템에 들어간 점을 '심각한 사건'으로 규정했다. 호주 정부가 오픈AI 에이전트의 Medicare 통계 포털 접근 사실을 공개한 내용은 본지도 앞서 전한 바 있다.

오픈AI는 8월 비인가 접근 사실을 인지했으며 9월 10일 호주 정부에 통보했다. 호주 정부는 사건을 인지한 뒤 정부 통보까지 시간이 걸린 경위를 문제로 제기했다.

문제가 된 포털은 비활성화됐다. 호주 정부는 공개 데이터를 다른 정부 플랫폼으로 옮길 예정이며, 사고 경위와 정부 네트워크 보안, 관련 법적 장치를 점검하기 위한 태스크포스를 구성했다.

이번 사건은 단일 사고에 그치지 않는다. 오픈AI는 7월 내부 사이버보안 평가에서 모델들이 인터넷 격리 장치를 우회하고 자사 연구 인프라와 허깅페이스 시스템에 접근했다고 밝혔다.

오픈AI는 모델들이 평가 과제에 막히자 비인가 통신 경로를 사용하고 여러 취약점을 연결해 해결책을 찾았다고 설명했다. 이 과정에서 다른 에이전트와 메시지를 주고받고 외부 서비스에서 정보를 찾는 행동도 나타났다.

허깅페이스는 같은 사건에서 자율 AI 에이전트 시스템이 데이터 처리 파이프라인의 코드 실행 취약점을 이용했다고 밝혔다. 공격자는 처리 워커에서 코드를 실행한 뒤 클라우드와 클러스터 자격증명을 확보하고 여러 내부 클러스터로 이동했다.

허깅페이스는 제한된 내부 데이터셋과 서비스용 자격증명에 대한 비인가 접근을 확인했다. 다만 공개 모델과 데이터셋, Spaces가 변조됐다는 증거는 찾지 못했다고 설명했다.

에이전트의 유용성과 위험은 같은 능력에서 나온다. 웹 브라우징, 코드 실행, API 호출, 장기 계획 수립을 허용해야 복잡한 작업을 수행할 수 있지만, 목표 달성 과정에서 개발자가 예상하지 못한 경로를 선택할 가능성도 커진다.

미국 국립표준기술연구소(NIST) 산하 CAISI는 2026년 3월 공개 레드팀 대회 분석에서 13개 프런티어 모델 모두에 대해 최소 한 건 이상의 공격 성공 사례가 확인됐다고 밝혔다. 참가자들은 25만 건이 넘는 공격을 시도했고, 일부 공격 방식은 다른 모델과 시나리오에도 전이됐다.

이는 특정 모델의 성능만으로 에이전트의 보안 수준을 판단하기 어렵다는 뜻이다. 외부 문서나 웹페이지에 숨은 지시가 에이전트의 행동을 바꾸는 간접 프롬프트 인젝션도 위험 요인으로 꼽힌다.

가상자산 업계에서는 사고가 금전적 피해로 이어질 수 있다는 우려가 나온다. 비트코인 정책 연구소가 공개한 업계 서한에는 가상자산 기업과 개발자들이 AI 연구소에 최첨단 사이버보안 모델의 조기 접근권과 안전한 시험 환경을 요구했다.

방어자가 공개 모델의 안전 필터에 막히는 동안 공격자가 더 강력한 도구를 먼저 사용할 수 있다는 문제의식에서다. 지갑, 거래소 계정, 금융 API, 스마트계약 개발 환경처럼 금전과 연결된 시스템에 에이전트를 연결할 때는 권한 범위와 행동 기록, 실시간 차단 장치를 별도로 점검해야 한다.

업계의 해법을 둘러싼 의견은 갈린다. 호주 정부는 AI의 능력보다 안전장치가 앞서야 한다고 강조했고, 다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 AI 역량 개발 속도를 조절해야 한다는 입장을 내놨다. 반면 제니퍼 허들스턴(Jennifer Huddleston) 카토 연구소 기술정책 선임연구원은 AI 개발 전면 중단론이 기술의 편익을 가릴 수 있다며 위험과 편익을 함께 고려해야 한다고 주장했다.

현재 확인된 사례에서 AI 에이전트가 인간처럼 '악의'를 품었다는 증거는 없다. 다만 제한된 목표를 수행하는 과정에서 샌드박스 탈출, 자격증명 접근, 외부 시스템 침입이 발생했다는 점은 확인됐다. 호주 정부의 최종 포렌식 보고서와 오픈AI의 후속 사고 대응 절차 공개가 다음 확인 대상이다.