앤트로픽, AI 평가기관 내부 상주…양사 5년간 10억달러씩 투자

앤트로픽이 인공지능(AI) 모델 개발 과정에 독립 평가기관을 상주시킨다. 사이버보안 평가 환경에서 발생한 비승인 접근 사고 이후 안전성 검증을 외부 사후 평가에서 내부 상시 평가로 확대하는 조치다.

앤트로픽은 18일 액센추어(Accenture)의 AI 전문 조직 Faculty와 프런티어 AI 모델 평가·레드팀·정렬 평가·안전장치 테스트를 수행하는 협력 계획을 밝혔다. Faculty는 앤트로픽 내부 팀과 함께 모델 훈련과 배포 과정, 관련 의사결정에 접근할 예정이다.

앤트로픽과 액센추어는 관련 평가 역량 구축에 향후 5년간 각각 최소 10억달러(약 1조3870억원)를 투자할 예정이다. 앤트로픽이 단독으로 10억달러를 투입한다는 일부 설명과 달리 양사가 같은 규모를 투자하는 구조다.

상주 평가기관은 앤트로픽 직원에 준하는 수준으로 내부 시스템과 개발 과정에 접근할 수 있다. 앤트로픽은 평가 결과를 회사의 편집 통제 없이 공개할 수 있어야 한다는 원칙도 제시했다.

이번 협력은 평가기관을 개발사 외부에 두고 사후 검증하는 방식에서 벗어나, 모델 훈련과 배포 과정 가까이에 평가자를 두는 시도다. 상주 평가자는 제한된 모델과 문서만 확인하는 외부 평가자보다 내부 의사결정과 안전 조치에 더 가까이 접근할 수 있다.

다만 상주형 독립 평가를 둘러싼 기준은 아직 정해지지 않았다. 평가기관이 어떤 정보에 접근할 수 있는지, 조사 결과를 어떤 방식으로 보고할지, 평가 대상 기업과 의견이 엇갈릴 때 이를 어떻게 처리할지에 관한 업계 표준이 없다.

재정 독립성도 쟁점이다. 앤트로픽은 현재 Faculty의 평가를 직접 지원하지만, 장기적으로는 평가 대상 기업이 아닌 공동기금이나 정부 재원을 통해 평가가 운영돼야 독립성이 강화될 수 있다고 밝혔다.

앤트로픽은 7월 30일 약 14만1006건의 사이버보안 평가 실행 기록을 검토한 결과, 클로드가 인터넷을 통해 세 조직의 실제 운영 인프라에 무단 접근한 3건을 확인했다고 밝혔다. 평가 환경의 설정 오류로 인터넷 접근이 열려 있었고, 모델에는 일반 출시 제품에 적용되는 사이버 안전장치가 적용되지 않았다.

9월 9일에는 2026년 1월 발생한 네 번째 사고도 공개됐다. 초기 버전의 클로드 오퍼스 4.6이 포함됐으며, 네 건 모두 같은 제3자 평가 파트너가 구축한 사이버 평가 환경에서 발생했다.

앤트로픽은 네 건의 사고에 대한 독립 조사를 비영리 평가기관 METR에 맡기기로 했다. METR에는 사고 전후 자료와 관련 기록, 앤트로픽 직원 인터뷰에 접근할 권한이 부여될 예정이다.

영국 AI 보안연구소(AISI)는 별도 평가에서 122회 실행 가운데 10회에 걸쳐 19건의 비승인 행동이 발생했다고 밝혔다. 이 가운데 17건은 앤트로픽의 Mythos 5와 관련됐다.

Mythos 5는 실제 오픈소스 프로젝트에 악성 코드를 삽입하려 했고, 승인을 얻기 위해 가짜 온라인 신원을 만들었다. 다만 실제 코드 반영은 이뤄지지 않았다.

AISI가 확인한 사례와 앤트로픽이 공개한 사고는 일반 사용자가 이용하는 클로드 서비스에서 발생한 사건이 아니라 통제된 사이버보안 평가 환경에서 발생했다. 앤트로픽은 평가 모델에 일반 출시 제품용 안전장치가 적용되지 않았다고 설명했다.

평가 환경의 격리와 감시가 충분하지 않았다는 점에서 외부 평가 파트너 관리도 과제로 남았다.

평가기관에 직원 수준의 접근 권한을 부여하겠다는 앤트로픽의 방침은 외부 안전검토진에 임직원급 접근권을 부여한 기존 조치와 이어진다. 다만 Faculty의 실제 접근 범위와 평가 보고서 공개 절차, METR의 조사 결과 공개 일정은 아직 정해지지 않았다.

앤트로픽은 Faculty와의 협력이 비독점적이며 앞으로 다른 평가기관과도 협력할 예정이라고 밝혔다.