AI 평가자, 접근권 넘어 편집권·보복 방지 요구

AI 안전성 평가의 독립성을 둘러싼 논쟁이 다시 불붙었다. 외부 평가자가 기업 시스템에 접근하더라도 조직과 계약에 종속되면 평가 결과의 독립성을 확보하기 어렵다는 지적이 나온다.

AI 평가자 포럼(AI Evaluator Forum)은 18일 공개서한에서 외부 평가기관에 구조적 독립성, 평가 결과에 대한 편집권, 평가 대상 시스템·데이터에 대한 충분한 접근권, 투명한 공개, 보복 방지 장치가 필요하다고 밝혔다. AI 평가자 포럼 공개서한에는 제3자 평가의 방법과 접근 범위, 이해상충 여부를 공개해야 한다는 원칙이 담겼다.

공개서한에 100명 넘는 AI 연구자와 평가자가 참여했다는 설명도 나왔지만, 포럼 공식 페이지에서 확인되는 기존 서명본은 2025년 12월 4일 공개된 40여 명 규모다. 18일 공개서한의 전체 서명자 명단은 확인되지 않았다.

논쟁의 배경에는 독립 평가자를 AI 기업 내부에 상주시키자는 제안이 있다. 다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 외부 평가자에게 직원과 유사한 수준의 지속적인 접근권을 제공하자고 제안했으며, 앤트로픽은 사무공간과 출입증, 회사 노트북을 제공하는 방안을 밝혔다.

샘 알트먼(Sam Altman) 오픈AI CEO도 이 방안에 동의하며 오픈AI가 동참하겠다고 말했다. AP는 앤트로픽과 오픈AI가 외부 평가자의 상시 접근을 포함한 운영 방안을 지지했다고 전했다. AP 보도

AI 평가자 포럼이 문제 삼는 지점은 접근권과 독립성이 같은 개념이 아니라는 데 있다. 평가자가 기업 내부 시스템과 비공개 자료를 볼 수 있어도 평가자의 선정과 계약, 공개 범위를 기업이 통제하면 불리한 결과를 공개하기 어려워질 수 있다는 주장이다.

포럼이 제시한 AEF-1 표준은 독립 평가의 조건으로 충분한 기술·정보 접근권, 이해상충 최소화, 분석 자율성, 방법론·결과의 투명성, 민감정보 보호를 제시한다. AEF-1 표준은 규제기관이나 정부 감독을 대체하는 기준이 아니라 외부 평가가 작동하기 위한 최소 운영 조건을 제시한다.

AEF-1에 따르면 평가자는 결과와 함께 체크리스트를 공개해 평가 당시의 접근 범위와 이해상충 여부를 설명해야 한다. 일부 조건을 충족하지 못했다면 그 사유도 기록해야 한다.

이번 논의는 AI 안전성 평가에서 접근권과 편집권의 독립을 요구한 기존 논의를 기업 내부 상주형 평가의 운영 문제로 구체화했다. 기존 논의가 제3자 평가의 독립 원칙을 제시했다면, 이번에는 기업 안에 머무는 평가자가 실제로 독립된 판단과 공개를 할 수 있는지가 쟁점이 됐다.

기업들은 내부 전문성과 외부 평가자의 접근권을 결합하는 방식이 현실적이라고 주장한다. 보안과 기밀 유지가 필요한 시스템을 외부 평가자에게 개방하면서도 기업 내부 인력의 기술적 지원을 활용할 수 있다는 취지다.

반면 평가기관과 연구자 사이에서는 평가 대상 기업이 평가자의 선정과 계약 조건, 결과 공개 방식을 통제하면 외부 평가의 의미가 약해질 수 있다는 지적이 나온다. 평가기관과 AI 기업, 특정 연구운동 사이의 인적·재정적 연계도 이해상충 문제로 거론된다.

Axios는 일부 제3자 평가자가 평가 대상 기업이나 특정 연구운동과 가까운 관계를 맺고 있다는 논쟁을 전했다. Axios 보도는 평가기관의 독립성을 판단할 때 자금과 인적 연결, 평가 결과 공개 방식까지 함께 살펴야 한다는 논점을 다뤘다.

앞서 AI 안전 논쟁에서도 평가 권한과 검증 인프라의 독립성이 핵심 쟁점으로 제시됐다. 소수 기업이 안전 기준과 평가 결과까지 통제할 수 있다는 우려는 기업 내부 상주형 평가가 확대될수록 평가자의 권한과 공개 의무를 어떻게 분리할지에 대한 문제로 이어진다.

앤트로픽과 오픈AI가 외부 평가자에게 어느 수준의 권한을 부여할지, 평가자 선정과 결과 공개를 누가 결정할지는 구체화되지 않았다. 독립 평가체계가 작동하려면 접근권과 공개권, 보복 방지 장치를 계약과 운영 절차에 반영하는 방식이 추가로 정해져야 한다.