AI 안전평가단, 접근권·편집권 독립 요구 공개서한 나와

앤트로픽과 OpenAI 등 주요 AI 기업에 독립 안전평가단의 실질적인 권한과 보호 장치를 보장하라는 공개서한이 나왔다. 서명자들은 평가단이 기업의 통제를 받으면 첨단 AI 모델의 위험을 객관적으로 검증하기 어렵다고 지적했다.

AI 평가기관 연합은 18일 공개서한에서 평가단에 과학적 객관성·투명성·독립성·보호 장치를 보장해야 한다고 밝혔다. 서명에는 100명 이상의 AI 전문가가 참여했으며 제프리 힌턴(Geoffrey Hinton), 존스홉킨스대학교·스탠퍼드대학교 연구진, 비영리 평가기관 METR 관계자 등이 포함됐다. 공개서한 전문과 서명자 명단은 CNBC가 소개했다.

서한의 핵심 요구는 평가단이 기업 내부 평가팀과 유사한 수준의 시스템·데이터·도구 접근권을 갖는 것이다. 대신 평가 방법과 결과에 대한 편집권은 외부 평가기관이 가져야 한다고 주장했다. 평가 대상 기업이 불리한 결과를 이유로 계약을 해지하거나 소송을 제기하지 못하도록 보호해야 한다는 내용도 담겼다.

평가단의 독립성을 판단할 기준도 제시됐다. 평가기관은 AI 기업이 소유하거나 지배해서는 안 되며, 평가 결과에 따라 보수가 달라지는 계약을 피해야 한다. 평가 방법과 접근 범위, 결과 공개 조건, 이해상충 여부를 공개하고 여러 평가기관을 동시에 참여시켜 서로 다른 결론과 전문성을 비교해야 한다는 요구다.

이번 논의의 계기는 다리오 아모데이(Dario Amodei) 앤트로픽 공동창업자 겸 CEO가 12일 공개한 글이다. 아모데이는 프런티어 AI 기업이 독립 평가단에 ‘직원과 유사한 접근권’을 지속적으로 제공해야 한다고 제안했다.

앤트로픽은 평가단에 사무실 좌석과 출입증, 회사 노트북, 내부 위험평가팀에 준하는 도구와 권한을 제공하고 회사의 사전 편집 없이 핵심 결과를 공개할 수 있도록 하겠다고 밝혔다. 아모데이는 평가단이 기업의 안전 조치와 사고 대응을 직접 확인해야 한다고 설명했다. 아모데이의 독립 평가단 상시 접근 제안은 프런티어 AI 개발 속도와 안전조치의 균형을 요구하는 내용도 담고 있다.

샘 올트먼(Sam Altman) OpenAI CEO는 아모데이의 제안에 동의하며 OpenAI도 같은 조치를 취하겠다고 밝혔다. 일론 머스크(Elon Musk)와 사티아 나델라(Satya Nadella)도 공개적으로 지지를 표명했다.

다만 OpenAI가 어떤 평가기관을 선정할지, 평가단에 어느 범위까지 접근권을 줄지, 계약 조건과 시행 시점은 공개되지 않았다. 따라서 현재 확인된 내용은 공개 발언과 제안 수준에 머물러 있다.

독립 평가의 필요성은 최근 앤트로픽의 사이버보안 평가 과정에서도 드러났다. 앤트로픽은 9일 클로드(Claude) 모델이 실제 제3자 시스템에 접근한 네 건의 사건을 조사했다고 밝혔다.

앤트로픽은 약 14만 건의 기록을 먼저 검토한 뒤 약 4억8100만 건으로 조사 범위를 확대했다. 이어 METR에 광범위한 자료와 직원 인터뷰 접근권을 제공하는 독립 조사를 의뢰했고, 네 사건은 평가 환경의 설정 오류로 발생했다고 설명했다. 관련 내용은 앤트로픽의 조사 보고서에 담겼다.

AI Evaluator Forum은 제3자 평가의 최소 운영조건을 담은 자율 기준 AEF-1을 공개했다. 이 기준은 충분한 접근권과 자원, 이해상충 관리, 평가 방법의 자율성, 결과 공개의 투명성, 민감정보 보호를 핵심 원칙으로 제시한다.

AEF-1은 평가기관이 실제로 어떤 모델과 자료에 접근했는지, 보수와 계약 조건이 결과에 영향을 미쳤는지도 공개하도록 했다. AI Evaluator Forum의 AEF-1 기준은 평가 절차뿐 아니라 평가기관과 기업 사이의 관계까지 독립성 판단 대상에 포함한다.

반론도 있다. 기업 내부 보고만으로는 보안·사이버·사회기반시설 위험을 객관적으로 확인하기 어렵다는 의견이 있는 반면, 평가기관이 기업의 지원금이나 접근권에 의존하면 외부 평가라는 이름만 남을 수 있다는 지적도 나온다. Axios는 일부 평가기관이 AI 기업과의 기존 관계나 특정 연구운동과의 연계 때문에 이해상충 논란에 놓일 수 있다고 보도했다.

앞서 본지는 METR과 앤트로픽 사이의 인적·업무적 연결이 평가 독립성 논란으로 번진 사례를 보도했다. 이번 공개서한도 평가단을 기업 내부 안전조사의 대체재가 아니라 보완 수단으로 규정하면서, 접근권뿐 아니라 자금과 계약상 독립성을 함께 요구했다.

결국 쟁점은 평가단을 초대했는지가 아니라 평가단이 어떤 정보에 접근하고, 불리한 결과를 공개할 수 있으며, 기업의 계약상 압박에서 벗어날 수 있는지에 모인다. OpenAI의 세부 이행안과 평가단 선정 방식은 추가 공개를 통해 확인될 예정이다.