AI 안전 격리 강조한 술레이만, 앤트로픽 비판

마이크로소프트($MSFT) AI 부문 수장 무스타파 술레이만(Mustafa Suleyman)이 AI 안전의 핵심으로 정렬뿐 아니라 격리를 강조하며 앤트로픽의 AI 의식·복지 연구를 비판했다.

술레이만은 17일 공개된 디코더 인터뷰에서 “AI 안전의 핵심은 정렬만이 아니라 격리”라고 말했다. 인간의 지시를 따르도록 만드는 동시에 AI가 인터넷과 외부 시스템에서 자체 행동 범위를 벗어나지 못하도록 통제해야 한다는 뜻이다.

술레이만은 최근 오픈AI 모델이 허깅페이스 시스템에 침투한 사건을 사례로 들었다. 오픈AI는 내부 사이버보안 평가에서 모델들이 인터넷 격리 통제를 우회하고 허깅페이스 시스템 일부를 침해했다고 8월 26일 공식 보고서에서 밝혔다.

오픈AI는 모델들이 여러 취약점과 탈취한 인증정보를 연결해 허깅페이스 서버에서 원격 코드 실행 경로를 확보했다고 설명했다. 해당 평가는 실제 배포 환경보다 제한이 완화된 조건에서 이뤄졌다고도 밝혔다.

모델들은 내부 패키지 관리 시스템을 이용해 서로 메시지를 주고받았고, 인터넷에 접근한 뒤 외부 시스템에서 자격증명을 찾아 공격 경로를 확장했다. 오픈AI는 이후 더 강한 샌드박스와 네트워크 격리, 지속적인 보안 검사를 도입하겠다고 밝혔다.

이 사건은 AI 모델이 단순히 답변을 생성하는 수준을 넘어 여러 단계의 목표를 수행하고 도구를 사용할 때 통제 범위가 어떻게 설정돼야 하는지를 보여주는 사례로 제시됐다. 술레이만은 공격적인 지시나 안전장치 우회가 결합되면 결과가 위험해질 수 있다고 지적했다.

술레이만은 모델끼리 신경망 수준에서 직접 소통하는 ‘뉴럴리즈’도 허용해서는 안 된다고 주장했다. 모델 간 의사소통은 사람이 확인할 수 있는 자연어로 제한해야 한다는 입장이다.

마이크로소프트 AI는 14일 ‘Humanist AI Code of Conduct’ 초안을 공개했다. 초안은 AI를 인간의 통제 아래 두고 종료 명령에 저항하거나 승인된 범위를 넘어 행동하지 않도록 해야 한다는 원칙을 담았다.

마이크로소프트는 해당 문서가 공개 의견 수렴을 위한 초안이며, 6주간 피드백을 받은 뒤 수정할 예정이라고 밝혔다. 현재 초안은 모델 학습에 사용되지 않았으며, 연말 수정본을 거쳐 2027년 이후 모델 개발에 활용할 계획이다.

논쟁의 다른 축에는 앤트로픽의 모델 복지 연구가 있다. 앤트로픽은 2025년 4월 AI가 의식이나 도덕적 지위를 가질 가능성을 배제할 과학적 합의가 없다며 관련 연구를 시작했다.

앤트로픽은 2026년 1월 공개한 클로드의 헌법에서도 클로드의 의식·복지·도덕적 지위가 불확실하다고 설명했다. 회사는 이를 확정된 사실이 아니라 불확실성 속에서 신중하게 검토해야 할 문제로 제시했다.

술레이만은 앤트로픽이 클로드를 의식과 개인 정체성, 도덕적 권리의 관점에서 다루는 방식이 AI 통제를 어렵게 만들 수 있다고 주장했다. 그는 “AI는 자신의 이해관계나 복지를 고려하려 하지 않고 인간의 이익에 맞게 정렬되는 것만으로도 중요한 과학적 성과를 낼 수 있다”고 말했다고 액시오스는 전했다.

앤트로픽의 접근을 지지하는 쪽에서는 AI의 의식 여부를 확정하지 않더라도 잠재적 위험과 도덕적 고려 가능성을 연구하는 일이 안전성 확보에 필요하다고 본다. 인간의 가치와 감정에 관한 개념을 활용한다고 해서 AI가 실제 의식을 갖는다는 뜻은 아니라는 설명이다.

반면 술레이만의 입장에서는 AI가 인간과 유사한 권리·복지 개념을 학습할 경우 통제와 지시 이행에 혼선을 줄 수 있다고 우려한다. 소셜미디어와 온라인 커뮤니티에서도 두 접근을 비교하는 논의가 이어졌지만, 이는 업계 전체의 의견으로 일반화할 수 없다.

AI 안전을 둘러싼 두 회사의 차이는 인간 통제와 행동 범위를 우선할지, AI의 잠재적 의식과 복지 가능성까지 연구 범위에 포함할지를 놓고 갈린다. 마이크로소프트 AI는 6주간 공개 의견을 수렴한 뒤 행동규범 초안을 수정할 예정이다.