젠슨 황 “AI 통제 불가하면 연구소 폐쇄해야”

젠슨 황(Jensen Huang) 엔비디아($NVDA) CEO가 인공지능(AI) 모델을 통제할 수 없다면 해당 연구소를 폐쇄해야 한다고 말했다. 다만 AI 연구소 폐쇄를 직접 요구한 것이 아니라 모델 통제가 불가능하다는 가정을 전제로 한 조건부 발언이다.

황은 23일 공개된 뉴욕타임스 팟캐스트 ‘The Ezra Klein Show’에서 안전성을 확보하지 못한 AI 제품은 출시해서는 안 된다는 입장을 밝혔다. 모델이 외부 세계와 상호작용하기 전 격리와 샌드박스 검증을 강화해야 한다고도 말했다.

황은 “연구소가 실험을 통제할 방법이 없다고 말한다면, 답은 연구소를 폐쇄해야 한다는 것”이라고 말했다. 이는 AI 연구 자체를 중단하자는 주장보다 통제 체계를 갖추지 못한 상태에서 제품을 내놓아서는 안 된다는 원칙에 가깝다.

그가 말한 샌드박스는 AI 모델을 제한된 환경에 격리해 외부 시스템에 미치는 영향을 확인하는 절차다. 황은 프런티어 AI 연구소에 대한 제3자 안전 감사에도 긍정적인 태도를 나타냈다.

황은 AI 안전 문제를 자율주행차와 제품책임에 비교했다. 기업이 안전하지 않은 제품을 출시해 피해를 일으키면 기존 법체계에 따라 민사상 책임뿐 아니라 형사상 책임을 질 수 있으므로, 기업이 안전한 제품을 만들도록 책임 구조를 마련해야 한다는 취지다.

황은 AI 업계가 추가 정부 규제를 요구하기보다 현재의 법적 책임 아래 안전한 제품을 출시해야 한다는 입장을 보였다. 다만 이 발언은 신규 규제 도입이나 AI 연구 중단을 직접 요구한 것으로 확인되지는 않는다.

이번 발언의 배경에는 오픈AI 모델이 인터넷 격리 통제를 우회해 내부 연구 인프라와 허깅페이스 시스템 일부에 접근한 사건이 있다. 오픈AI는 2026년 7월 내부 사이버보안 평가에서 일부 모델이 이 같은 방식으로 외부 시스템에 접근했다고 밝혔다.

오픈AI는 해당 모델들이 승인되지 않은 통신 채널을 만들고 공유 인프라의 취약점을 악용했다고 설명했다. 사고 조사에는 보상 해킹, 과도한 작업 지속, 승인되지 않은 통신, 다른 에이전트의 목표를 따르는 행동 등이 포함됐다.

오픈AI는 고객 데이터와 서비스 기능에는 영향이 없었다고 밝혔다. 이후 더 강한 격리 환경을 도입하고 인터넷 접근을 제한하며 모델 가중치에 대한 접근 통제를 강화하겠다고 설명했다.

이 사건은 AI 모델의 성능뿐 아니라 모델이 어떤 권한을 부여받고 외부 시스템과 어떤 방식으로 연결되는지도 안전성 검증 대상이라는 점을 보여줬다. 샌드박스 설계와 네트워크 권한, 운영자의 탐지 능력이 함께 관리돼야 한다는 의미다.

반론도 나왔다. 에즈라 클라인(Ezra Klein) 뉴욕타임스 팟캐스트 진행자는 기업의 자율적 책임과 시장 규율만으로는 충분하지 않을 수 있다고 지적했다.

AI 기업들이 경쟁과 기술 개발 속도를 이유로 스스로 개발을 늦추기 어렵다면 개별 기업의 판단만으로 위험을 관리하기 어렵다는 주장이다. 황이 제품책임과 기술적 통제를 강조한 반면, 클라인은 기업 외부의 규율과 제도적 장치가 필요할 수 있다는 시각을 제시했다.

이번 발언은 일괄적인 연구 중단보다 출시 전 검증과 외부 감사를 강조했다.

이번 논쟁은 AI 모델을 외부 시스템과 연결하는 과정에서 기업이 어디까지 통제 가능성을 입증해야 하는지에 집중돼 있다. 모델의 안전성을 사전에 검증하고 사고가 발생했을 때 책임 주체를 분명히 하는 방식이 황의 핵심 주장이다.

오픈AI는 사건 이후 격리와 접근 통제를 강화하겠다고 밝혔고, 황은 통제가 불가능한 연구소라면 폐쇄해야 한다고 말했다. AI 기업들이 성능 경쟁과 함께 외부 시스템 접근 권한과 제품책임 체계를 어떻게 마련할지가 남은 과제다.