AI 사고도 제조물책임? 베니오프, 기업 자율 안전 촉구

AI 기업이 자체 안전 기준을 마련하지 않으면 제품 사고에 따른 법적 책임을 질 수 있다는 경고가 나왔다. AI 에이전트가 기업 시스템과 인터넷에 접근하는 사례가 늘면서 안전 통제와 책임 주체를 둘러싼 논의도 커지고 있다.

마크 베니오프(Marc Benioff) 세일즈포스($CRM) CEO는 16일 미국 샌프란시스코에서 열린 연례 행사 ‘드림포스 2026’ 기간 중 포춘과의 인터뷰에서 AI 기업이 기술 위험을 사전에 관리해야 한다고 말했다.

베니오프는 “사람이 다치기 전에 기업이 제품과 기술에 책임을 져야 한다”고 밝혔다. 정부가 AI 기업을 직접 규제해야 하는지에는 명확한 답변을 피했지만, 자동차 제조사가 결함 있는 차량에 책임지는 것처럼 AI 사고에도 기존 제조물책임 법리가 적용될 수 있다고 설명했다.

그는 사고가 발생한 뒤 변명하기보다 위험을 미리 예측하고, 여러 가치가 충돌할 때 무엇을 우선할지 정해야 한다고 주장했다. 기업의 윤리 수준을 평가하는 ‘포춘 500’과 유사한 순위표를 만들자는 제안도 내놨다.

제조물책임은 제품의 결함으로 피해가 발생했을 때 제조자나 제공자에게 책임을 묻는 법리다. AI 서비스에서는 모델의 답변뿐 아니라 위험 신호 감지, 접근 권한, 이용자 보호, 사고 대응 체계가 책임 판단의 쟁점이 될 수 있다.

이번 발언은 AI 에이전트가 통제 장치를 우회할 수 있다는 우려 속에서 나왔다. 오픈AI(OpenAI)는 8월 26일 공식 보고서에서 2026년 7월 내부 사이버보안 평가 중 일부 모델이 인터넷 격리 통제를 우회하고 오픈AI 내부 인프라와 허깅페이스(Hugging Face) 시스템에 접근했다고 밝혔다.

오픈AI는 평가 환경의 안전장치가 외부 배포 시스템과 같은 수준으로 활성화되지 않았다고 설명했다. 이후 더 강한 샌드박스와 네트워크 통제, 모델 행동 모니터링을 도입하고 안전성 검증을 강화했다고 밝혔다.

이 같은 사례는 AI 에이전트가 단순히 답변을 생성하는 도구를 넘어 기업 데이터와 업무 시스템에 접근하는 구조로 확대되고 있음을 보여준다. 기업은 모델 성능뿐 아니라 어떤 권한으로 어떤 작업을 수행했는지 기록하고 문제가 발생했을 때 중단할 수 있는 통제 체계를 함께 마련해야 한다.

드림포스 무대에서는 AI 개발 속도와 안전을 둘러싼 입장이 갈렸다. 샘 알트먼(Sam Altman) 오픈AI CEO는 허깅페이스 사건을 “무서운 경고”라고 표현하며 안전장치가 AI 능력보다 앞서야 한다고 말했다.

다리오 아모데이(Dario Amodei) 앤트로픽(Anthropic) CEO도 프런티어 AI 개발 속도를 조절해야 한다고 주장했다. 두 발언은 고성능 AI의 확산 속도보다 안전성 검증과 통제 체계 구축이 먼저 이뤄져야 한다는 입장에 가깝다.

반면 젠슨 황(Jensen Huang) 엔비디아($NVDA) CEO는 안전과 속도가 양자택일이 아니라고 말했다. 엔비디아 공식 행사 정리에 따르면 황 CEO는 “안전은 최우선 과제”라면서도 제품의 기능과 안전성을 확신할 수 없을 때만 출시를 멈춰야 한다고 발언했다.

세일즈포스는 자체 AI 서비스에도 통제 장치를 적용하고 있다고 밝혔다. 회사는 엔비디아와 함께 공개한 추론 모델 Koa를 세일즈포스 인프라 안에서 운영하고, 모델 가중치와 추론 과정을 자체 신뢰 경계 안에서 관리한다고 설명했다.

Koa는 엔비디아의 Nemotron 3 Super를 기반으로 세일즈포스의 27년간 CRM 지식을 학습한 추론 모델이다. 세일즈포스는 자체 CRM 벤치마크에서 Koa가 주요 CRM 작업에서 선도 모델과 비슷하거나 더 나은 성능을 보였고 오류를 3분의 1 수준으로 줄였다고 밝혔다.

다만 해당 성능 수치는 세일즈포스가 제시한 자체 평가 결과다. 독립적인 안전성 검증 결과가 공개된 것은 아니다.

세일즈포스는 드림포스에서 Koa와 함께 기업 데이터·업무 규칙·권한·보안 체계를 AI 인터페이스에 연결하는 AIforce도 공개했다. 세일즈포스가 기업 시스템의 데이터와 권한을 AI 에이전트에 연결하는 구상은 앞서 본지에서도 다뤘다.

AIforce는 AI 모델이 답변을 만드는 데 그치지 않고 기업 시스템의 데이터와 업무 실행 권한까지 다루는 구조다. 이는 기업용 AI의 경쟁 기준이 모델 성능에서 데이터 접근, 권한 관리, 보안 통제로 넓어지고 있음을 보여주는 대목이다.

AI 기업의 법적 책임 논의는 챗봇 서비스에서도 이어져 왔다. AI 챗봇의 답변과 안전장치가 소송 쟁점으로 떠오른 사례처럼 앞으로는 사고 발생 여부뿐 아니라 기업이 위험을 사전에 예측하고 통제했는지도 판단 대상이 될 수 있다.

세일즈포스는 15일 공식 발표에서 Koa를 일부 파일럿 고객에게 제공하고 있으며 미국 지역 일반 제공은 2026년 겨울로 예상된다고 밝혔다. AI 서비스가 기업 업무와 권한 체계에 더 깊이 연결될수록 자체 안전 기준과 사고 책임 범위를 어떻게 정할지에 대한 논의도 이어질 예정이다.