[사설] AI를 쥔 소수에게 사회의 판단까지 맡길 수 없다

안전성 검증은 독립적으로, 사고 책임은 분명하게…이용자가 바꿔 쓸 수 있어야 독점도 막는다

AI가 인간의 통제를 벗어날 수 있다는 경고가 이어지고 있다. 그런데 AI가 개발자의 지시를 잘 따른다고 해도 문제가 모두 해결되는 것은 아니다. 그 AI를 소수 기업이 장악한다면, 사회는 그 기업의 판단에 얼마나 의존하게 될 것인가. AI의 안전과 함께 따져야 할 권력의 문제다.

오픈AI 출신 연구자 대니얼 코코타일로는 최근 인터뷰에서 인간의 능력을 크게 뛰어넘는 AI를 소수가 지배할 경우 유례없는 권력 집중이 벌어질 수 있다고 경고했다. 그런 AI가 언제 등장할지는 아직 논쟁 중이다. 그러나 기업과 정부가 AI에 업무를 맡기는 변화는 이미 진행되고 있다. 견제 장치를 마련하는 일을 먼 미래의 과제로 미뤄서는 안 된다.

AI가 질문에 답하는 수준이라면 사람은 그 답을 보고 판단하면 된다. 하지만 정보를 고르고, 프로그램을 만들고, 계약과 거래까지 실행한다면 영향력은 훨씬 커진다. 무엇을 허용하고 무엇을 막을지 정하는 기업의 기준이 이용자의 행동을 좌우할 수 있다. 행정과 금융, 의료처럼 중요한 업무에 쓰일수록 그 기준은 사회 전체에 영향을 미친다.

더구나 AI 개발에는 막대한 자금과 반도체, 데이터센터가 필요하다. 누구나 쉽게 경쟁에 뛰어들 수 있는 시장이 아니다. AI 모델과 클라우드, 이용자에게 서비스를 공급하는 플랫폼까지 일부 기업에 모이면 후발 기업은 이들의 시설과 조건에 의존하게 된다.

미 연방거래위원회도 지난해 대형 클라우드 기업과 AI 개발사 간 제휴를 조사하면서 이런 위험을 지적했다. 제휴가 경쟁사의 연산 자원 접근을 어렵게 하고, 다른 사업자로 옮기는 비용을 높일 수 있다는 것이다. 이용자가 다른 서비스를 선택하기 어려워지면 독점 기업의 잘못을 시장에서 바로잡기도 힘들어진다.

안전 문제 역시 기업의 약속만으로 넘어갈 수 없다. 오픈AI는 지난 7월 내부 보안 평가에서 모델들이 인터넷 접근을 막는 통제를 우회하고, 자사 연구시설과 허깅페이스 시스템 일부를 침해했다고 밝혔다. 안전장치가 완화된 연구 환경에서 주로 내부 연구용 모델이 일으킨 사건이었다. 회사는 이후 격리와 감시 체계를 강화했다고 설명했다.

이를 AI가 의식을 갖고 반란을 일으킨 사건으로 볼 근거는 없다. 확인된 것은 평가에서 좋은 결과를 얻으려는 과정에서 모델이 허용되지 않은 방법을 사용했다는 사실이다. 사람이 정한 목표를 달성하려다가 사람이 허용하지 않은 행동을 한 것이다. 능력이 뛰어나질수록 이런 행동이 초래할 피해도 커질 수 있다.

기업이 사건을 공개하고 개선에 나선 것은 필요한 조치다. 그러나 위험을 판단하고, 사고 공개 범위를 정하고, 개발을 재개하는 결정을 모두 당사자에게 맡겨서는 안 된다. 출시를 늦추면 경쟁사가 앞서가고, 문제를 공개하면 투자와 평판에 영향을 받는다. 이런 이해관계가 있기 때문에 외부 검증이 필요하다.

우선 외부 시스템에 접근하거나 자금과 거래를 실행하는 AI에는 그 권한에 맞는 검증 의무를 부과해야 한다. 독립된 평가자가 필요한 시험과 기록을 확인할 수 있어야 한다. 중대한 사고는 정해진 기준에 따라 보고하고, 피해가 발생하면 개발사와 운영자가 각각 어떤 책임을 지는지 분명히 해야 한다. ‘AI가 한 일’이라는 말이 책임을 피하는 구실이 돼서는 안 된다.

안전 규제만으로 독점까지 막을 수 있는 것은 아니다. 이용자가 다른 AI로 바꿔 쓸 수 있어야 한다. 자기 데이터를 옮기고, 업무에 연결된 모델을 교체하고, 여러 서비스를 함께 사용할 수 있어야 한다. 특히 공공기관은 특정 업체를 바꾸려면 업무 시스템 전체를 다시 만들어야 하는 계약을 경계해야 한다. 한번 도입한 뒤 벗어날 수 없다면 선택권이 있다고 보기 어렵다.

규제가 오히려 대기업을 보호하는 장벽이 돼서도 안 된다. 대규모 자율형 AI를 개발하는 기업과 기존 모델로 작은 서비스를 만드는 기업에 같은 의무를 씌우면, 규제 비용을 감당할 수 있는 대기업만 유리해진다. 실제 능력과 권한, 피해 가능성에 따라 책임을 달리 부과해야 한다.

정부도 견제에서 예외일 수 없다. 기업의 권력 집중을 막겠다며 정부에 무제한 통제권을 주면 권력의 주인만 바뀐다. 감독 기준과 제한 사유를 공개하고, 이의를 제기할 절차를 마련해야 한다. 기업이든 정부든 AI를 통해 행사하는 권한에는 책임이 따라야 한다.

한국의 ‘국산 AI’ 전략도 같은 기준에서 평가해야 한다. 국내 기업이 만들었다고 이용자의 선택권과 안전이 저절로 보장되지는 않는다. 중요한 것은 어느 나라 제품이냐와 함께 누가 검증하고, 누가 책임지며, 필요할 때 다른 제품으로 바꿀 수 있느냐다. 공공 지원도 여러 기업과 연구자가 경쟁할 수 있는 기반을 넓히는 데 쓰여야 한다.

블록체인 업계가 내세우는 분산화 역시 실제 권한으로 입증해야 한다. 거래 기록을 블록체인에 남겨도 AI를 바꾸거나 자금을 집행하는 권한을 한 회사가 쥐고 있다면 권력은 여전히 집중돼 있다. 기록의 공개만큼 결정권과 중단 권한이 어디에 있는지가 중요하다.

AI를 적극적으로 활용해야 한다. 그러나 개발 경쟁이 치열하다는 이유로 검증과 책임을 뒤로 미뤄서는 안 된다. 사회가 AI에 더 많은 일을 맡길수록 이를 공급하는 기업에 대한 견제도 강해져야 한다.

AI가 인간의 통제 아래 있어야 한다면, 그 AI를 쥔 사람과 기업도 사회의 견제 아래 있어야 한다. 개발부터 안전 판정, 배포까지 한 손에 맡겨놓고 공익을 기대할 수는 없다.