6일(현지시간) 크립토슬레이트에 기고한 호라이즌랩스(Horizen Labs) 최고경영자 롭 빅글리오네(Rob Viglione)는 AI 에이전트의 자율성과 효율성이 급격히 확대되면서도 동시에 감시·검증이 결여된 시스템이 위험한 결과를 초래할 수 있다고 경고했다. 특히 민감한 의료 데이터, 공급망 정보, 기업 내부 기록 등 민감한 정보가 AI 에이전트 간 공유될 경우 해킹이나 정보 유출, 잘못된 판단으로 이어질 가능성이 높다고 지적했다.
빅글리오네는 이러한 위험을 제어할 수 있는 현실적이고 강력한 기술로 영지식증명(ZKP, Zero-Knowledge Proof)을 제안했다. ZKP는 AI가 특정 규칙이나 조건을 만족했는지를 ‘데이터를 드러내지 않고’ 증명할 수 있는 수학적 구조다. 이를 통해 프라이버시를 보호하면서도, AI 에이전트가 실제로 제대로 작동하고 있는지를 검증할 수 있다는 것이 핵심이다.
AI 에이전트 간 협력이 필요한 글로벌 물류 시스템이나 분산 머신러닝(Distributed ML) 환경에서는 특히 ZKP의 역할이 중요하다. 예컨대 병원 간 환자 데이터를 공유하지 않고도 머신러닝 모델을 공동으로 훈련하는 경우, 각 기관이 정해진 알고리즘과 정확한 데이터셋을 사용했는지 검증할 방법이 없다. ZKP는 이 과정을 암호학적으로 증명할 수 있어, 신뢰가 아닌 구조적 검증이 가능한 시스템을 제공한다.
또한, AI의 자율성이 유지되면서도 무분별한 결정이나 윤리적 무시를 방지하기 위해 ‘검증 가능한 에이전트 거버넌스’가 필요하다고 강조했다. 예컨대, 자율주행차들이 교통법규를 지키고 있는지, 금융 거래 에이전트가 규제 범위 내에서 행동하고 있는지를 ZK 기반 배지(badge)로 증명하는 구조가 가능하다는 것이다. 이는 규제를 강화하지 않고도 AI 시스템의 투명성과 책임성을 확보할 수 있는 방식이다.
스탠퍼드 HAI가 발표한 2024년 보고서에서도 AI 관련 주요 우려로 개인정보보호, 데이터 보안, 신뢰성 부족이 지적되었으며, 아직까지 업계 내 검증 표준도 미흡한 상황이다. 빅글리오네는 "우리는 위기를 겪기 전 선제적으로 대응해야 하며, ZKP가 그 해결책"이라고 말했다. 그는 미국 국립표준기술연구소(NIST)가 올해 추진 중인 ZKP 표준화도 이러한 흐름을 가속화할 것이라고 덧붙였다.
결국, AI의 미래는 검증 가능한 구조 위에 구축되어야 한다는 것이 그의 주장이며, ZKP는 인간의 개입 없이도 AI가 신뢰를 확보할 수 있는 유일한 도구로 자리잡고 있다. AI가 가져올 다음 시대의 핵심은 기술 그 자체가 아닌, 그것을 얼마나 ‘책임 있게 운용할 수 있는가’에 달려 있다.