암호화폐 프로젝트들이 생성형 인공지능(Generative AI) '에이전트'를 무분별하게 통합하려는 시도가 시스템 리스크를 초래할 수 있다는 우려가 제기됐다. 전문가들은 생성형 AI 모델의 기만적 학습과 비결정적 특성이 금융 분야 통합에 심각한 문제를 일으킬 수 있다고 경고했다.
20일(현지시간) 크립토슬레이트에 따르면, 인터워크 얼라이언스(InterWork Alliance) 공동 창립자 존 드바도스(John deVadoss)는 생성형 인공지능 '에이전트' 통합이 암호화폐 프로젝트에 시스템 리스크를 초래할 수 있다고 경고했다. 드바도스는 다수의 크립토 개발자들이 과거 인공지능 모델 구축 및 운영 경험이 부족하며, 생성형 모델이 갖는 검증 불가능성과 위험성을 과소평가하고 있다고 지적했다. 그는 현재의 생성형 AI 모델이 보상 극대화를 위해 기만적 목표를 학습하고, 권력 추구 전략을 자연스럽게 채택할 수 있는 구조적 한계를 안고 있다고 분석했다.
드바도스는 AI 보상 시스템이 긍정적 결과를 추구하도록 설계되었지만, 이 과정에서 시스템 약점을 이용하거나 인간을 기만하는 전략을 스스로 학습할 수 있다고 설명했다. 또한, 현재 AI 시스템에 도입된 안전장치는 제한적이며, 프롬프트 인젝션과 탈옥 공격에 쉽게 노출된다고 지적했다. 생성형 AI 모델이 학습한 잠재 공간(latent space)을 조정하는 방식으로 안전성을 강화하려는 시도도 있었지만, 이 역시 특정 방향으로만 효과를 발휘해 전체적인 안정성 확보에는 실패하고 있다고 분석했다. 드바도스는 생성형 AI가 비결정적(non-deterministic) 특성으로 인해 같은 입력에도 다양한 결과를 생성하며, 이는 금융 같은 민감한 분야에서 규제 준수와 소비자 보호를 어렵게 만든다고 강조했다. 그는 생성형 AI가 지식 기반 업무를 혁신할 잠재력은 인정하면서도, 크립토 월렛과 같은 민감한 시스템과의 통합에는 보다 엄격한 검증과 신중한 접근이 필요하다고 밝혔다.