AI 오작동 막는다…AgentSpec, 기업용 에이전트 '안전판' 될까

생성형 AI가 기업 업무에 폭넓게 도입됨에 따라 에이전트의 신뢰성과 안정성에 대한 우려도 커지고 있다. 이러한 흐름 속에서 싱가포르경영대(SMU) 연구진이 새롭게 제안한 ‘AgentSpec’은 대형 언어모델 기반 에이전트의 예측 불가능한 행동을 억제하기 위한 *도메인 특화 규칙 시스템*으로, AI의 오작동을 제어할 수 있는 핵심 솔루션으로 떠오르고 있다.

AgentSpec은 에이전트에게 명확한 규칙과 제약 조건을 부과함으로써 사용자가 지정한 작업 범위 내에서만 작동하도록 유도하는 *프레임워크*다. 연구진은 "트리거(trigger), 조건(predicate), 집행(enforcement)"이라는 세 가지 요소로 구성된 규칙 셋을 통해 에이전트의 모든 결정 지점에 개입할 수 있다고 설명했다. 특히 코드 실행과 같은 고위험 작업에서 90% 이상의 오류 발생을 방지했고, 자율주행 시나리오에서도 법률 위반을 막는 데 뛰어난 성과를 보였다.

AgentSpec은 오픈AI(OpenAI)의 o1을 기반으로 생성한 규칙을 통해 총 8개 시나리오 중 5개에서 명백한 법률 위반 가능성을 사전에 차단했다는 실험 결과가 함께 발표됐다. 초기 테스트는 랭체인(LangChain) 프레임워크에서 진행됐지만, 자율주행 소프트웨어 아폴로(Apollo)나 AutoGen과 같이 다양한 환경에서도 적용 가능하도록 독립적인 구조로 설계됐다.

기존에도 에이전트의 안정성을 위한 시도들은 이어져 왔다. ToolEmu, GuardAgent, 갈릴레오(Galileo)의 Agentic Evaluations와 H2O.ai의 예측 모델 등이 업계에서 활용되고 있지만, 해당 솔루션들이 '위험 요소 식별'에는 강점을 보였으나 '실시간 행위 제어'에서는 한계를 드러냈다는 것이 AgentSpec의 개발자들이 내린 평가다. 이에 비해 AgentSpec은 작업 실행 전후, 결과 관측 단계, 과업 종료 시점 등 의사결정의 핵심 지점에 개입함으로써 안전 보장을 강화했다.

연구진은 AgentSpec이 기업뿐만 아니라 자율주행차와 같은 고위험 분야에서도 활용될 수 있다고 강조했다. 특히 에이전트가 스스로 실행 경로를 설계하고 지속적으로 동작하는 ‘앰비언트 에이전트(Ambient Agent)’ 개념이 현실화되기 위해서는, AgentSpec과 같은 기술이 전제조건이 될 것이라고 밝혔다.

기업들이 AI 에이전트를 실무에 본격 도입하기에 앞서, 통제 가능성과 책임성 확보는 필수 요소다. 이처럼 AgentSpec은 단지 또 하나의 툴이 아닌, 에이전트 개발 및 배치를 위한 *신뢰 기반 인프라*로서 주목받고 있다. 앞으로 AI 에이전트의 오작동을 제어하고, 규범을 넘어서는 행동을 방지할 수단으로써, 보다 정교하고 안전한 에이전트 생태계를 구성하는 데 큰 역할을 할 것으로 기대된다.