AI 보안 자동화 시대 연다…美 스타트업 이리카, 국방부도 주목

미국 방산, 산업 자동화, 의료영상 등 고위험 분야에서 AI의 안전성이 중시되는 가운데, 보안 스타트업 이리카(Yrikka)가 주목받고 있다. 기존에는 고도로 숙련된 인간 전문가가 수동으로 진행하던 AI 리드팀(red-teaming) 테스트를 자동화해, 더 빠른 속도로 취약점을 점검하고 신뢰성을 확보하는 솔루션을 공개했기 때문이다.

이리카는 최근 포컬(Focal)과 가루다 벤처스(Garuda Ventures)의 주도로 150만 달러(약 21억 6,000만 원)의 프리시드 투자를 유치하며 공식 출범을 알렸다. 동시에 외부에 API를 공개해 기업들이 자사 모델의 보안성, 신뢰성, 회복 탄력성을 실시간으로 검증할 수 있도록 했다. 특히 AI 시스템에 대한 모의해킹을 수행하고 ‘프롬프트 주입’과 같은 공격을 시뮬레이션해 예상치 못한 위협 시나리오를 사전에 식별할 수 있는 것이 특징이다.

AI 리드팀은 단순히 모델의 정답률이나 성능 지표만 평가하는 것을 넘어, 모델이 작동하는 전체 수명 주기와 공급망 체계를 점검한다. 하지만 이 같은 작업은 상당한 시간과 비용이 소요됐으며, 특히 자동화가 어려운 분야로 분류돼 왔다. 이리카는 여기에 AI 에이전트를 활용한 자동화 기술을 도입해, 기업들이 AI 적용 모델의 리스크 분석을 몇 시간 혹은 수 분 내로 끝낼 수 있는 체계를 제시했다는 평가를 받고 있다.

이리카 플랫폼은 ‘휴먼-AI 협업(Human-AI Teaming)’을 핵심 개념으로 내세운다. 인간 결정권자가 AI 에이전트의 리드팀 테스트 과정을 감독하면서 효율성을 확보하고, 동시에 중요한 위험 요소를 놓치지 않도록 설계된 방식이다. 이를 통해 모델 통합 전·후의 성능 및 보안지표를 빠르게 수집하고, 운영 중에도 지속적으로 모니터링하며 ‘데이터 드리프트’나 적대적 공격을 실시간으로 탐지할 수 있다.

이리카의 공동 창업자이자 CEO인 키아 케젤리(Dr. Kia Khezeli)와 CTO 존 칼란타리(John Kalantari)는 각각 구글, 인텔, NASA, 메이요 클리닉 등에서 머신러닝 관련 프로젝트를 이끌었던 전문가들이다. 이들은 “AI에 대한 신뢰가 필수적인 시대에, 정확한 리스크 평가와 지속적 모니터링이 가능한 툴의 부재가 문제였다”며, 이리카가 이 공백을 메울 것이라고 강조했다.

이미 미국 국방부는 이리카의 기술력을 인정하고 컴퓨터 비전 모델 검증 작업을 위해 190만 달러(약 27억 4,000만 원) 규모의 계약을 체결했다. AI가 실제 방어 체계에 투입되는 사례가 늘고 있는 가운데, 이리카의 자동화 검증 시스템이 안전성 측면에서 결정적 역할을 할 것으로 기대된다.

가루다 벤처스의 파트너 아르판 푸냐니(Arpan Punyani)는 “AI 실사용 전 신뢰 기반 결정을 내릴 수 있도록 돕는 도구 개발은 필수"라며 “이리카의 팀은 그 핵심 과제를 해결하고 있다"고 평가했다.

이리카의 기술이 상용화되면 임상 진단, 제조 공정 자동화, 자율 방위 시스템 등 다양한 고위험 분야에서 신뢰도 높은 AI 도입이 한층 가속화될 전망이다. AI 거버넌스 수요가 점점 커지는 가운데, 이리카는 시장의 블루오션을 선점한 셈이다.