AI 스피어 피싱, 인간 해커도 넘었다… '사이버 스카이넷' 현실화

인공지능(AI)이 사이버 보안의 주요 위협으로 급부상하고 있다. 핀란드 보안업체 혹스헌트(Hoxhunt)가 최근 발표한 연구에 따르면, AI 기반 스피어 피싱 공격이 숙련된 보안 전문가로 구성된 인간 레드팀(red team)의 역량을 앞서기 시작했다. AI가 인간보다 더 효과적인 사회공학 공격을 수행하는 이른바 ‘스카이넷 모먼트(Skynet Moment)’가 도래했다는 분석이다.

혹스헌트는 지난 2년 동안 AI 피싱 에이전트를 자체 개발하면서 정기적으로 인간 보안 전문가와 효율성을 비교해왔다. 초기 실험에서는 인간이 우세했지만, 2023년 11월엔 AI가 인간 수준에 근접했고, 올해 3월 실험에서는 AI의 피싱 성공률이 인간보다 24% 높게 나타났다. 이번 연구에 활용된 AI는 ‘조커(JKR)’라는 코드네임으로 불리는 스피어 피싱 모델로, 수백만 명의 기업 사용자 데이터를 활용해 공격 메일을 생성하고 스스로 진화했다.

기존의 단순 명령어 기반 언어모델과 달리, 조커는 사용자 직무, 위치 등 정황 정보를 토대로 설계된 다중 프롬프트 구조를 사용한다. 이로 인해 이메일 필터를 통과하는 정교한 문구를 생성할 수 있었고, 인간 전문가가 작성한 콘텐츠보다 더 높은 클릭 유도율을 기록했다. 혹스헌트는 이 기술이 피싱-애즈-어-서비스(PaaS)와 결합될 경우, 과거에는 고급 표적 공격에서만 볼 수 있었던 기법들이 일반 범죄자 집단에도 보편화될 것으로 내다봤다.

실제로 AI 기반 피싱 이메일은 전체 메일 중 아직 5% 미만이지만, 2022년 챗GPT 등장 이후 이 수치는 무려 4,151% 늘었다. 이메일 필터를 우회하는 피싱 공격 자체도 같은 기간 49% 증가했다. 피싱은 더 쉽고, 더 빠르게, 그리고 더 이익이 되는 범죄 수단으로 진화하고 있는 셈이다.

그럼에도 불구하고 여전히 대응 여지는 있다. 혹스헌트는 사람의 행동 데이터를 기반으로 한 맞춤형 훈련 시스템이 AI 기반 공격에도 효과적인 방어 수단이 될 수 있다고 강조했다. 실제 공격 환경을 모사한 피싱 시뮬레이션 프로그램은 사용자 교육 수준을 향상시키는 데 효과적이며, 인간과 AI가 조합된 복합 방어 체계를 구축하는 것이 향후 사이버 보안의 핵심 전략이 될 것이라는 평가다.

혹스헌트의 공동 창업자이자 최고기술책임자(Pyry Åvist)는 “AI의 발전은 공격을 더 정교하게 만들 수 있는 수단이자, 동시에 더 뛰어난 방어를 위한 도구가 될 수도 있다”며 “AI를 활용한 사이버 보안 대비는 선택이 아닌 필수”라고 경고했다. AI 피싱이 인간을 넘어서는 시점에서, 조직과 개인 모두가 키보드 너머의 진짜 위협에 대비할 시점이 도래한 셈이다.