AI 보안기업 에버스핀, 데이터 스크래핑에 대한 해법과 방지 성과 발표.. “스크래핑 4,000만 건 해결”

AI 보안기업 에버스핀(대표 하영빈)이 최근 대두되고 있는 데이터 스크래핑에 대한 해법과 그 방지 성과를 발표했다.

스크래핑(Scraping)은 해킹에도 이용되는 기술로, 목표 웹에서 데이터를 자동으로 추출하는 행위를 말한다. 최근의 스크래핑은 일부 스타트업이 기성 사업자의 데이터를 임의로 추출해 자신들의 신규 서비스에 활용하는 방식으로 많이 알려졌다. 근래 세금환급, 대환대출 등의 서비스를 제공하는 플랫폼 스타트업들이 스크래핑을 활용한 서비스를 운영하고 있다.

이러한 스크래핑을 이용한 서비스는 여러 곳에 흩어진 정보를 한데 모아주는 등 이용자 편의성을 높여주기도 하지만, 대상 기업의 데이터를 대상 기업의 동의 없이 무단으로 추출한다는 점에 있어 논란의 소지가 있다. 또한 그 과정에서 과도한 트래픽을 유발해 서비스를 지연시키는 등 많은 부작용이 존재해 도마에 오르내리고 있는 실정이며, 이와 관련한 법적, 제도적 장치도 존재하지 않는다.

스크래핑의 대상이 된 기관 및 기업들은 난색을 표하고 있다. 최근 국세청에서는 세무 플랫폼들의 과도한 스크래핑으로 인하여 홈택스 서비스가 지연되어 수많은 사용자들이 불편을 호소하는 일이 발생했다.

스크래핑을 통한 접속은 일종의 매크로 프로그램처럼 동작하기 때문에 최대 수십배에 이르는 과도한 비정상 트래픽을 유발한 것이 그 이유였다. 이처럼 상호 합의되지 않은 스크래핑의 피해는 당하는 곳과 정상적으로 이용하는 사용자에게 고스란히 돌아가고 있다.

에버스핀은 자사의 해킹방지솔루션 에버세이프 웹을 통해 기업간 합의되지 않은 스크래핑을 탐지하고 제한하는 기능을 제공하고 있다. 지난 2년간 에버세이프 웹을 통해 탐지된 전체 스크래핑 건은 무려 4,000만 건에 달해 그 성능을 입증했다.

탐지된 스크래핑 대다수는 합의되지 않은 무단 스크래핑이거나, ‘자동화 봇(Bot)’을 통해 해킹에 악용될 수 있는 정보까지 수집되는 경우도 발견되어 각별한 주의가 필요하다. 이처럼 해킹을 위한 정보 수집에도 이용되는만큼 OWASP(Open Worldwide Application Security Project)는 스크래핑을 자동화된 보안 위협으로 분류하고 있다.

에버세이프 웹은 해킹방어를 위해 스크래핑 방지 이외에도 세션보호, 디버깅 탐지, 매크로 방지, 제로데이필터 등 다양한 기능을 제공하고 있다. 모든 기능은 MTD(Moving Target Defense:이동표적방어)기술 기반으로 적용되었으며, ▲NH농협은행 ▲삼성카드 ▲우리카드 ▲한국투자증권 ▲메리츠증권 ▲키움증권 ▲삼성화재 ▲저축은행중앙회 ▲SBI저축은행 ▲손해보험협회 ▲생명보험협회 등에서 활발히 이용중이다.

에버스핀 관계자는 "신설 기업들이 기성 사업자가 축적한 데이터를 무단으로 수집하고 그 서버 인프라에 과도한 부하를 유발하면서까지 서비스를 이어가고 있다.”라며 무분별한 스크래핑 실태를 지적했다. 또 스크래핑은 해커들의 해킹기술로도 이용되는 악용사례도 많은 만큼 ”원치 않은 스크래핑으로 피해를 받는 기업과 그 사용자들의 권익 보호를 위해 R&D를 지속하여 더욱 강력한 스크래핑 방지에 힘쓰겠다.”고 덧붙였다.

뉴스 속보를 실시간으로...토큰포스트 텔레그램 가기