구글의 새 데이터 스크래핑 방지 정책, 산업 재편성 초래
구글이 최근 검색 엔진 결과 페이지(SERPs) 접근 방식을 크게 변경하여 데이터 스크래핑에 대한 조치를 강화했다. 이로 인해 디지털 마케팅 업계는 즉각적 충격을 받았으며, 특히 SEO(검색 엔진 최적화)에 의존하는 기업들에게 커다란 영향을 미쳤다. 주로 HTML 기반 스크래핑 방법이 단숨에 쓸모없어졌는데, SEMrush와 같은 주요 SEO 도구들이 글로벌적으로 운영 중단을 경험했다.
구글의 이번 변화는 대형 웹사이트와 스크래핑 업체 간의 계속되는 경쟁의 최신 단계로 볼 수 있다. 한때 비윤리적인 소규모 업체와 연관되던 데이터 스크래핑은 이제 필수적이고 복잡한 산업으로 발전했다. 기업들은 공공 데이터에 대한 접근을 통해 정보에 입각한 의사결정을 내리고 시장에서의 경쟁력을 유지하고자 스크래핑에 의존하고 있다.
스크래핑의 필요성과 대안적인 접근법
스크래핑이 많은 기업들에게 중요하지만, 일부 조직들은 대안적인 데이터 출처를 사용하기도 한다. 거대 리테일러들은 공급업체 피드나 직판 보고서를 통해 경쟁 가격 데이터를 얻고, 금융 서비스 기업들은 주식 시장 API와 재무 보고서를 이용한다. 그러나 대부분의 기업에서는 스크래핑이 유일한 실행 가능한 방법으로 자리 잡고 있다. 스크래핑 없이는 필요 정보를 실시간으로 수집할 길이 없기 때문이다.
새로운 데이터 스크래핑 환경에서의 변화
구글은 이번 조치를 통해 검색 결과에 JavaScript를 필수로 요구하게 됐으며, 기존의 HTML 기반 스크래핑 도구들은 무용지물이 됐다. JavaScript로 생성되는 페이지는 로딩 후에만 내용을 표시하기 때문에 단순 HTTP 요청만으로는 데이터에 접근할 수 없게 되었다. IP 차단, CAPTCHA, 고급 봇 방지 기술을 통한 스크래핑 방지 조치도 강화됐다.
이런 환경 변화에 대응하기 위해서는 데이터 스크래핑 기술 또한 발전해야만 한다. 순수한 HTML 스크래핑은 더 이상 가능하지 않으며, 성공적인 데이터 수집을 위해 복잡한 JavaScript 실행 능력이 필요해졌다. 이는 또한 기술 기반이 더욱 복잡해졌음을 뜻하며, 스크래핑은 전문적인 기술 분야로 정착하게 되었다.
전문성과 기술역량을 겸비한 대규모 스크래핑 업체들만이 향후 업계의 주요 플레이어로 남게 될 가능성이 높다. 웹 스크래핑이 더욱 정교해지면서 산업은 더욱 정리되고, 공공 데이터 수집 및 분석을 위한 신뢰할 수 있는 솔루션을 제공하는 한정된 강력한 공급자들로 구성될 것으로 보인다.
출처 : 원문 보러가기