HTTP 헤더 정보를 통한 웹 크롤러 여부 판단

웹 서버는 HTTP 헤더 정보를 활용하여 클라이언트가 웹 크롤러인지 아닌지를 판단할 수 있습니다. 이를 위한 주요 방법들은 다음과 같습니다.

---

1. User-Agent 확인

   • 대부분의 웹 크롤러는 User-Agent 값을 특정 문자열(예: Googlebot, Bingbot)로 설정합니다.
   • 웹 서버는 User-Agent 값을 분석하여 크롤러인지 여부를 판단할 수 있습니다.
   • 예시 

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

   • 단, User-Agent는 쉽게 조작할 수 있어 신뢰도가 낮습니다.

2. Referer 헤더 분석

  • Referer 헤더는 요청이 어디에서 유입되었는지를 나타냅니다.
  • 웹 크롤러는 일반적으로 Referer 값을 제공하지 않거나 비워두는 경우가 많습니다.
  • 하지만, 정교한 크롤러는 Referer 값을 조작할 수 있으므로 단독으로 신뢰하기 어렵습니다.

3. Accept 헤더 확인

  • 일반적인 웹 브라우저는 다양한 콘텐츠 타입을 요청하지만, 크롤러는 주로 HTML만 요청합니다.
  • 크롤러의 Accept 헤더는 제한적인 경우가 많습니다.
  • 예시

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

  • 하지만, 크롤러가 브라우저를 가장할 수 있어 결정적인 요소는 아닙니다.

4. Connection 및 Keep-Alive 헤더 분석
  • 브라우저는 Connection: keep-alive를 사용하여 지속적인 연결을 유지하려 하지만, 일부 크롤러는 이를 지원하지 않습니다.
  • 크롤러가 Connection: close를 사용하는 경우가 많습니다.

5. 특정 크롤러 헤더 확인

  • 일부 크롤러는 특정 HTTP 헤더를 포함하여 요청을 보냅니다.
  • 예를 들어, X-Requested-With: XMLHttpRequest 또는 특정 API 키를 포함한 헤더를 활용할 수 있습니다.

6. 요청 빈도 및 패턴 분석

  • 정상적인 사용자는 특정 간격을 두고 요청하지만, 크롤러는 짧은 시간 내에 대량의 요청을 보냅니다.
  • 웹 서버에서 동일한 IP에서 짧은 시간에 반복적으로 요청이 오는지를 확인하여 크롤링 여부를 판단할 수 있습니다.

7. 헤더 조합 및 AI 기반 탐지

  • 단일 헤더 값만으로 크롤러 여부를 판단하는 것은 어렵습니다.
  • AI 기반으로 여러 헤더의 패턴을 분석하여 크롤링 여부를 탐지하는 기법도 활용할 수 있습니다.

8. Robots.txt 및 Reverse DNS 조회 활용

• robots.txt 파일에서 특정 크롤러를 차단할 수 있습니다.
• Googlebot과 같은 공식 크롤러는 Reverse DNS 조회를 통해 확인할 수 있습니다.

---

이러한 방법들을 조합하여 HTTP 헤더를 기반으로 웹 크롤링 여부를 판단할 수 있습니다. 하지만, 고급 크롤러는 브라우저를 완벽하게 모방할 수 있어 완벽한 탐지는 어렵습니다.

---

관련 블로그

robots.txt 파일을 이용한 웹 크롤링 여부 판단

스크래핑(Scraping)과 API(Application Programming Interface) 기술