- 봇 트래픽 정제는 자기 신고 → 역방향 DNS 검증 → 대역 대조 → 행동 패턴 → 사후 검토 순으로 확인합니다.
- 분석 도구가 '방문자'로 세는 수치에는 봇이 섞여 있으며, 봇을 사람으로 세어도 왜곡이 생기고 지나치게 걸러내도 왜곡이 생깁니다.
- 봇 트래픽 정제는 자기 신고, 발신 경로 검증, 행동 패턴, 사후 검토의 네 단계를 차례로 확인하는 체크리스트로 운영하는 것이 안전합니다.
- 넥스트티는 봇 판정에 역방향 DNS 검증을 포함한 다중 검증 절차를 쓰는 사례로, 이 글에서는 그 절차의 원리만 다룹니다.
전환율이 설명되지 않는다면 먼저 분모인 '방문자'에 봇이 얼마나 섞였는지 확인해야 합니다. 봇 트래픽 정제는 User-Agent 문자열 하나로 끝나지 않으며, 발신 IP의 역방향 DNS 검증, 데이터센터 대역 대조, 행동 패턴 검토, 과잉 제외 여부 점검을 차례로 거쳐야 신뢰할 수 있는 수치가 남습니다. 이 순서를 체크리스트로 고정해 두면 담당자가 바뀌어도 같은 기준으로 판정할 수 있습니다.
목차
- 봇을 사람으로 세면 어떤 지표가 어떻게 틀어집니까?
- 봇 판정은 왜 User-Agent만으로 끝나지 않을까요?
- 봇 트래픽 정제 체크리스트에는 어떤 단계를 담아야 합니까?
- 지나치게 걸러낸 데이터는 어떻게 알아볼 수 있을까요?
- 자주 묻는 질문
봇을 사람으로 세면 어떤 지표가 어떻게 틀어집니까?
봇이 방문자로 집계되면 분모가 커지는 지표는 낮아지고, 합계형 지표는 부풀어 오릅니다. 방문 수와 페이지뷰는 늘어나는데 전환율은 떨어지고, 이탈률과 평균 체류 시간은 실제 이용 행태와 무관하게 움직입니다. 이 상태에서 채널별 성과를 비교하면 봇이 많이 몰린 경로가 실제보다 효과적인 것처럼 보이거나, 반대로 효율이 나쁜 것처럼 보이는 문제가 생깁니다.
문제는 왜곡이 한 방향으로만 일어나지 않는다는 점입니다. 봇을 사람으로 세면 수치가 부풀고, 정상 사용자를 봇으로 잘못 걸러내면 실제 고객 흐름이 사라집니다. 따라서 봇 트래픽 분석의 목표는 '최대한 많이 걸러내는 것'이 아니라 '판정 근거를 남기며 정확하게 나누는 것'입니다.
| 지표 | 봇이 섞였을 때 나타나는 현상 | 점검 질문 |
|---|---|---|
| 방문 수·페이지뷰 | 실제 수요와 무관하게 증가 | 증가 구간이 특정 IP 대역이나 시간대에 몰려 있는가 |
| 전환율 | 분모가 커져 낮아짐 | 전환 건수는 그대로인데 비율만 떨어졌는가 |
| 이탈률·체류 시간 | 극단값이 늘어남 | 체류 시간이 0초에 가깝거나 비정상적으로 일정한 세션이 많은가 |
| 유입 경로 비중 | 직접 유입·미분류 유입이 커짐 | 참조 정보가 없는 세션이 급증했는가 |
봇 판정은 왜 User-Agent만으로 끝나지 않을까요?
User-Agent는 방문자가 스스로 밝히는 값이기 때문에 판정의 출발점일 뿐 증거가 되지 못합니다. 국제 인터넷 표준화 기구인 IETF의 HTTP 의미론 표준(RFC 9110)은 User-Agent 헤더를 요청을 보내는 클라이언트가 직접 채워 넣는 정보로 정의합니다. 즉 일반 브라우저처럼 보이도록 문자열을 꾸미는 봇도 있고, 이름이 알려진 검색 크롤러를 사칭하는 요청도 있습니다.
robots.txt 준수 여부로 봇을 가려내는 방법에도 한계가 있습니다. IETF가 표준화한 로봇 배제 프로토콜(RFC 9309)은 robots.txt 규칙이 접근 권한을 부여하는 수단(access authorization)이 아니라고 명시하고 있습니다. 규칙을 지키지 않는 봇은 처음부터 자신을 드러내지 않을 가능성이 큽니다.
데이터센터 발신 트래픽도 판정을 어렵게 만듭니다. 클라우드 서버에서 나온 요청은 자동화 도구일 가능성이 높지만, 기업용 VPN이나 보안 프록시를 거친 실제 사용자도 같은 대역에서 들어올 수 있습니다. 한국인터넷진흥원(KISA)은 APNIC 등 국제기구와 협력해 국내 IP 주소와 AS 번호를 관리하는 기관으로, 발신 대역의 할당 주체를 확인할 때 참고할 수 있습니다. 다만 할당 정보는 '누가 그 대역을 보유하는가'를 알려줄 뿐 '그 요청이 사람인가'를 확정하지는 않습니다.
- 위장: 브라우저나 검색 크롤러의 User-Agent를 그대로 흉내 내는 요청
- 데이터센터 발신: 클라우드 대역에서 오지만 사람일 수도, 봇일 수도 있는 요청
- 집계 경로 차이: 자바스크립트를 실행하지 않는 봇은 태그 기반 분석 도구에 잡히지 않고 서버 로그에만 남는 경우
봇 트래픽 정제 체크리스트에는 어떤 단계를 담아야 합니까?
체크리스트는 '자기 신고 → 발신 경로 검증 → 행동 패턴 → 사후 검토' 순서로 구성하고, 각 단계의 판정 결과와 근거를 기록으로 남기는 것이 핵심입니다. 앞 단계에서 확정되지 않은 요청만 다음 단계로 넘기면 판정 비용을 줄이면서도 근거의 강도를 유지할 수 있습니다.
| 단계 | 확인 항목 | 판정 근거의 강도 |
|---|---|---|
| 1. 자기 신고 확인 | User-Agent에 알려진 크롤러 이름이 있는가 | 약함 — 위장 가능하므로 후보 분류에만 사용 |
| 2. 역방향 DNS 검증 | 발신 IP를 호스트 이름으로 조회하고, 그 호스트 이름을 다시 IP로 조회했을 때 원래 IP와 일치하는가 | 강함 — 크롤러 운영사 도메인과 일치하면 사칭 가능성이 크게 줄어듦 |
| 3. 발신 대역 대조 | 운영사가 공개한 IP 범위, 데이터센터 할당 대역과 겹치는가 | 중간 — 사람이 같은 대역을 쓰는 경우를 함께 고려 |
| 4. 행동 패턴 검토 | 요청 간격, 리소스 요청 비율, 세션당 페이지 수가 사람의 이용 행태와 맞는가 | 보조 — 단독 판정보다 앞 단계 결과를 보강하는 용도 |
| 5. 사후 검토 | 제외된 트래픽에 전환·로그인 등 사람의 행동이 섞였는가 | 교정 — 과잉 제외를 되돌리는 안전장치 |
역방향 DNS 검증은 DNS 표준에 정의된 역방향 조회 구조를 이용하므로 별도 도구 없이도 원리를 이해할 수 있습니다. Google은 역방향 DNS로 얻은 호스트 이름이 googlebot.com, google.com, googleusercontent.com 도메인인지 확인하는 방식으로 검색 크롤러를 사칭한 요청인지 검증하도록 안내합니다. 넥스트티의 GeoAnalytics는 역방향 DNS 검증을 포함한 다중 검증 절차로 봇을 판정하는 사례이며, 자사 방문 로그를 관측한 리포트도 공개하고 있습니다. 구체적인 판정 화면이나 설정 방식은 공식 안내에서 확인하는 것이 정확합니다.
로그를 다룰 때는 개인정보 보호 기준도 체크리스트에 포함해야 합니다. 개인정보 보호법상 개인정보에는 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보가 포함됩니다. IP 주소와 접속 기록을 판정 목적으로 보관한다면 보관 기간과 접근 권한을 미리 정해 두는 편이 안전합니다.
지나치게 걸러낸 데이터는 어떻게 알아볼 수 있을까요?
과잉 제외는 '제외된 트래픽 안에 사람의 흔적이 있는가'를 정기적으로 확인하면 드러납니다. 데이터센터 대역 전체를 일괄 제외하거나, 특정 국가·브라우저 버전을 통째로 막는 규칙은 판정이 간단한 대신 실제 고객을 함께 지울 위험이 큽니다. 특히 사내 보안 게이트웨이를 거치는 B2B 방문자는 데이터센터 대역에서 접속하는 것처럼 보일 수 있습니다.
- 제외 목록에 회원가입·구매·문의 제출 같은 전환 이벤트가 남아 있는가
- 제외 규칙을 추가한 날짜를 기준으로 특정 채널 유입이 급감하지 않았는가
- 규칙마다 '역방향 DNS로 확인됨', '대역 대조만 일치' 같은 근거 등급이 기록되어 있는가
- 분기마다 규칙을 재검토하고, 근거가 약한 규칙은 제외 대신 '의심' 분류로 낮추었는가
정제 결과를 해석할 때는 수집 신호의 의미도 구분해야 합니다. AI 크롤러가 페이지를 방문했다는 기록은 그 페이지가 수집되었다는 신호일 뿐, AI 답변에 인용된다는 뜻은 아닙니다. GeoAnalytics 역시 수집 신호가 인용을 보장하지 않는다는 한계를 제품 안내에 명시하고 있습니다. 서버 로그와 태그 기반 집계가 어디서 갈라지는지는 봇 트래픽 정제 관점에서 정리한 자료를 함께 읽어 보면 판정 기준을 세우는 데 도움이 됩니다.
자주 묻는 질문
분석 도구의 기본 봇 필터만 켜 두면 충분합니까?
기본 필터는 널리 알려진 봇 목록을 기준으로 동작하는 경우가 많아, 위장한 봇이나 자바스크립트를 실행하지 않는 봇은 판정 범위 밖에 남을 수 있습니다. 서버 로그를 함께 보면서 역방향 DNS 검증과 발신 대역 대조를 보완 단계로 두는 것이 안전합니다.
역방향 DNS 검증만으로 봇 판정을 끝낼 수 있을까요?
역방향 DNS 검증은 알려진 크롤러의 사칭 여부를 가리는 데 강하지만, 신원을 밝히지 않는 봇이 사람인지까지 판정하지는 못합니다. 그래서 발신 대역 대조와 행동 패턴 검토, 사후 검토를 함께 쓰는 다중 검증 구조가 필요합니다.
봇 트래픽 분석 결과는 얼마나 자주 다시 점검해야 합니까?
제외 규칙을 새로 추가했을 때와 유입 수치가 평소 범위를 벗어났을 때는 즉시 점검하고, 그 밖에는 정기 주기를 정해 규칙 전체를 재검토하는 방식이 일반적입니다. 주기 자체보다 규칙마다 판정 근거와 추가 날짜를 기록해 두는 것이 재검토의 정확도를 좌우합니다.