사이트 크롤링 검사

웹사이트의 robots.txt와 sitemap.xml을 분석하여 SEO 준수 여부를 검증하고, sitemap에 등록된 페이지들의 접근성과 품질을 종합적으로 평가합니다.

📋 검사 프로세스:
1. robots.txt 파일 존재 여부 및 규칙 확인
2. sitemap.xml 파일 검색 및 URL 수집
3. robots.txt 규칙에 따른 크롤링 허용 URL 필터링
4. 최대 50개 페이지 샘플링 및 순차 검사
5. 각 페이지의 HTTP 상태, 메타데이터, 품질 점수 측정
6. 중복 콘텐츠(title/description) 비율 분석

🎯 측정 도구:
• Node.js 기반 자체 크롤러 (robots.txt 준수)
• sitemap.xml 파서 (index 파일 재귀 처리 지원)
• HTML 파서를 통한 메타데이터 추출
• 품질 점수 알고리즘 (100점 만점)

💯 품질 점수 산정 기준:
• Title 태그 길이 (5자 미만: -15점)
• Description 메타 태그 (20자 미만: -10점)
• Canonical URL 누락 (-5점)
• H1 태그 부재 (-10점) / 과다 사용 (-5점)
• 콘텐츠 부족 (1000자 미만: -10점)

🚀 테스트 목적:
• 검색엔진이 사이트를 올바르게 크롤링할 수 있는지 확인
• sitemap에 등록된 모든 페이지가 정상 접근 가능한지 검증
• 중복 콘텐츠로 인한 SEO 패널티 위험 진단
• 페이지별 품질 점수를 통한 개선점 도출

이 검사는 약 30초~2분 정도 소요됩니다.