robots.txt 확인 방법: 테스터가 없어진 뒤 차단을 알아보는 순서

robots.txt 테스터는 없어지고 ‘robots.txt 보고서’로

예전 Search Console에는 robots.txt 내용을 고쳐 가며 ‘이 URL이 Googlebot에 차단되는가’를 시험할 수 있는 robots.txt 테스터가 있었습니다. 구글은 2023년 11월에 종료를 알리고 12월에 제공을 끝냈습니다. 대신 생긴 것이 ‘설정’ 안에 있는 ‘robots.txt 보고서’입니다.

보고서는 ‘구글이 지금 어떤 robots.txt를 읽고 있는가’를 알기 위한 화면이며, 수정하기 전의 안을 시험할 수는 없습니다. URL 검사 도구는 공개 중인 URL에 대해 ‘robots.txt에 의한 차단’ 여부를 알려 주지만 어느 줄이 원인인지까지는 표시하지 않습니다. 수정하기 전에 영향을 확인하고 싶을 때는 테스터에 안을 붙여 넣어 판정하는 것이 가장 빠른 방법입니다.

robots.txt를 두는 곳과 여는 법

robots.txt는 사이트의 가장 위 계층에 ‘robots.txt’라는 이름으로 둡니다. 브라우저에서 ‘https://도메인/robots.txt’를 열면 지금 공개된 내용을 확인할 수 있습니다.

• 두는 곳은 한 군데뿐: https://example.com/robots.txt는 읽히지만 https://example.com/blog/robots.txt처럼 아래 계층에 둔 파일은 읽히지 않습니다.
• 도메인마다 별개: www.example.com과 example.com, shop.example.com 같은 서브도메인은 각각 robots.txt가 필요합니다.
• http와 https, 포트 번호도 별개: http://example.com/robots.txt의 내용은 https:// 페이지에는 쓰이지 않습니다.
• 파일 이름은 소문자: Robots.txt나 ROBOTS.TXT로는 읽히지 않을 수 있습니다.
• 문자 인코딩은 UTF-8: 한글 경로나 주석을 쓴다면 UTF-8로 저장합니다.

테스터로 URL별 차단을 확인하는 순서

1. 1

   robots.txt 내용을 복사해 붙여 넣는다

   https://도메인/robots.txt를 열어 전부 복사하고 테스터의 ‘robots.txt 내용’에 붙여 넣습니다. 수정안이 있다면 공개 전의 안을 붙여 넣어도 됩니다.

2. 2

   확인하고 싶은 URL을 한 줄에 하나씩 넣는다

   ‘https://example.com/blog/’ 같은 URL도, ‘/blog/’ 같은 경로만도 판정할 수 있습니다. 홈페이지, 글, 카테고리, 검색 결과, 이미지, PDF 등 종류가 다른 URL을 늘어놓으면 빠진 곳을 찾기 쉬워집니다.

3. 3

   판정할 크롤러를 고른다

   먼저 Googlebot과 Bingbot. 이미지 검색이 신경 쓰인다면 Googlebot-Image, 광고를 낸다면 AdsBot-Google과 Mediapartners-Google, AI 취급을 정하고 싶다면 GPTBot이나 ClaudeBot도 고릅니다.

4. 4

   결과 표와 결정한 규칙을 본다

   URL × 크롤러마다 ‘허용’, ‘차단’이 나옵니다. URL을 펼치면 결정한 규칙의 줄 번호와 쓰인 그룹(User-agent)을 알 수 있습니다. 생각과 다른 결과라면 그 줄을 다시 봅니다.

5. 5

   ‘작성법 검사’를 고치고 다시 판정한다

   전각 ‘：’나 Disallow에 URL을 쓴 줄처럼 구글이 의도대로 읽지 않는 작성법을 줄 번호와 함께 알려 줍니다. 고쳤다면 같은 URL로 다시 판정해 결과를 확인한 뒤 공개합니다.

판정 규칙의 자세한 내용은 Allow와 Disallow의 우선순위, Googlebot용 그룹을 추가할 때의 주의는 User-agent 작성법에서 설명합니다.

수정한 뒤 구글에 반영되기까지

robots.txt를 수정해도 구글이 바로 새 내용을 쓰는 것은 아닙니다. 구글은 가져온 robots.txt를 보통 24시간 정도 캐시하며, 그동안은 예전 내용으로 크롤링을 계속합니다.

• 급할 때: Search Console의 robots.txt 보고서에서 해당 robots.txt의 ‘︙’ 메뉴로 재크롤링을 요청할 수 있습니다.
• 반영 확인: 보고서의 ‘마지막 크롤링 일시’가 수정한 뒤로 바뀌고 표시되는 내용이 새것이라면 반영된 것입니다.
• 검색 결과에 대한 영향은 더 느리다: 크롤링을 막아도 이미 검색 결과에 있는 URL이 바로 사라지지는 않습니다. 반대로 차단을 풀어도 다시 크롤링되어 평가가 돌아오기까지 시간이 걸립니다.

robots.txt에 접근할 때 서버가 오류를 반환하면 구글의 동작이 바뀐다는 점에도 주의하세요. 404 같은 ‘찾을 수 없음’은 ‘제한 없음(모두 허용)’으로 취급되지만, 5xx 오류나 시간 초과가 계속되면 구글은 한동안 사이트 전체의 크롤링을 멈춥니다. 점검 중에 robots.txt만 오류가 나고 있지 않은지는 보고서의 가져오기 상태로 확인할 수 있습니다.

확인할 때 놓치기 쉬운 점

• 운영 환경과 개발 환경 혼동: 공개 전 사이트에 쓴 ‘Disallow: /’를 그대로 운영 환경에 가져오지 않았는지. 사이트 전체가 조금씩 검색 결과에서 사라지는 전형적인 원인입니다.
• CSS·JavaScript 차단: /assets/나 /wp-includes/를 막으면 구글이 페이지를 제대로 렌더링하지 못해 모바일 대응 등의 평가에 영향을 줄 수 있습니다.
• 대소문자: ‘Disallow: /Admin/’은 /admin/을 막지 않습니다. URL의 실제 표기와 같은지 확인합니다.
• 파일 크기: 구글이 읽는 것은 앞부분 500KiB까지입니다. 자동 생성으로 수천 줄이 된 robots.txt는 뒤쪽 규칙이 무시되고 있을 가능성이 있습니다.
• noindex와의 조합: 검색 결과에서 지우고 싶은 페이지를 robots.txt로 막으면 noindex가 읽히지 않아 계속 남습니다. 자세한 내용은 robots.txt와 noindex의 차이를 참고하세요.

자주 묻는 질문

Search Console의 robots.txt 테스터는 어디에 있나요?

2023년 12월에 제공이 끝나 지금은 없습니다. 대신 ‘설정’ → ‘robots.txt’ 보고서에서 구글이 가져온 robots.txt의 내용·가져온 일시·오류를 확인할 수 있습니다. URL별 차단 판정은 URL 검사 도구(공개 중인 URL만)나 robots.txt 테스터로 확인합니다.

robots.txt를 수정하면 바로 반영되나요?

구글은 robots.txt를 보통 24시간 정도 캐시하므로 바로 반영되지 않습니다. 급할 때는 Search Console의 robots.txt 보고서에서 재크롤링을 요청할 수 있습니다.

robots.txt가 없으면 어떻게 되나요?

robots.txt를 찾을 수 없을(404) 때는 ‘제한 없음’으로 모든 URL이 크롤링 대상이 됩니다. 막고 싶은 페이지가 없다면 robots.txt를 두지 않아도 문제없습니다.

서브도메인에도 robots.txt가 필요한가요?

필요합니다. robots.txt는 호스트마다 따로 읽히므로 blog.example.com의 규칙을 example.com/robots.txt에 써도 쓰이지 않습니다. 각 서브도메인의 맨 위에 둡니다.