Search Console의 robots.txt 테스터는 어디로 갔나요?

Google Search Console의 robots.txt 테스터는 2023년 12월에 제공이 종료되었고, 대신 “설정” 안의 “robots.txt 보고서”가 되었습니다. 보고서에서는 robots.txt를 가져왔는지와 오류가 있는 줄은 알 수 있지만, URL을 입력해 차단되는지 시험하는 기능은 없습니다. URL별 판정은 이 도구나 URL 검사 도구(공개 중인 URL만)로 확인할 수 있습니다.

Allow와 Disallow 모두에 일치하면 어느 쪽이 우선되나요?

Google은 패턴이 가장 긴(구체적인) 규칙을 사용합니다. 예를 들어 “Disallow: /blog/”와 “Allow: /blog/public/”라면 /blog/public/a.html은 더 긴 Allow가 이겨서 허용됩니다. 길이가 같을 때는 Allow(제한이 적은 쪽)를 사용합니다. 작성한 순서는 관계없습니다.

User-agent: * 와 User-agent: Googlebot 을 둘 다 쓰면 어떻게 되나요?

Googlebot은 자기 이름의 그룹만 사용하고 “User-agent: *” 그룹의 규칙은 전혀 사용하지 않습니다. “*”로 차단한 경로를 Googlebot에도 막고 싶다면 Googlebot 그룹에도 같은 Disallow를 써야 합니다.

robots.txt의 * 와 $ 는 무슨 뜻인가요?

“*”는 0자 이상의 아무 문자에나 일치하고, “$”는 패턴의 맨 끝에 놓았을 때만 “URL의 끝”을 의미합니다. “Disallow: /*.pdf$”는 .pdf로 끝나는 URL을 막고, /a.pdf?download=1처럼 뒤에 쿼리가 이어지는 URL은 막지 않습니다. 패턴 끝의 “*”는 의미가 없어서 “/fish*”는 “/fish”와 같습니다.

Disallow: /fish 와 Disallow: /fish/ 는 다른가요?

다릅니다. “/fish”는 앞부분 일치이므로 /fish.html이나 /fishheads도 막습니다. “/fish/”는 폴더 안만 막고 /fish나 /fish.html은 막지 않습니다.

robots.txt로 차단하면 검색 결과에서 사라지나요?

사라진다고는 할 수 없습니다. robots.txt는 크롤링을 막을 뿐이어서 다른 페이지에서 링크된 URL은 내용 없이 검색 결과에 나올 수 있습니다. 검색 결과에서 없애려면 페이지에 noindex를 넣고 해당 페이지는 robots.txt로 차단하지 마세요. 차단하면 Googlebot이 noindex를 읽을 수 없습니다.

ChatGPT나 Claude 같은 AI가 사이트를 학습하지 못하게 하려면?

robots.txt에서 OpenAI의 GPTBot, Anthropic의 ClaudeBot, Google의 Google-Extended, Apple의 Applebot-Extended, Common Crawl의 CCBot 등을 “Disallow: /”로 차단합니다. Google-Extended와 Applebot-Extended를 막아도 Google 검색·Apple 검색에서의 표시에는 영향이 없습니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 AI 검색 답변에 쓰는 크롤러이므로 막으면 그 답변에서 소개되기 어려워집니다.

Crawl-delay를 쓰면 Googlebot의 크롤링을 늦출 수 있나요?

할 수 없습니다. Google은 Crawl-delay를 읽지 않습니다. Googlebot은 서버의 응답 속도와 오류에 맞춰 빈도를 자동으로 조정합니다. Bing과 Yandex는 Crawl-delay를 읽습니다.

일본어 같은 비ASCII URL은 robots.txt에 어떻게 써야 하나요?

“Disallow: /カテゴリ/”처럼 그대로 써도, “Disallow: /%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA/”처럼 %로 인코딩해서 써도 Google은 같은 것으로 취급합니다. 파일은 UTF-8로 저장하세요. 이 도구도 두 가지 쓰기를 같은 URL로 판정합니다.

robots.txt 테스터｜URL 차단 여부 판정·작성법 검사·AI 크롤러 차단 생성

Search Console의 robots.txt 테스터가 사라진 뒤 대신 쓸 수 있는 robots.txt 확인 도구입니다. robots.txt 내용과 확인할 URL을 붙여넣으면 Googlebot, Googlebot-Image, AdsBot-Google, Bingbot, Applebot, 그리고 GPTBot, ClaudeBot, Google-Extended, PerplexityBot 같은 AI 크롤러별로 허용인지 차단인지와 결정적인 규칙(줄 번호)을 보여 줍니다. 판정은 Google과 같이 “가장 길게 일치한 규칙이 우선, 길이가 같으면 Allow”, “이름을 적은 그룹이 있으면 User-agent: * 는 사용하지 않음”, “* 와 끝의 $”, “비ASCII(일본어 등) URL” 규칙으로 합니다. 전각 “：”, URL을 쓴 Disallow, User-agent보다 앞에 있는 규칙, Googlebot-Images 같은 이름 오류, 지원이 끝난 Noindex, Google이 읽지 않는 Crawl-delay 등의 작성법 검사와, AI 학습만 막는 robots.txt 생성, * 와 $ 한눈에 보기 표도 갖추고 있습니다.

1. robots.txt 붙여넣기

사이트의 “https://도메인/robots.txt”를 열어 내용을 복사한 뒤 여기에 붙여넣습니다. 공개 전 작성 중인 파일도 시험할 수 있습니다. Google과 같은 방식(가장 길게 일치한 규칙이 우선, 길이가 같으면 Allow)으로 판정합니다.

샘플:

robots.txt 내용

5줄·111바이트(Google은 처음 500KiB까지만 읽음)·그룹 1개·Sitemap 1건

2. 확인할 URL과 크롤러

한 줄에 URL 하나(https://로 시작해도, /blog/ 같은 경로만 써도 됩니다). 최대 50개까지 판정합니다.

URL·경로(한 줄에 하나)

Google

기타 검색엔진

3. 판정 결과

URL	Googlebot	Googlebot-Image	Google-Extended	Bingbot	GPTBot	ClaudeBot
https://example.com/	허용	허용	허용	허용	허용	허용
https://example.com/wp-admin/	차단	차단	차단	차단	차단	차단
https://example.com/wp-admin/admin-ajax.php	허용	허용	허용	허용	허용	허용
https://example.com/wp-admin-guide/	허용	허용	허용	허용	허용	허용

https://example.com/판정에 사용한 경로: /

허용
GooglebotGoogle 검색
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
허용
Googlebot-ImageGoogle 이미지 검색
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
Googlebot-Image 그룹이 없으면 Googlebot 그룹을 따릅니다.
허용
Google-ExtendedGemini의 학습·답변에 이용
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
Google-Extended는 크롤러가 아니라 Googlebot이 가져온 페이지를 Gemini 등 생성형 AI에 사용해도 되는지를 정하는 이름입니다. 차단해도 Google 검색의 순위와 표시에는 영향이 없습니다.
허용
BingbotBing 검색
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
허용
GPTBotOpenAI 학습
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
허용
ClaudeBotAnthropic(Claude) 학습
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)

https://example.com/wp-admin/판정에 사용한 경로: /wp-admin/

차단
GooglebotGoogle 검색
“Disallow: /wp-admin/”(2행)에 일치했습니다.
사용한 그룹: User-agent: *(1행)
차단
Googlebot-ImageGoogle 이미지 검색
“Disallow: /wp-admin/”(2행)에 일치했습니다.
사용한 그룹: User-agent: *(1행)
Googlebot-Image 그룹이 없으면 Googlebot 그룹을 따릅니다.
차단
Google-ExtendedGemini의 학습·답변에 이용
“Disallow: /wp-admin/”(2행)에 일치했습니다.
사용한 그룹: User-agent: *(1행)
Google-Extended는 크롤러가 아니라 Googlebot이 가져온 페이지를 Gemini 등 생성형 AI에 사용해도 되는지를 정하는 이름입니다. 차단해도 Google 검색의 순위와 표시에는 영향이 없습니다.
차단
BingbotBing 검색
“Disallow: /wp-admin/”(2행)에 일치했습니다.
사용한 그룹: User-agent: *(1행)
차단
GPTBotOpenAI 학습
“Disallow: /wp-admin/”(2행)에 일치했습니다.
사용한 그룹: User-agent: *(1행)
차단
ClaudeBotAnthropic(Claude) 학습
“Disallow: /wp-admin/”(2행)에 일치했습니다.
사용한 그룹: User-agent: *(1행)

https://example.com/wp-admin/admin-ajax.php판정에 사용한 경로: /wp-admin/admin-ajax.php

허용
GooglebotGoogle 검색
일치한 규칙 중 가장 긴 “Allow: /wp-admin/admin-ajax.php”(3행)을 사용합니다. 작성한 순서는 관계없습니다.
사용한 그룹: User-agent: *(1행)
그 밖에 일치한 규칙: Disallow: /wp-admin/(2행)
허용
Googlebot-ImageGoogle 이미지 검색
일치한 규칙 중 가장 긴 “Allow: /wp-admin/admin-ajax.php”(3행)을 사용합니다. 작성한 순서는 관계없습니다.
사용한 그룹: User-agent: *(1행)
그 밖에 일치한 규칙: Disallow: /wp-admin/(2행)
Googlebot-Image 그룹이 없으면 Googlebot 그룹을 따릅니다.
허용
Google-ExtendedGemini의 학습·답변에 이용
일치한 규칙 중 가장 긴 “Allow: /wp-admin/admin-ajax.php”(3행)을 사용합니다. 작성한 순서는 관계없습니다.
사용한 그룹: User-agent: *(1행)
그 밖에 일치한 규칙: Disallow: /wp-admin/(2행)
Google-Extended는 크롤러가 아니라 Googlebot이 가져온 페이지를 Gemini 등 생성형 AI에 사용해도 되는지를 정하는 이름입니다. 차단해도 Google 검색의 순위와 표시에는 영향이 없습니다.
허용
BingbotBing 검색
일치한 규칙 중 가장 긴 “Allow: /wp-admin/admin-ajax.php”(3행)을 사용합니다. 작성한 순서는 관계없습니다.
사용한 그룹: User-agent: *(1행)
그 밖에 일치한 규칙: Disallow: /wp-admin/(2행)
허용
GPTBotOpenAI 학습
일치한 규칙 중 가장 긴 “Allow: /wp-admin/admin-ajax.php”(3행)을 사용합니다. 작성한 순서는 관계없습니다.
사용한 그룹: User-agent: *(1행)
그 밖에 일치한 규칙: Disallow: /wp-admin/(2행)
허용
ClaudeBotAnthropic(Claude) 학습
일치한 규칙 중 가장 긴 “Allow: /wp-admin/admin-ajax.php”(3행)을 사용합니다. 작성한 순서는 관계없습니다.
사용한 그룹: User-agent: *(1행)
그 밖에 일치한 규칙: Disallow: /wp-admin/(2행)

https://example.com/wp-admin-guide/판정에 사용한 경로: /wp-admin-guide/

허용
GooglebotGoogle 검색
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
허용
Googlebot-ImageGoogle 이미지 검색
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
Googlebot-Image 그룹이 없으면 Googlebot 그룹을 따릅니다.
허용
Google-ExtendedGemini의 학습·답변에 이용
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
Google-Extended는 크롤러가 아니라 Googlebot이 가져온 페이지를 Gemini 등 생성형 AI에 사용해도 되는지를 정하는 이름입니다. 차단해도 Google 검색의 순위와 표시에는 영향이 없습니다.
허용
BingbotBing 검색
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
허용
GPTBotOpenAI 학습
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)
허용
ClaudeBotAnthropic(Claude) 학습
User-agent: * 그룹에 일치하는 규칙이 없으므로 허용됩니다.
사용한 그룹: User-agent: *(1행)

4. 작성법 검사

Google이 읽을 수 없는 줄, 의미 없는 줄, 흔한 오해를 줄 번호와 함께 알려 줍니다.

오류 0건주의 0건참고 0건

작성법 문제는 발견되지 않았습니다.

그룹 목록

*
1행부터·Disallow 1건·Allow 1건

Sitemap

5행: https://example.com/wp-sitemap.xml

붙여넣은 robots.txt와 URL은 이 브라우저에만 저장되며 서버로 전송되지 않습니다. 사이트에 접속해 robots.txt를 가져오지도 않습니다.

ABOUT

robots.txt 테스터｜URL 차단 여부 판정·작성법 검사·AI 크롤러 차단 생성 소개

robots.txt 테스터는 사이트의 robots.txt를 붙여넣어, 확인할 URL이 크롤러별로 “허용”인지 “차단”인지 판정하는 도구입니다. Google Search Console에 있던 robots.txt 테스터는 2023년 12월에 제공이 종료되었고, 지금의 “robots.txt 보고서”로는 URL별 판정을 할 수 없게 되어 그 대신 쓸 수 있도록 만들었습니다. 판정은 Google의 사양(RFC 9309와 Google이 공개한 robots.txt 파서의 동작)에 맞춰, Allow와 Disallow 모두에 일치하면 “패턴이 가장 긴 규칙”을 사용하고 길이가 같으면 Allow를 사용합니다. “*”는 0자 이상의 아무 문자, 끝의 “$”는 URL의 끝으로 취급하고, 경로는 대소문자를 구분하며, 비ASCII URL은 %E3%81… 형태로 맞춰서 비교합니다. Googlebot 이름을 적은 그룹이 있으면 Googlebot은 “User-agent: *” 규칙을 사용하지 않는 점, Googlebot-Image는 자체 그룹이 없으면 Googlebot 그룹을 따르는 점, AdsBot-Google과 AdSense의 Mediapartners-Google은 “*”를 무시하는 점, Applebot은 Googlebot의 규칙을 따르는 점도 반영했습니다. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, PerplexityBot, CCBot 등 AI 크롤러도 선택할 수 있고, AI 학습만 막는 robots.txt를 만드는 기능도 있습니다. 작성법 검사에서는 전각 “：”, Disallow에 URL을 쓴 줄, User-agent보다 앞에 있는 규칙, Googlebot-Images 같은 크롤러 이름 오류, 지원이 끝난 Noindex, Google이 읽지 않는 Crawl-delay, 경로만 쓴 Sitemap 등을 줄 번호와 함께 알려 줍니다.

robots.txt 테스터｜URL 차단 여부 판정·작성법 검사·AI 크롤러 차단 생성 사용 방법

1사이트의 “https://도메인/robots.txt”를 열어 내용을 복사한 뒤 “robots.txt 내용”에 붙여넣기
2확인할 URL이나 경로를 한 줄에 하나씩 입력하기(https://로 시작해도, /blog/ 같은 경로만 써도 됩니다)
3Googlebot, Bingbot, GPTBot, ClaudeBot 등 판정할 크롤러 선택하기
4판정 결과 표에서 URL × 크롤러별 “허용”, “차단” 확인하기
5URL을 열어 결정적인 규칙의 줄 번호와 사용된 그룹(User-agent) 확인하기
6“작성법 검사”에서 오류·주의 줄을 고치고 다시 판정하기
7AI 크롤러를 막고 싶을 때는 “AI 크롤러 차단 만들기”로 줄을 만들어 테스트 중인 robots.txt에 추가해 확인하기

이럴 때 유용해요

Search Console의 robots.txt 테스터가 없어져서, 대신 URL이 차단되지 않았는지 확인하고 싶을 때
robots.txt를 수정하기 전에 중요한 페이지를 실수로 차단하지 않았는지 확인하고 싶을 때
Allow와 Disallow 중 어느 쪽이 우선되는지 내가 쓴 방식으로 직접 시험해 보고 싶을 때
“Disallow: /*?”나 “Disallow: /*.pdf$” 같은 와일드카드 작성이 의도대로인지 확인하고 싶을 때
검색 결과 페이지나 파라미터가 붙은 URL만 크롤링에서 제외하고 싶을 때
GPTBot, ClaudeBot, Google-Extended 등 AI 학습용 크롤러만 막는 robots.txt를 만들고 싶을 때
Googlebot용 그룹을 추가한 뒤 “User-agent: *” 규칙이 적용되지 않게 되지는 않았는지 확인하고 싶을 때
WordPress의 robots.txt에서 wp-admin의 admin-ajax.php가 허용되어 있는지 확인하고 싶을 때
블로그나 사이트를 인수인계받으면서 전임자가 쓴 robots.txt에 실수가 없는지 점검하고 싶을 때

이용 시 참고 사항

판정은 Google의 해석 방식에 맞춰져 있습니다. Bing 등 다른 검색엔진이나 AI 크롤러는 세부적으로 읽는 방식이 다를 수 있습니다.
Allow와 Disallow 모두에 일치하면 패턴이 더 긴(구체적인) 쪽을 사용하고, 길이가 같으면 Allow를 사용합니다. 위에서부터 읽어 처음 일치한 규칙을 사용하는 방식은 아닙니다.
Googlebot 이름을 적은 그룹이 하나라도 있으면 Googlebot은 그 그룹의 규칙만 사용하고 “User-agent: *” 규칙은 사용하지 않습니다. “*”와 똑같이 막고 싶은 경로는 Googlebot 그룹에도 써야 합니다.
Googlebot-Image, Googlebot-Video, Googlebot-News는 자기 이름의 그룹이 없으면 Googlebot 그룹을, 그것도 없으면 “*”를 따릅니다. AdsBot-Google과 Mediapartners-Google(AdSense)은 “*”를 무시하므로 막으려면 이름을 적어야 합니다.
경로는 대소문자를 구분합니다. “Disallow: /Admin/”은 /admin/을 막지 않습니다. 비ASCII 경로는 %E3%81… 형태로 맞춰서 비교하므로 어느 쪽으로 써도 같은 URL로 판정합니다.
robots.txt는 크롤링(페이지 가져오기)을 막는 것이지 검색 결과에 나오지 않게 하는 것이 아닙니다. 다른 페이지에서 링크된 경우 차단한 URL이 설명 없이 검색 결과에 나올 수 있습니다. 검색 결과에서 없애려면 noindex를 사용하고 해당 페이지는 robots.txt로 차단하지 마세요(차단하면 noindex를 읽을 수 없습니다).
robots.txt의 Noindex는 Google이 2019년 9월 1일에 지원을 종료했습니다. Crawl-delay도 Google은 읽지 않습니다.
robots.txt는 도메인마다(서브도메인, http와 https, 포트 번호도 별개) 사이트의 최상위에 두어야 합니다. /blog/robots.txt 같은 곳에 두면 읽히지 않습니다.
Google이 읽는 것은 robots.txt의 처음 500KiB까지입니다. 그 뒤의 규칙은 무시됩니다.
AI 크롤러의 이름(User-agent)은 각 회사가 공개한 것입니다. 새 이름이 추가되거나 바뀔 수 있으므로 차단하기 전에 각 회사의 안내도 확인하세요. robots.txt는 지킬지 말지를 크롤러에 맡기는 요청이며 강제력이 없습니다.
붙여넣은 robots.txt와 URL은 이 브라우저 안에서만 판정하며 서버로 전송하지 않습니다. 사이트에 접속해 robots.txt를 가져오지도 않습니다.

이런 질문에 답해 드려요

robots.txt 테스터｜URL 차단 여부 판정·작성법 검사·AI 크롤러 차단 생성: 이런 상황에 도움이 됩니다.

Search Console의 robots.txt 테스터를 대신할 도구를 쓰고 싶다
robots.txt로 특정 URL이 차단되는지 확인하고 싶다
robots.txt의 Allow와 Disallow 우선순위를 알고 싶다
robots.txt의 * 와 $ 사용법을 확인하고 싶다
User-agent: * 와 Googlebot을 둘 다 썼을 때의 동작을 알고 싶다
robots.txt에 잘못 쓴 곳이 없는지 검사하고 싶다
GPTBot과 ClaudeBot을 차단하는 robots.txt 작성법을 알고 싶다
AI 학습만 막고 검색에는 노출하고 싶다
robots.txt의 noindex나 crawl-delay가 효과가 있는지 알고 싶다

자주 묻는 질문

Search Console의 robots.txt 테스터는 어디로 갔나요?: Google Search Console의 robots.txt 테스터는 2023년 12월에 제공이 종료되었고, 대신 “설정” 안의 “robots.txt 보고서”가 되었습니다. 보고서에서는 robots.txt를 가져왔는지와 오류가 있는 줄은 알 수 있지만, URL을 입력해 차단되는지 시험하는 기능은 없습니다. URL별 판정은 이 도구나 URL 검사 도구(공개 중인 URL만)로 확인할 수 있습니다.
Allow와 Disallow 모두에 일치하면 어느 쪽이 우선되나요?: Google은 패턴이 가장 긴(구체적인) 규칙을 사용합니다. 예를 들어 “Disallow: /blog/”와 “Allow: /blog/public/”라면 /blog/public/a.html은 더 긴 Allow가 이겨서 허용됩니다. 길이가 같을 때는 Allow(제한이 적은 쪽)를 사용합니다. 작성한 순서는 관계없습니다.
User-agent: * 와 User-agent: Googlebot 을 둘 다 쓰면 어떻게 되나요?: Googlebot은 자기 이름의 그룹만 사용하고 “User-agent: *” 그룹의 규칙은 전혀 사용하지 않습니다. “*”로 차단한 경로를 Googlebot에도 막고 싶다면 Googlebot 그룹에도 같은 Disallow를 써야 합니다.
robots.txt의 * 와 $ 는 무슨 뜻인가요?: “*”는 0자 이상의 아무 문자에나 일치하고, “$”는 패턴의 맨 끝에 놓았을 때만 “URL의 끝”을 의미합니다. “Disallow: /*.pdf$”는 .pdf로 끝나는 URL을 막고, /a.pdf?download=1처럼 뒤에 쿼리가 이어지는 URL은 막지 않습니다. 패턴 끝의 “*”는 의미가 없어서 “/fish*”는 “/fish”와 같습니다.
Disallow: /fish 와 Disallow: /fish/ 는 다른가요?: 다릅니다. “/fish”는 앞부분 일치이므로 /fish.html이나 /fishheads도 막습니다. “/fish/”는 폴더 안만 막고 /fish나 /fish.html은 막지 않습니다.
robots.txt로 차단하면 검색 결과에서 사라지나요?: 사라진다고는 할 수 없습니다. robots.txt는 크롤링을 막을 뿐이어서 다른 페이지에서 링크된 URL은 내용 없이 검색 결과에 나올 수 있습니다. 검색 결과에서 없애려면 페이지에 noindex를 넣고 해당 페이지는 robots.txt로 차단하지 마세요. 차단하면 Googlebot이 noindex를 읽을 수 없습니다.
ChatGPT나 Claude 같은 AI가 사이트를 학습하지 못하게 하려면?: robots.txt에서 OpenAI의 GPTBot, Anthropic의 ClaudeBot, Google의 Google-Extended, Apple의 Applebot-Extended, Common Crawl의 CCBot 등을 “Disallow: /”로 차단합니다. Google-Extended와 Applebot-Extended를 막아도 Google 검색·Apple 검색에서의 표시에는 영향이 없습니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 AI 검색 답변에 쓰는 크롤러이므로 막으면 그 답변에서 소개되기 어려워집니다.
Crawl-delay를 쓰면 Googlebot의 크롤링을 늦출 수 있나요?: 할 수 없습니다. Google은 Crawl-delay를 읽지 않습니다. Googlebot은 서버의 응답 속도와 오류에 맞춰 빈도를 자동으로 조정합니다. Bing과 Yandex는 Crawl-delay를 읽습니다.
일본어 같은 비ASCII URL은 robots.txt에 어떻게 써야 하나요?: “Disallow: /カテゴリ/”처럼 그대로 써도, “Disallow: /%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA/”처럼 %로 인코딩해서 써도 Google은 같은 것으로 취급합니다. 파일은 UTF-8로 저장하세요. 이 도구도 두 가지 쓰기를 같은 URL로 판정합니다.

Special Thanks

SOLO GUILD | サービス作るAIエンジニア

목록으로 돌아가기