robots.txt의 User-agent 작성법: *와 Googlebot을 둘 다 쓰면

그룹이란: User-agent 줄과 그 아래의 규칙

robots.txt는 ‘그룹’의 모음입니다. 하나 이상의 User-agent 줄로 시작하고 그 아래에 Allow·Disallow 규칙이 이어지는 덩어리가 하나의 그룹이 됩니다. 규칙 뒤에 다음 User-agent 줄이 나오는 곳부터 새 그룹입니다.

그룹 사이의 빈 줄은 읽기 쉽게 하기 위한 것으로, 없어도 동작합니다. Sitemap 줄은 어느 그룹에도 속하지 않으며 어디에 써도 모든 크롤러에 전달됩니다. User-agent 줄보다 앞에 쓴 Allow·Disallow는 어떤 크롤러에도 쓰이지 않으니 주의하세요.

크롤러가 쓰는 그룹은 하나뿐

크롤러는 robots.txt에서 ‘자기 이름이 적힌 그룹’을 찾고, 있으면 그 그룹의 규칙만 씁니다. 이름 그룹이 없을 때에만 ‘User-agent: *’ 그룹을 씁니다. 두 그룹의 규칙을 합치는 일은 없습니다.

1. 1

   예: *와 Googlebot이 둘 다 있을 때

   ‘User-agent: *’에 Disallow: /private/와 Disallow: /tmp/를, ‘User-agent: Googlebot’에 Disallow: /no-google/만 썼다고 합시다.

2. 2

   Googlebot의 판정

   Googlebot은 자기 그룹만 쓰므로 /no-google/은 차단, /private/와 /tmp/는 허용이 됩니다. *로 막았다고 생각한 페이지가 크롤링되어 버립니다.

3. 3

   Bingbot의 판정

   Bingbot 이름의 그룹은 없으므로 ‘*’를 씁니다. /private/와 /tmp/는 차단, /no-google/은 허용입니다.

4. 4

   고치는 법

   Googlebot 그룹에도 Disallow: /private/와 Disallow: /tmp/를 추가합니다. Googlebot에 따로 처리가 필요 없다면 Googlebot 그룹 자체를 지우고 ‘*’만 남기는 것이 가장 간단합니다.

구글 크롤러의 특별한 처리

구글에는 용도별로 여러 크롤러가 있으며, 그룹을 고르는 방식이 조금씩 다릅니다.

• 이미지 검색에 내보내고 싶지 않은 이미지 폴더가 있다면 ‘User-agent: Googlebot-Image’로 막습니다. 일반 구글 검색의 크롤링에는 영향이 없습니다.
• ‘User-agent: *’에 ‘Disallow: /’를 써도 AdsBot-Google은 멈추지 않습니다. 광고 랜딩 페이지의 품질 검사를 막고 싶을 때만 이름을 씁니다 (보통은 막을 필요가 없습니다).
• AdSense 크롤러를 막으면 광고 내용이 페이지와 잘 맞지 않게 되므로, AdSense를 쓰는 사이트에서는 막지 않는 것이 일반적입니다.
• ‘Googlebot-Images’(s가 붙은)처럼 존재하지 않는 이름을 쓰면 그 그룹은 어떤 크롤러에도 쓰이지 않습니다. 테스터는 이름의 오타도 알려 줍니다.

여러 크롤러를 묶기·같은 이름이 두 번 나올 때

같은 규칙을 여러 크롤러에 쓰고 싶을 때는 User-agent 줄을 이어서 쓰고 그 아래에 규칙을 한 번만 씁니다. AI 크롤러를 한꺼번에 막을 때 자주 쓰는 방법입니다.

같은 이름의 그룹이 robots.txt 안에 두 번 나오면 구글은 두 그룹의 규칙을 합쳐서 씁니다. 하지만 다른 크롤러도 똑같이 읽는다는 보장이 없고 나중에 볼 때 혼란의 원인이 되므로 한곳에 모아 두는 것을 권합니다.

• User-agent 값에는 이름만 씁니다. ‘Googlebot/2.1’이나 브라우저 UA 문자열 전체를 쓰면 앞부분의 이름만 쓰입니다.
• 이름의 대소문자는 구분하지 않습니다.
• 규칙이 한 줄도 없는 그룹의 크롤러는 ‘모두 허용’이 되며 ‘*’의 규칙도 쓰지 않습니다.
• 콜론은 반각 ‘:’로 씁니다. 전각 ‘：’이면 줄이 읽히지 않습니다.

AI 크롤러의 이름과 차단법은 robots.txt로 AI 크롤러 차단하기, 규칙 사이의 우선순위는 Allow와 Disallow의 우선순위에서 설명합니다.

자주 묻는 질문

User-agent: *와 User-agent: Googlebot을 둘 다 쓰면 어떻게 되나요?

Googlebot은 자기 이름 그룹의 규칙만 쓰고 ‘*’ 그룹의 규칙은 쓰지 않습니다. ‘*’로 막은 경로를 Googlebot에도 막고 싶다면 Googlebot 그룹에도 같은 Disallow를 쓰세요.

Googlebot-Image만 차단할 수 있나요?

할 수 있습니다. ‘User-agent: Googlebot-Image’ 그룹에 Disallow를 쓰면 이미지 검색 크롤러만 막을 수 있습니다. 이름 그룹이 없으면 Googlebot-Image는 Googlebot 그룹을 따릅니다.

User-agent: *로 AdsBot-Google도 막히나요?

막히지 않습니다. AdsBot-Google과 AdSense의 Mediapartners-Google은 ‘*’ 그룹을 무시하므로, 막고 싶다면 이름을 써야 합니다.

여러 User-agent에 같은 규칙을 쓰려면?

User-agent 줄을 이어서 쓰고 그 아래에 규칙을 한 번만 씁니다. 예를 들어 ‘User-agent: GPTBot’, ‘User-agent: ClaudeBot’ 두 줄 뒤에 ‘Disallow: /’를 쓰면 둘 다 같은 규칙이 적용됩니다.