robots.txt와 noindex의 차이: 검색 결과에서 지우는 올바른 방법
‘robots.txt로 막았는데 검색 결과에 나온다’, ‘Search Console에 robots.txt에 의해 차단되었지만 색인이 생성됨이라고 뜬다’. 이런 고민의 대부분은 robots.txt와 noindex의 역할을 헷갈린 데서 옵니다. 이 글에서는 크롤링과 색인의 차이, 검색 결과에서 지우고 싶을 때의 올바른 순서, robots.txt의 Noindex·Crawl-delay가 듣지 않는 이유, Search Console에서 자주 보는 메시지와 잘못 쓴 부분 고치는 법을 정리합니다.
크롤링을 막는 robots.txt, 색인을 막는 noindex
검색엔진이 페이지를 검색 결과에 내보내기까지는 페이지를 가져가는 ‘크롤링’과 내용을 검색용 데이터베이스에 등록하는 ‘색인’의 두 단계가 있습니다. robots.txt가 막는 것은 앞의 크롤링이고, noindex가 막는 것은 뒤의 색인입니다.
| robots.txt의 Disallow | noindex (meta 태그·X-Robots-Tag) | |
|---|---|---|
| 막는 것 | 크롤링 (페이지 수집) | 색인 (검색 결과 노출) |
| 쓰는 곳 | 사이트의 /robots.txt | 각 페이지 HTML의 head 또는 HTTP 헤더 |
| 검색 결과에 나오나 | 다른 곳에서 링크되면 URL만 나올 수 있음 | 크롤링된 뒤 나오지 않게 됨 |
| 알맞은 용도 | 사이트 내 검색 결과·매개변수 URL 등 쓸데없는 크롤링 줄이기 | 회원 페이지·완료 페이지·중복 페이지를 검색 결과에서 빼기 |
| PDF·이미지 | 경로로 막을 수 있음 | X-Robots-Tag 헤더로 지정 |
robots.txt로 막은 페이지라도 다른 페이지에서 링크되어 있으면 구글은 ‘그런 URL이 있다’는 사실은 알고 있습니다. 그래서 내용을 읽지 않은 채 설명문 없는 상태로 검색 결과에 나올 수 있습니다. 이것이 ‘막았는데 검색에 나오는’ 이유입니다.
검색 결과에서 지우고 싶을 때의 올바른 순서
- 1
robots.txt 차단을 푼다
noindex는 구글이 페이지를 크롤링해야 비로소 읽을 수 있습니다. robots.txt로 막아 둔 채라면 noindex가 계속 읽히지 않아 검색 결과에 남아 있게 됩니다. 먼저 테스터로 그 페이지가 Googlebot에 ‘허용’인지 확인하세요.
- 2
페이지에 noindex를 넣는다
HTML의 head에 <meta name="robots" content="noindex">를 넣습니다. PDF나 이미지처럼 HTML이 아닌 파일은 서버 설정에서 X-Robots-Tag: noindex 헤더를 반환합니다.
- 3
재크롤링을 기다리거나 요청한다
Search Console의 URL 검사 도구에서 색인 생성을 요청하면 더 빨리 읽히기 쉽습니다. 페이지가 많을 때는 사이트맵에 잠시 남겨 두면 크롤링되기 쉬워집니다.
- 4
사라진 것을 확인한 뒤, 필요하면 robots.txt로 막는다
검색 결과에서 사라진 뒤 크롤링 부담까지 줄이고 싶다면 robots.txt로 막습니다. 단, 막은 뒤에는 noindex가 읽히지 않으므로 다른 곳에서 링크되면 URL만 다시 나올 수 있습니다. 기본적으로는 noindex만 두는 것을 권합니다.
Search Console에서 자주 보는 메시지와 대처
| 메시지 | 의미 | 대처 |
|---|---|---|
| robots.txt에 의해 차단되었지만 색인이 생성됨 | 크롤링은 막혀 있지만 링크 등을 통해 URL이 등록됨 | 검색에 내보내기 싫으면 차단을 풀고 noindex. 내보내고 싶으면 차단을 푼다 |
| robots.txt에 의해 차단됨 | 크롤링이 막혀 있고 색인도 되지 않음 | 의도한 것이면 대처 불필요. 노출하고 싶은 페이지라면 해당 Disallow를 지운다 |
| 제출된 URL이 robots.txt에 의해 차단됨 | 사이트맵에 넣은 URL을 robots.txt로 막고 있음 | 사이트맵에서 빼거나 차단을 푼다 |
| ‘noindex’ 태그에 의해 제외됨 | noindex가 읽혀 검색 결과에서 빠짐 | 의도한 것이면 대처 불필요 |
어느 Disallow 줄이 원인인지는 Search Console에 표시되지 않습니다. 해당 URL을 테스터에 넣고 Googlebot으로 판정하면 결과를 결정한 규칙의 줄 번호를 알 수 있습니다. 수정한 뒤 반영되기까지의 흐름은 robots.txt 확인 방법을 참고하세요.
robots.txt의 Noindex·Crawl-delay는 구글에 듣지 않는다
- Noindex: 예전에는 robots.txt의 ‘Noindex: /old/’가 비공식적으로 읽혔지만, 구글은 2019년 9월 1일에 지원을 끝냈습니다. 지금은 써도 무시됩니다. 페이지의 meta 태그나 X-Robots-Tag를 쓰세요.
- Crawl-delay: 구글은 읽지 않습니다. Googlebot은 서버의 응답 속도와 오류를 보고 크롤링 빈도를 자동으로 조절합니다. Bing과 Yandex는 Crawl-delay를 읽습니다.
- Host·Clean-param: Yandex만 쓰는 항목으로, 구글·Bing은 읽지 않습니다.
- Sitemap: 구글도 읽습니다. 단, ‘Sitemap: /sitemap.xml’처럼 경로만 쓰면 읽히지 않으므로 https://로 시작하는 전체 URL로 써야 합니다.
Googlebot의 크롤링이 너무 많아 서버가 무거울 때는 일시적으로 503이나 429 상태를 반환하면 구글이 크롤링을 줄입니다. 다만 오래 계속하면 크롤링 대상에서 점점 빠지므로 며칠 안에 되돌리는 것이 기준입니다.
자주 하는 작성 실수와 고치는 법
| 잘못된 예 | 결과 | 올바른 작성법 |
|---|---|---|
| User-agent：* (전각 콜론) | 줄이 읽히지 않음 | User-agent: * |
| Disallow: https://example.com/secret/ | URL이 아니라 경로를 써야 하므로 일치하지 않음 | Disallow: /secret/ |
| Disallow: private/ | /로 시작하지 않아 어디에도 일치하지 않음 | Disallow: /private/ |
| 맨 앞에 Disallow: /admin/ (User-agent보다 앞) | 어떤 크롤러에도 쓰이지 않음 | 위에 User-agent: *를 쓴다 |
| User-agent: Googlebot-Images | 존재하지 않는 이름이라 쓰이지 않음 | User-agent: Googlebot-Image |
| Noindex: /old/ | 구글이 무시함 | 페이지의 meta robots에 noindex |
| Sitemap: /sitemap.xml | 읽히지 않음 | Sitemap: https://example.com/sitemap.xml |
테스터의 샘플 ‘실수하기 쉬운 작성법’에는 이 실수들이 한데 들어 있습니다. 불러와서 ‘작성법 검사’를 보면 각 줄이 어떻게 읽히는지 확인할 수 있습니다. 와일드카드 작성법은 Allow와 Disallow의 우선순위와 * $의 의미, AI 크롤러 차단법은 robots.txt로 AI 크롤러 차단하기에서 설명합니다.
자주 묻는 질문
- robots.txt로 막으면 검색 결과에서 사라지나요?
- 꼭 그렇지는 않습니다. robots.txt는 크롤링만 막기 때문에, 다른 페이지에서 링크된 URL은 설명문 없이 검색 결과에 나올 수 있습니다. 지우고 싶다면 차단을 풀고 페이지에 noindex를 넣으세요.
- robots.txt와 noindex를 함께 써도 되나요?
- 같은 페이지에 둘 다 쓰면 robots.txt 때문에 구글이 noindex를 읽지 못해 noindex가 듣지 않습니다. 검색 결과에서 빼고 싶은 페이지는 robots.txt로 막지 말고 noindex만 쓰세요.
- robots.txt에 Noindex라고 쓰면 어떻게 되나요?
- 구글은 2019년 9월 1일에 지원을 끝냈으므로 아무 일도 일어나지 않습니다. 페이지의 meta 태그(<meta name="robots" content="noindex">)나 X-Robots-Tag 헤더를 쓰세요.
- ‘robots.txt에 의해 차단되었지만 색인이 생성됨’은 고쳐야 하나요?
- 그 페이지를 검색 결과에 내보내고 싶다면 robots.txt 차단을 풉니다. 내보내기 싫다면 차단을 풀고 noindex를 넣습니다. 둘 다 하지 않고 두면 설명문 없는 상태로 검색 결과에 계속 나올 수 있습니다.
이 글에서 소개한 도구
함께 읽으면 좋은 글
robots.txt 확인 방법: 테스터가 없어진 뒤 차단을 알아보는 순서
Google Search Console에 있던 robots.txt 테스터는 2023년 12월에 제공이 끝나 지금은 ‘robots.txt 보고서’로 바뀌었습니다. 보고서에서는 ‘URL을 넣고 차단되는지 시험하기’를 할 수 없어서 ‘어디서 확인해야 하지?’ 하고 헤매는 사람이 늘었습니다. 이 글에서는 robots.txt를 두는 곳과 여는 법, Search Console 보고서와 URL 검사 도구로 알 수 있는 것·알 수 없는 것, 테스터로 URL별 판정을 확인하는 순서, 수정한 뒤 반영되기까지의 흐름을 정리합니다.
글 읽기 →robots.txt의 User-agent 작성법: *와 Googlebot을 둘 다 쓰면
robots.txt에 ‘User-agent: *’ 그룹과 ‘User-agent: Googlebot’ 그룹을 둘 다 쓰면 Googlebot은 ‘*’의 규칙을 쓰지 않게 됩니다. 이것을 모르고 Googlebot용 그룹을 추가했다가 막아 두었던 페이지가 크롤링되기 시작하는 문제가 흔합니다. 이 글에서는 크롤러가 어느 그룹을 쓰는지 정해지는 방식, Googlebot-Image나 AdsBot-Google 같은 특별한 경우, 그룹 묶는 법과 잘못 쓰기 쉬운 점을 설명합니다.
글 읽기 →robots.txt로 AI 크롤러 차단하기: GPTBot·ClaudeBot
내 사이트의 글이나 이미지가 AI 학습에 쓰이는 것을 원하지 않는 운영자가 늘고 있습니다. robots.txt에 AI 크롤러의 이름을 적으면 각 회사의 크롤러에 수집을 멈춰 달라고 알릴 수 있습니다. 다만 AI 크롤러에는 ‘학습용’, ‘AI 검색용’, ‘사용자 요청으로 여는 것’이 있어서 어느 것을 막느냐에 따라 영향이 크게 달라집니다. 이 글에서는 주요 AI 크롤러의 이름과 역할, 목적별 robots.txt 작성법, 차단할 때의 주의점을 정리합니다.
글 읽기 →