robots.txt에 의해 차단됨이라는 서치콘솔 메시지를 처음 봤을 때, 저도 정말 당황했습니다.
이 오류를 방치하면 소중한 페이지가 구글에 아예 노출되지 않아 트래픽 손실이 발생할 수 있습니다. 혹시 지금 같은 문제로 골치 아프시지 않나요?
robots.txt에 의해 차단됨, 원인은?
서치콘솔에서 "robots.txt에 의해 차단됨"이라는 문구가 뜨는 건, 구글 크롤러가 해당 페이지를 크롤링하려 했는데 robots.txt 파일이 접근을 막아버렸기 때문입니다. 쉽게 말하면, 내가 가게 문을 잠가놓았는데 손님이 들어오려다 막힌 것과 비슷합니다.
원인 1. Disallow 규칙이 너무 넓게 설정
robots.txt에 Disallow: / 한 줄만 적어두면 사이트 전체가 차단됩니다. 워드프레스나 블로그스팟 초기 세팅 시 실수로 이렇게 설정하는 경우가 꽤 많습니다.
저도 한 번은 이것 때문에 한 달 내내 색인이 안 됐는데, 알고 보니 딱 한 줄 때문이었습니다.
원인 2. 특정 디렉토리나 파일 경로 오타
경로를 잘못 입력해서 의도치 않은 페이지까지 차단하는 경우입니다.
예를 들어 /category/만 막으려 했는데 슬래시 위치가 틀리면 다른 URL까지 걸릴 수 있습니다. 꼭 소문자와 슬래시 위치를 체크해 보세요.
원인 3. 플러그인 또는 테마 충돌로 자동 생성된 robots.txt
워드프레스 SEO 플러그인이 자동으로 robots.txt를 수정하면서 충돌이 일어나기도 합니다. 2026년 기준으로도 Yoast SEO나 Rank Math처럼 여러 플러그인을 함께 쓸 때 이 문제가 종종 보고됩니다.
원인 4. 개발 환경 설정이 그대로 남은 경우
개발 단계에서 크롤러 접근을 막아놨다가 운영 환경에서 복원을 잊어버리는 경우입니다. 이 역시 아주 흔한 실수입니다. 사이트 이전이나 리뉴얼 후에 꼭 한 번 확인해야 합니다.
| 원인 | 빈도 | 위험도 | 해결 난이도 |
|---|---|---|---|
| Disallow 범위 과다 설정 | 매우 높음 | 🔴 높음 | 쉬움 |
| 경로 오타 | 높음 | 🟠 중간 | 쉬움 |
| 플러그인 충돌 | 중간 | 🟠 중간 | 보통 |
| 개발환경 설정 잔류 | 낮음 | 🔴 높음 | 쉬움 |
robots.txt 차단 오류, 해결 방법
해결 방법은 생각보다 어렵지 않습니다. 저도 처음에는 코드가 무섭게 느껴졌는데, 하나씩 해보니 금방 익숙해졌습니다. 가장 쉬운 방법부터 소개할 테니 순서대로 따라오세요.
해결 1. robots.txt 파일 직접 수정하기
가장 기본적인 방법입니다. 사이트 루트 경로의 robots.txt 파일을 열어 Disallow 항목을 확인하고, 색인되어야 할 페이지가 막혀 있다면 해당 줄을 삭제하거나 수정해 주세요.
구글 서치콘솔의 'robots.txt 테스터' 기능을 활용하면 수정 전에 미리 확인할 수도 있습니다.
해결 2. 서치콘솔 URL 검사 도구로 즉시 재색인 요청
robots.txt를 수정했다면 서치콘솔 URL 검사 도구에서 해당 페이지 주소를 입력하고 "색인 생성 요청" 버튼을 눌러 주세요. 구글이 빠르면 수일 내로 다시 크롤링을 시도합니다.
해결 3. SEO 플러그인 설정 점검 및 초기화
워드프레스 사용자라면 SEO 플러그인 설정에서 robots.txt 관련 옵션을 확인해 보세요.
Yoast나 Rank Math의 경우 설정 메뉴에 robots.txt 편집기가 따로 있으므로, 직접 규칙을 점검하고 불필요한 Disallow를 제거하면 됩니다.
[어느 고수의 한마디] robots.txt 수정 후에는 반드시 구글 서치콘솔의 robots.txt 테스터로 변경 사항을 검증하세요. 수정했다고 자동으로 해결되는 게 아니라, 구글이 다시 크롤링해야 반영됩니다.
해결 4. 특정 페이지만 색인 제외하고 싶을 때 - noindex 태그 활용
모든 페이지를 색인하고 싶지 않은 경우도 있습니다.
예를 들어 로그인 페이지나 내부 관리용 페이지는 굳이 구글에 노출될 필요가 없죠. 이럴 때는 robots.txt 대신 해당 페이지의 HTML <head> 안에 <meta name="robots" content="noindex">를 넣는 것이 더 깔끔합니다.
robots.txt 차단은 크롤링 자체를 막고, noindex는 크롤링은 허용하되 색인만 막기 때문에 용도가 다릅니다.
지인 경험담
30대 직장인 김모 씨는 부업으로 블로그를 운영하다 "robots.txt에 의해 차단됨" 오류를 발견했습니다.
처음엔 대수롭지 않게 여겼는데 2개월 후 확인해 보니 주요 포스트 23개가 구글에 전혀 노출되지 않고 있었습니다. 서치콘솔 robots.txt 테스터로 확인하니 워드프레스 플러그인이 자동으로 Disallow: /2024/ 규칙을 추가해 둔 게 원인이었습니다.
해당 줄을 삭제하고 색인 요청을 했더니 약 3주 만에 트래픽이 42% 회복됐습니다. 다만 이미 차단된 기간이 길어 구글 신뢰도가 떨어진 탓인지 완전 회복까지는 3개월이 걸렸다고 합니다.
결론 및 요약
robots.txt에 의해 차단됨 오류는 원인만 파악하면 대부분 쉽게 해결할 수 있습니다.
오늘 소개한 순서대로, 먼저 robots.txt 파일 직접 확인 → 서치콘솔 URL 검사 도구로 재색인 요청 → SEO 플러그인 설정 점검 → 필요하다면 noindex 태그로 세밀하게 제어하는 방법을 차근차근 시도해 보세요.
저도 이 문제를 겪으면서 정말 많이 배웠습니다. 지금 바로 서치콘솔을 열고 문제가 되는 URL을 확인해 보시기 바랍니다. 여러분의 블로그가 구글에 제대로 노출되는 그날까지, 포기하지 마세요.
