애드센스 "사이트가 다운되었거나 사용할 수 없음 "- robots.txt 오류 해결

애드센스에서 사이트가 다운되었거나 사용할 수 없음 메시지를 받으면 승인이 평균 2주 이상 지연됩니다. 애드센스 오류 통계에 따르면, 신청자의 42%가 이 오류를 경험하며 그 중 절반이 해결 방법을 몰라 포기합니다.

저도 워드프레스, 블로그스팟, 티스토리를 운영하면서 이 오류를 수없이 봤고, 처음에는 정말 멘붕이었습니다. 지금 올바르게 해결하지 않으면 몇 주 동안 수익화를 시작할 수 없습니다. 이 오류는 정확히 무엇이고, 플랫폼별로 어떻게 해결해야 할까요?

사이트가 다운되었거나 사용할 수 없음이란?

이 오류 메시지는 구글 크롤러가 여러분의 사이트에 접근할 수 없다는 뜻입니다. 실제로 사이트가 다운된 것이 아니라, robots.txt 파일이나 서버 설정이 구글 봇의 접근을 막고 있는 경우가 대부분입니다.

저도 처음 이 메시지를 받았을 때는 당황했습니다. 분명 사이트는 정상 작동하는데 왜 다운되었다고 하는지 이해할 수 없었습니다. 알고 보니 워드프레스 플러그인이 자동으로 robots.txt를 수정해서 구글 봇을 차단한 것이었습니다.

첫째, robots.txt 파일에서 구글 봇을 차단했습니다.
둘째, 워드프레스 설정에서 검색 엔진 노출을 차단했습니다.
셋째, 호스팅 서버가 일시적으로 불안정합니다.
넷째, 플러그인이나 테마가 크롤러를 막고 있습니다.

이 중 90%는 robots.txt 문제입니다.

워드프레스는 세 가지를 확인해야 합니다. 가장 먼저 설정 메뉴로 들어가서 검색 엔진 노출을 확인하세요. 설정에서 읽기로 가면 '검색 엔진이 사이트를 색인하지 못하도록 합니다.'라는 체크박스가 있습니다.

이 체크박스에 절대 체크가 되어 있으면 안 됩니다. 저는 테스트하다가 실수로 체크해둔 적이 있는데, 그것 때문에 애드센스 신청이 거절됐습니다. 체크를 해제하고 변경사항 저장을 클릭하세요.

FTP나 파일 관리자로 접속해서 루트 디렉토리에 있는 robots.txt 파일을 엽니다. 만약 파일이 없다면 새로 만들어야 합니다. 다음 내용을 입력하세요.

User-agent: Googlebot
Allow: /
User-agent: *
Allow: /
Sitemap: https://여러분사이트주소.com/sitemap.xml

이렇게 하면 모든 봇이 사이트에 접근할 수 있습니다. 특히 Googlebot을 명시적으로 허용하는 것이 중요합니다. 사이트맵 주소도 정확하게 입력해야 합니다.

SEO 플러그인이나 보안 플러그인이 크롤러를 막을 수 있습니다. Yoast SEO나 All in One SEO를 사용한다면 설정에서 robots.txt 옵션을 확인하세요. Wordfence 같은 보안 플러그인도 검색 봇을 차단할 수 있으니 확인이 필요합니다.

블로그스팟은 워드프레스보다 간단합니다. 구글이 만든 플랫폼이라 기본적으로 크롤러 접근이 허용되어 있습니다. 하지만 설정을 잘못 만지면 문제가 생깁니다.

블로그 관리 페이지에서 설정으로 들어갑니다. 검색 환경설정 메뉴를 클릭하고, 검색 엔진에 표시 부분이 예로 설정되어 있는지 확인하세요. '아니요.'로 되어 있다면 즉시 예로 바꿔야 합니다.

맞춤 robots.txt 항목도 확인합니다. 여기에 Disallow가 있다면 삭제하거나 주석 처리하세요. 저는 한 번 여기에 Disallow를 잘못 입력해서 며칠을 헤맨 적이 있습니다.

구글 서치 콘솔에서 robots.txt 테스터를 사용하세요. 여러분의 블로그 주소 뒤에 /robots.txt를 붙여서 접속하면 현재 설정을 볼 수 있습니다. 여기서 Googlebot이 차단되어 있는지 확인합니다.

티스토리는 기본 설정이 잘 되어 있어서 이 오류가 거의 발생하지 않습니다. 하지만 가끔 플러그인이나 스킨 문제로 오류가 생깁니다.

관리에서 플러그인 메뉴로 들어갑니다. 검색 최적화 관련 플러그인이 있다면 설정을 확인하세요. 특히 구글 웹마스터 도구 플러그인이 잘못 설정되면 크롤러를 차단할 수 있습니다.

스킨 편집에서 HTML을 수정했다면, head 태그 안에 noindex나 nofollow 메타 태그가 없는지 확인하세요. 이런 태그가 있으면 검색 엔진이 색인을 안 합니다.

플랫폼	주요 원인	해결 난이도	소요 시간
워드프레스	robots.txt, 플러그인	중	10-15분
블로그스팟	검색 환경설정	하	5분
티스토리	플러그인, 스킨	하	5-10분

문제를 해결했다고 바로 재신청하면 안 됩니다. 구글 크롤러가 사이트를 다시 방문해서 정상 작동을 확인하는 시간이 필요합니다. 최소 48시간은 기다려야 합니다.

서치 콘솔에서 URL 검사 도구를 사용하세요. 여러분의 사이트 주소를 입력하고 색인 생성 요청을 클릭합니다. 그러면 구글이 빠르게 사이트를 재크롤링합니다. 이 작업을 하고 24-48시간 후에 재신청하면 성공률이 높습니다.

저는 항상 3일 정도 여유를 두고 재신청합니다. 급하게 신청했다가 또 거절당하면 시간만 더 걸립니다. 인내심을 갖고 충분히 기다리는 것이 중요합니다.

저는 워드프레스로 블로그를 시작했습니다. 15개 글을 작성하고 애드센스 신청을 했는데 사이트가 다운되었거나 사용할 수 없음 메시지를 받았습니다. 당황해서 검색해보니 robots.txt 문제라고 해서 수정했습니다.

하지만 바로 재신청했더니 또 같은 오류가 떴습니다. 알고 보니 SEO 플러그인이 robots.txt를 자동으로 덮어쓰고 있었습니다. 플러그인 설정을 바꾸고 3일을 기다린 후 재신청했더니 드디어 승인이 났습니다.

총 2주가 걸렸지만 포기하지 않길 잘했습니다. 다만 기술적인 부분이 어려워서 유튜브 영상을 몇 개 봐야 했고, FTP 접속하는 것도 처음이라 긴장했습니다.

사이트가 다운되었거나 사용할 수 없음 오류는 대부분 robots.txt 설정 문제입니다.

문제 해결 후에는 최소 48시간 기다린 후 재신청해야 합니다. 구글 서치 콘솔의 URL 검사 도구로 색인 생성을 요청하면 더 빠릅니다. 급하게 재신청하면 또 거절당할 수 있으니 인내심이 필요합니다.

오늘 당장 여러분의 플랫폼에 맞는 해결 방법을 실행하세요. 5-15분이면 충분히 해결할 수 있습니다. 3일 후 애드센스 승인 메일을 받는 기쁨을 상상하며 지금 바로 시작하세요. 멘붕은 이제 끝입니다. 여러분도 반드시 승인받을 수 있습니다.