Google Search Console에서 색인 요청하는 방법

새 글을 올렸는데 며칠이 지나도 site:도메인에 안 뜨면, 보통 제일 먼저 Search Console을 엽니다. 다만 색인 요청 버튼은 “순위 올리기”가 아닙니다. 구글 쪽에 “이 URL 다시 봐 줘”라고 큐에 넣는 정도예요.

서민혁닷컴도 처음엔 workers.dev에서는 글이 잘 보이는데, 커스텀 도메인만 열면 Cloudflare Managed Challenge가 떠서 HTML이 안 읽히는 상태였습니다. 그 상태로는 Search Console 실제 URL 테스트도, AdsBot 검수도 의미가 없습니다. 색인 요청 전에 브라우저 말고 봇이 본문을 받는지부터 확인하는 습관이 생겼습니다.

요청하기 전에 내가 보는 것

운영 URL을 시크릿 창으로 연다. 200인지, 로그인 벽인지, 프리뷰 주소로 새지 않는지.

그다음 터미널에서 User-Agent만 바꿔 봅니다.

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  https://seominhyuk.com/

응답이 403이고 본문에 Just a moment...가 있으면, Search Console에 아무리 요청해도 허공에 던지는 겁니다. 우리 경우는 Bot Fight Mode(fight_mode)가 켜져 있었고, 끄고 캐시를 비운 뒤에야 AdsBot이 홈·글·sitemap을 200으로 읽었습니다. 자세한 과정은 Cloudflare Bot Fight가 AdsBot을 막던 날에 적어 두었습니다.

추가로 보는 것:

/robots.txt에 Disallow로 /posts/를 막지 않았는지
sitemap에 새 URL이 들어갔는지 (sitemap-index.xml → sitemap-0.xml)
canonical이 workers.dev나 예전 도메인을 가리키지 않는지

URL 검사로 넣는 순서

운영 전체 URL을 브라우저에서 한 번 연다.
Search Console 상단 검사창에 같은 URL을 붙인다.
“실제 URL 테스트”를 먼저 돌린다.
가져오기 성공이면 “색인 생성 요청”.
같은 URL을 하루에도 여러 번 두드리지 않는다.

새 글은 대부분 “아직 등록되지 않음”으로 나옵니다. 요청 접수 후에도 몇 시간~며칠은 흔합니다. 반영이 안 되면 버튼을 더 누르기보다, 위에서 말한 접근성·중복·canonical부터 다시 봅니다.

사이트맵은 따로, 내부 링크는 따로

수동 요청만 믿으면 글이 늘수록 빠집니다. Search Console Sitemaps에 https://seominhyuk.com/sitemap-index.xml을 넣어 두는 편이 덜 불안합니다. 사이트맵 작성 기준은 robots.txt와 sitemap.xml에 모아 두었습니다.

구글은 사이트맵만으로 사이트 구조를 다 이해하지 않습니다. 카테고리 목록이나 관련 글에서 새 포스트로 한 번이라도 링크가 있어야 발견이 쉬워집니다. “여기 클릭”보다 글 제목이 드러나는 앵커가 낫습니다.

자주 헛다리 짚는 경우

배포 직후 바로 요청했다가, CDN에 옛 HTML이 남아 있는 경우. Cloudflare라면 배포 후 한두 분 기다리거나 퍼지한 뒤 검사하는 편이 덜 헷갈립니다.

프리뷰 URL(*.workers.dev의 임시 경로 등)을 검사창에 넣는 경우. 운영 도메인만 Search Console에 두고, 프리뷰는 noindex나 인증으로 막는 쪽이 안전합니다.

“발견됨 - 현재 색인이 생성되지 않음”은 URL을 알지만 아직 안 넣었다는 뜻입니다. 요청 횟수보다 본문 품질·중복·사이트 신뢰 쪽을 손보는 게 맞습니다.

색인과 순위는 다릅니다. 색인은 데이터베이스에 들어갔다는 신호일 뿐이고, 검색 상단은 제목·본문·속도·링크가 따로 경쟁합니다. 새 글을 올릴 때마다 저는 “봇이 200으로 본문을 받는지”만 먼저 확인하고, 그다음에 Search Console 버튼을 누릅니다.