Googleサーチコンソール「インデックス登録リクエストに失敗しました」と表示されるときに対処方法
何週間も前に制作したサイトなのに何故かGoogleで検索してもインデックスすらされていない現象がありました。(2021年6月現在)
サイトの制作環境としては、Wordpressを使わない、素のコーディングで制作したサイトです。
ブラウザではちゃんとサイトが表示されるので、URLのタイプミスとか、そんな次元の話ではないのは明らかでした。
結論: たった3行のrobots.txt を設置する
解決方法は、
robots.txt というファイルを作り、下記の3行を貼り付けて保存して、ルートディレクトリにアップするだけ。意味としては、「どしどしアクセスしてくれよな!」 というニュアンスです。
User-agent: *
Allow: /
Sitemap: https://(あなたのドメイン)/sitemap.xml
再度リクエストする
そして再度、サチコさんの画面からインデックスをリクエストします。
するとすんなりと「受付たので、反映までちょっと時間くれよな!」 といわんばかりの爽やかなメッセージが表示されます。
インデックスされるまで、まちましょう。
参考
この解決方法を検索していると、リクエストができない「原因」として、robots.txt があるから、という解説が結構でてきます。
私がそうだったのですが、「そういうファイルは作ってないから関係ないや」と思い込み、robots.txt がどうのこうの、という記事が色々なサイトで出てきてもスルーしていました。
それらの記事の意図するものは、robots.txtに「アクセスは許さねぇ」という意味の記述(Disallow)をあんたが書いてサーバーにアップしてGoogleを拒否ってんじゃね? 的な話の展開のものでした。
しかし、私がはまっていた問題はそうではなく、
さらにそもそも論で、アクセス拒否をするような表明を一切してなくても、
「まずは、あんたがアクセスを"許可"(Allow)しない限り、いくらリクエストしてもGoogleは来ねぇ」
なんていうまさかの状況になっていたわけです。
つまり、デフォルトは拒否、と。
robots.txtに関する多くの記事で、「Allowの記述はいらない」というのが多く、中には「書いてたら素人」とまでの言われようです。
しかし、必ずしも、そういうことではないようです。
詳しいことはわかりません。
ただ、事象の解決事例として、私の今回のケースでは、何日も解決できずにはまっていたが、
たった3行のrobots.txtを設置するだけで秒で解決したというお話です。
以上、誰かの問題解決の参考になれば幸いです。