弊社で運用しているWebサイトにおいて、サイトのページがGoogleのインデックスからどんどん外されるという現象が発生しました。

Google Search Consoleでカバレッジを確認すると、次のようにどんどん下がっているのが確認できます。

外されたページの一つに対して、「インデックス登録をリクエスト」を行うと、次のように「URLがGoogleに認識されていません」というエラーが返ってきました。

また、Googleのモバイルフレンドリーテストを試すと、次のようなエラーが返ってきました。

ページにアクセスできません

ページが利用できない、ページが robots.txt によってブロックされているといった理由が考えられます

当該ページは、ブラウザでアクセスをすると問題なく表示できますし、robots.txtは設置していないので不思議でしたが、とりあえずrobots.txtを設置してみるとエラーが解消されました。

色々調べてみると、当サイトでは動的なURLを処理する仕組みが原因で、存在しないファイルにアクセスしようとした際にHTTPステータスコード404ではなく、500を返す状態になっていました。よってGoogleのシステムがrobots.txtを見に行ったときも500が返されていました。

Googleのインデックスへの登録にrobots.txtは必須ではありませんが、その場合はしっかりと404を返す必要があるようです。その他のステータスコードは試していませんが、少なくとも500を返すと、Googleはサイト全体がサーバー内部エラーと判断するのか（または、サイトクロールの可否を判断できないからか）、サイト内の他のページにもアクセスできなくなるように思われます。