弊社で運用しているWebサイトにおいて、サイトのページがGoogleのインデックスからどんどん外されるという現象が発生しました。
Google Search Consoleでカバレッジを確認すると、次のようにどんどん下がっているのが確認できます。
外されたページの一つに対して、「インデックス登録をリクエスト」を行うと、次のように「URLがGoogleに認識されていません」というエラーが返ってきました。
また、Googleのモバイルフレンドリーテストを試すと、次のようなエラーが返ってきました。
ページにアクセスできません
ページが利用できない、ページが robots.txt によってブロックされているといった理由が考えられます
当該ページは、ブラウザでアクセスをすると問題なく表示できますし、robots.txtは設置していないので不思議でしたが、とりあえずrobots.txtを設置してみるとエラーが解消されました。
色々調べてみると、当サイトでは動的なURLを処理する仕組みが原因で、存在しないファイルにアクセスしようとした際にHTTPステータスコード404ではなく、500を返す状態になっていました。よってGoogleのシステムがrobots.txtを見に行ったときも500が返されていました。
Googleのインデックスへの登録にrobots.txtは必須ではありませんが、その場合はしっかりと404を返す必要があるようです。その他のステータスコードは試していませんが、少なくとも500を返すと、Googleはサイト全体がサーバー内部エラーと判断するのか（または、サイトクロールの可否を判断できないからか）、サイト内の他のページにもアクセスできなくなるように思われます。
