robots.txtとは？検索エンジンに読ませる範囲を整理する基本

robots.txtの役割

robots.txtは、検索エンジンのクローラーに対して「どの場所を巡回してよいか、避けてほしいか」を伝えるためのテキストファイルです。

SEO（Search Engine Optimization）では、検索に出したいページを正しく見つけてもらうことが大切です。一方で、管理画面、生成途中のファイル、重複しやすいデータなど、検索に出す必要がない場所もあります。robots.txtは、その整理に使います。

ただし、robots.txtはセキュリティ対策ではありません。見られたくない情報を守る仕組みではなく、あくまでクローラーへの巡回指示です。

noindexとの違い

混同しやすいのが、robots.txtとnoindexです。

「検索に出したくない」だけならnoindex、「そもそも見せたくない」なら認証やアクセス制限を考えるべきです。

よくある設定ミス

robots.txtで怖いのは、意図せず大事なページまで止めてしまうことです。

• 本番公開後も Disallow: / が残っている
• テスト環境の設定を本番に持ち込んでいる
• CSSや画像をブロックして、ページ評価に影響している
• サイトマップの場所を書いていない
• 管理用ファイルをrobots.txtで隠したつもりになっている

特にリニューアル直後は、テスト時の設定が残っていないか確認した方が安全です。

記述例

シンプルな例は次のような形です。

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Sitemap: https://example.com/sitemap.xml

この例では、管理用や一時ファイルの巡回を避け、サイトマップの場所を伝えています。実際にはサイト構成に合わせて調整が必要です。

見直しチェック

• ✓本番サイトで Disallow: / になっていない
• ✓サイトマップのURLが記載されている
• ✓管理画面や一時ファイルを検索させない設計になっている
• ✓見られたくない情報をrobots.txtだけで守ろうとしていない
• ✓リニューアル公開後に設定を再確認している

Revioで確認できること

Revioの簡易サイト診断では、robots.txtの有無を確認できます。あわせて、sitemap.xml、title、description、SSLなど、検索に関わる基本項目も確認できます。

ただし、robots.txtの記述がサイト運用上すべて適切かを完全に判定するものではありません。管理画面、テスト環境、重要ページの除外設定などは、制作会社や管理者による確認が必要です。

AIサイト診断レポートでは、robots.txt単体ではなく、SEO基本やサイト構造の中で、検索に見つけてもらうための情報整理を確認できます。

次に確認すること

robots.txtは、サイトマップとセットで確認します。検索に見つけてほしいページはサイトマップに入れ、巡回させたくない場所はrobots.txtや認証で整理します。公開直後は、Google Search Consoleでクロールエラーやインデックス状況も見ておくと安心です。