robots.txtは、Webサイトのルート直下に置くテキストファイルで、検索エンジンのクローラー（サイトを巡回し情報を収集するプログラム）に対して、どのページを読み取ってよいか、読み取らせたくないかを伝えるためのものです。アクセス制限の仕組みではなく、あくまでクローラーへの依頼として機能します。
意味
robots.txtは「robots exclusion protocol（ロボット排除プロトコル）」と呼ばれる取り決めに基づくファイルです。クローラーはサイトを訪れる際、まずこのファイルを確認し、記載された指示に従って巡回範囲を判断します。ただし、強制力のある仕組みではないため、悪意のあるクローラーや一部のプログラムは指示を無視して巡回することもあります。また、robots.txtで巡回を制限しても、他サイトからのリンクなどを通じてページの存在自体がGoogleなどの検索結果に表示される場合があります。ページを検索結果から確実に外したい場合は、noindexタグなど別の方法を組み合わせる必要があります。管理画面や会員専用ページなど、検索エンジンに読み取らせる必要のない領域を指定する目的で使われることが一般的です。
使われる場面と具体例
- Web担当者が、会員専用ページや社内向け管理画面など、検索結果に表示させたくない領域をクローラーの巡回対象から外すために設定します。
- SEO（検索エンジン最適化）を担当する制作会社が、サイトの構造を整理する際に、重複しやすい検索結果ページや一時的なテストページを除外する目的で記述します。
- システム開発会社が、開発中・テスト中のサイトを一般公開前に検索エンジンへ読み取らせないよう、一時的に全体の巡回を制限する際に利用します。
中小企業が押さえたい点
- robots.txtはアクセス制限ではなく、クローラーへの依頼にとどまるため、機密情報の保護には使えないと理解しておく必要があります。
- 設定を誤ると、本来検索結果に表示したい重要なページまで巡回対象から除外してしまう恐れがあるため、変更時は内容の確認が欠かせません。
- Google Search Console（検索結果での表示状況を確認できる無料ツール）などを使い、意図した通りにクローラーが巡回できているか定期的に確認すると安心です。
よくある誤解
- robots.txtで指定すればページが検索結果に絶対表示されなくなる、と考えられがちですが、外部からのリンクなどにより表示される場合があります。
- アクセス制限やセキュリティ対策の一種と誤解されることがありますが、閲覧そのものを防ぐ仕組みではありません。
よくある質問
Q. robots.txtを設置しないとどうなりますか。
A. 設置しなくても問題はなく、クローラーはサイト内を通常どおり巡回します。必要がなければ必ず設置するものではありません。
Q. ページを検索結果から確実に外したい場合はどうすればよいですか。
A. robots.txtではなく、各ページにnoindexタグを設定する方法が適しています。両者は目的が異なります。
Q. robots.txtの内容は誰でも見られますか。
A. はい、URLの末尾に「/robots.txt」を付けるだけで誰でも内容を確認できる公開ファイルです。
関連する用語
関連記事
ほかの用語を探す
