robots.txtとは？書き方とSEO対策での注意点を解説 — HATAORI｜神奈川県秦野市最安値のWebサイト制作とSEO対策

この記事の内容

robots.txtの基本的な役割と、検索エンジンのクロールを制御するしくみがわかります

User-agentやDisallowなど、robots.txtの正しい書き方と基本構文を解説します

noindexタグとの違いや、設定時によくある間違い・注意点についても紹介します

「robots.txtを設定した方がいいと聞いたけれど、何をどう書けばいいのかわからない」「noindexタグとの違いがよくわからない」——Webサイトの運営やSEO対策を担当していると、こうした疑問に直面することは少なくありません。robots.txtは、検索エンジンのクローラーに対してサイト内のどこを巡回してよいかを伝える、シンプルながら重要なファイルです。書き方を誤ると、意図せず重要なページがクロールされなくなってしまう可能性もあります。この記事では、robots.txtの基本的な役割から具体的な書き方、noindexタグとの違い、設置方法や注意点までをわかりやすく解説します。

robots.txtとは？SEOにおける基本的な役割としくみ

robots.txtとは、検索エンジンのクローラー(Googlebotなど)に対して、サイト内のどのディレクトリやページを巡回してよいか、あるいは巡回してほしくないかを伝えるためのテキストファイルです。Webサイトのルートディレクトリ(例:https://example.com/robots.txt)に設置し、クローラーはサイトを訪れる際に、まずこのファイルを確認してからクロールを行います。

robots.txtはあくまで「クロールの可否」をコントロールするものであり、検索結果への表示(インデックス)を直接制御するものではないという点が重要なポイントです。この違いは後述するnoindexタグとの比較でも詳しく取り上げます。

クローラーとrobots.txtの関係

Googleなどの検索エンジンは、膨大な数のWebサイトを定期的に巡回してページ情報を収集しています。この巡回にはサーバーやネットワークのリソースが使われるため、サイト側で「クロールしてほしくない場所」を明示しておくことで、無駄なアクセスを減らし、重要なページへのクロールを優先させる効果が期待できます。特に大規模なサイトでは、管理画面やログイン後のページ、重複コンテンツになりやすい検索結果ページなどをrobots.txtで制御するケースがよく見られます。

robots.txtの設定に迷ったら

設定を誤ると重要なページが検索エンジンに認識されなくなるリスクもあります。自社サイトの構成に合わせた適切な設定でお悩みの際は、お気軽にご相談ください。

お問い合わせ LINE公式

※お見積り・ご相談は無料です

robots.txtの書き方と基本構文を理解する

robots.txtは、いくつかの決まったディレクティブ(命令)を組み合わせて記述します。ここでは基本となる主要なディレクティブを紹介します。

User-agent・Disallow・Allow・Sitemapの意味

User-agent:どのクローラーに向けたルールかを指定します。「*」を指定するとすべてのクローラーが対象になります。
Disallow:クロールを禁止したいディレクトリやページのパスを指定します。
Allow:Disallowで禁止した範囲の中で、例外的にクロールを許可したいパスを指定します。
Sitemap:XMLサイトマップの場所をクローラーに知らせるために記述します。

基本的な記述例は次のようになります。

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

「Disallow: /」とだけ記述するとサイト全体のクロールを禁止してしまうため、公開前のテスト環境で使った設定をそのまま本番環境に反映してしまうミスには注意が必要です。

robots.txtとnoindexタグ・canonicalタグとの違い

robots.txtとよく混同されやすいのが、noindexタグやcanonicalタグです。それぞれ役割が異なるため、目的に応じて正しく使い分ける必要があります。

3つの手法の役割の違い

robots.txt:クローラーによる「巡回」自体を制御する
noindexタグ:クロールは許可しつつ、検索結果への「表示」を制御する
canonicalタグ:重複する複数のURLの中から、評価をまとめたい「正規URL」を指定する

すでに検索エンジンにインデックスされているページをrobots.txtでDisallowにしても、検索結果からすぐには消えない場合がある点には注意が必要です。ページをインデックスから除外したい場合は、noindexタグを使用し、クローラーがそのタグを読み取れるようクロール自体は許可しておく必要があります。

robots.txtの設置方法と確認手順

robots.txtの効果を正しく発揮させるためには、設置場所とファイル形式にも注意が必要です。

ファイルの設置場所

robots.txtは、必ずサイトのルートディレクトリに「robots.txt」というファイル名で設置します。サブディレクトリに置いても認識されないため注意しましょう。WordPressなどのCMSでは、プラグインの設定画面から編集できる場合もあります。

Google Search Consoleでの確認方法

設置後は、意図した通りにファイルが機能しているかを確認しましょう。

ブラウザで「https://自社ドメイン/robots.txt」に直接アクセスし、内容が正しく表示されるか確認する
Google Search Consoleの各種レポートで、意図しないページがクロールされていないか、あるいは必要なページがブロックされていないかを確認する
サイトの構成を変更した際は、robots.txtの内容も合わせて見直す

サイト構成の見直しもあわせてご相談ください

robots.txtの設定はサイト全体の構造と密接に関わります。SEOを踏まえたサイト構成の見直しについても承っておりますので、お気軽にお問い合わせください。

お問い合わせ LINE公式

※お見積り・ご相談は無料です

robots.txt作成時によくある間違いと注意点

robots.txtはシンプルな記述形式である一方、いくつかの典型的な間違いが発生しやすいファイルでもあります。

設定時に注意したいポイント

CSSやJavaScriptファイルを誤ってDisallowしてしまい、検索エンジンがページを正しく描画・評価できなくなる
大文字・小文字の表記ゆれにより、意図したパスが正しく指定できていない
複数のUser-agentやDisallowを記述する際の順序や構文の誤り
本番公開時にテスト環境用の「Disallow: /」の記述を消し忘れる

robots.txtの記述ミスはサイト全体のSEO評価に影響しかねないため、変更を加えた際は必ず内容を見直し、意図した挙動になっているかを確認する習慣をつけましょう。

robots.txtを効果的に活用する場面とは

robots.txtは、次のようなケースで活用されることが多くあります。

会員限定ページや管理画面など、検索エンジンに巡回させる必要のない領域を指定する場合
パラメータ付きURLなど、重複コンテンツになりやすいページ群のクロールを抑制したい場合
大規模サイトで、限られたクロールの機会を重要なページに集中させたい場合

ただし、robots.txtで制御すべきか、noindexタグで制御すべきかは目的によって異なります。自社サイトの状況に応じて、両者を適切に組み合わせることが大切です。

Webサイト制作・SEO対策なら神奈川県秦野市のHATAORIにお任せください

HATAORIは、SEO対策を前提にデザイナーがデザインし、マーケターが戦略的な構造を設計する、集客効果の出るWebサイト制作を専門としています。

「神奈川県秦野市最安値」をコンセプトに、必要な機能に絞った柔軟なプランをご用意。Webサイト制作からSEO対策、広告運用、デジタルマーケティング支援まで、緑豊かな秦野から全国のお客様の集客をサポートしています。お見積り・ご相談は無料です。

robots.txtの設定・SEO対策のご相談はこちら

サイト構成の見直しやSEO対策全般について、専門スタッフが丁寧にサポートいたします。まずはお気軽にご相談ください。

お問い合わせ LINE公式

※お見積り・ご相談は無料です

参考文献

この記事を書いた人

HATAORI

記事の執筆は、Webマーケティング歴10年以上の専門家3名と、Webデザイナー歴15年の経験豊富なメンバーが所属するHATAORI運営事務局が担当しています。Webマーケティングとデザインの両面から、実践的かつ最新の情報をお届けします。神奈川県秦野市を拠点に、実務経験に裏打ちされた多角的な視点で、貴社のWeb集客を力強くサポートいたします。