robots.txtにおけるdisallowの必要性やnoindex・nofollowとの違い

みなさんこんにちは！ワトスンです。
今回は、、

といったお悩みにお答えします。

■読んでほしい人
「disallow・noindex・nofollow」の違いがイマイチ理解できていない方/robot.txtの基本的な使い方を理解している方

主に「disallow・noindex・nofollow」の違いや必要性や使う場面を紹介しますが、
robot.txtの基本的な書き方などはご紹介していません。
ご了承ください。

関連記事

[SEO対策の基本]おさえておくべきSEOの基本[初心者向け]

ではさっそく解説していきます。

robots.txtにおけるdisallowの必要性

noindexやnofollowの必要性はある程度理解できているが、disallowの必要性がイマイチ理解できていない方もいると思います。

disallowの必要性やnoindexやnofollowとの違いを理解してもらえたらなと思います。

まずはdisallowの役割・必要性をご紹介します。

disallowの役割

disallowの役割としては、
「クロールをブロックする」
場合に使用します。

disallowを設定することで設定したページやディレクトリはクロールがブロックされ、完全に評価対象から外されます。
disallowを使用するとクロールされないので、もちろん検索結果にも表示されません。

なぜわざわざdisallowを使用する必要があるのか。
その理由はクローラーの巡回頻度や巡回効率にあります。

クローラーがサイト内ページを巡回する際、クロールするページ数が多すぎるとサーバー側に負荷がかかってしまいます。
するとクローラーはサイト側に悪影響が出ないように巡回の頻度を下げていきます。
つまり巡回効率が下がります。

巡回頻度が下げられてしまうとサイト全体の評価が定期的にきちんと行われなくなります。
サイト本来の質を評価をされないことで検索順位にも影響が出てきます。

そのようなことがないために、できるだけSEOに必要のないページにはdisallowを設定します。

例えば、WordPressの管理画面ページなどはクロールされる必要がないためdisallowを設定しておきます。

つまり「検索結果に表示させる必要がない」かつ「ユーザーにも閲覧される必要がない」かつ「評価される必要のない」ページにdisallowを設定しましょう。

disallow・noindex・nofollowの違い

ここからは、disallow・noindex・nofollow３つの違いを紹介していきます。

まずはnoindex・nofollowの役割もご紹介しておこうと思います。

noindexの役割

noindexの役割としては、
「ページを検索エンジンに表示させない」「質の低いページを評価対象から外す」
場合に使用します。

noindexを設定することで検索結果に表示させず、
設定したページを除外してサイト全体の質を評価してもらえます。

サイト内に質が低いページや重複コンテンツなどがあるとサイト全体の質が下がってしまうことがあります。

そのようなものにnoindexを設定してあげることでサイト全体の質を上げることができます。

サイトの価値は量より質です。

例えば、お問い合わせページや404エラーページは基本的に質の高いページとは言えません。WordPressを使用している場合、管理画面は検索結果に表示される必要がなく、できるだけ管理者以外に見せてはいけません。

またカテゴリーページやタグページなども記事一覧ページにあるコンテンツと重複してしまいます。

ですのでこのようなページにnoindexを設定しておくのが一般的です。

必ずしもこのようなページに設定する必要がありません。
サイトによって最適施策というのは異なってきます。
例えば、カテゴリーページにnoindexを設定すべきかなどはそのサイトによって判断が異なります。

nofollowの役割

nofollowの役割としては、
「リンクをたどらせない」「ページランクの受け渡しを拒否する」
場合に使用します。

nofollowを使用することでリンク先ページの評価が自分のサイトの評価に悪影響を及ぼさないようになります。

設置したリンクが悪質なサイトである場合、自分のサイトにもマイナスの評価が引き継がれてしまう場合があります。

例えば、サイト内で

以上のような場合はページ内のリンクをたどられないようにnofollowを設定するのが一般的です。

広告が多すぎるサイトやssl化されていないサイトなどのリンクを貼ってしまっている場合にも使用します。

また、コメント欄に悪質なリンクを貼られて投稿される可能性も考え、コメント欄にもnofollowを設定しておきましょう。

nofollowを設定しておくことでリンク先から自分のサイトに悪影響を及ぼさないようにできます。

また、先ほども解説しましたが、自分でnoindexを設定したページ（質の低いページ）のリンクを貼る際もnofollowを設定しています。

disallowを使う際の注意点

これまでの内容を簡単にまとめると、

disallowの役割は、「クロールをブロックする」

noindexの役割は、「ページを検索エンジンに表示させない」「質の低いページを評価対象から外す」

nofollowの役割は、「リンクをたどらせない」「ページランクの受け渡しを拒否する」

となります。

この3つをよく理解した上でdisallowを使用する際の注意点があります。

その注意点というのが、

ことです。

noindexやnofollowを適用させるためにはクローラーにnoindexやnofollowが設定されていることを確認してもらう必要があります。

disallowが設定されているとクローラーが巡回してこれず確認すらできないため、そもそもnoindexやnofollowが設定されているかどうか確認できない状態になってしまいます。

意外とこのミスをしてしまっている方もいるかと思います。

これまで解説してきた内容をよく理解して、正確な施策を行っていってもらえたらなと思います。

以上で、disallowの必要性やnoindexやnofollowとの違いをご紹介しました。

この３つを上手く活用することでSEO効果を高めていきましょう！

少しでも参考になれば幸いです。。