SEO

robots.txtにおけるdisallowの必要性やnoindex・nofollowとの違い


 

みなさんこんにちは!ワトスンです。
今回は、、

robots.txtにおけるdisallowの役割やnoindex・nofollowとの違いがわからない

といったお悩みにお答えします。

 

■読んでほしい人
「disallow・noindex・nofollow」の違いがイマイチ理解できていない方/robot.txtの基本的な使い方を理解している方

 

主に「disallow・noindex・nofollow」の違いや必要性や使う場面を紹介しますが、
robot.txtの基本的な書き方などはご紹介していません。
ご了承ください。

 

 

ではさっそく解説していきます。

 

robots.txtにおけるdisallowの必要性

noindexやnofollowの必要性はある程度理解できているが、disallowの必要性がイマイチ理解できていない方もいると思います。

disallowの必要性やnoindexやnofollowとの違いを理解してもらえたらなと思います。

まずはdisallowの役割・必要性をご紹介します。

disallowの役割

disallowの役割としては、
「クロールをブロックする」
場合に使用します。

 

disallowを設定することで設定したページやディレクトリはクロールがブロックされ、完全に評価対象から外されます
disallowを使用するとクロールされないので、もちろん検索結果にも表示されません

 

なぜわざわざdisallowを使用する必要があるのか
その理由はクローラーの巡回頻度や巡回効率にあります。

クローラーがサイト内ページを巡回する際、クロールするページ数が多すぎるとサーバー側に負荷がかかってしまいます。
するとクローラーはサイト側に悪影響が出ないように巡回の頻度を下げていきます。
つまり巡回効率が下がります。

巡回頻度が下げられてしまうとサイト全体の評価が定期的にきちんと行われなくなります。
サイト本来の質を評価をされないことで検索順位にも影響が出てきます

そのようなことがないために、できるだけSEOに必要のないページにはdisallowを設定します。

例えば、WordPressの管理画面ページなどはクロールされる必要がないためdisallowを設定しておきます。

 

つまり「検索結果に表示させる必要がない」かつ「ユーザーにも閲覧される必要がない」かつ「評価される必要のない」ページにdisallowを設定しましょう。

 

disallow・noindex・nofollowの違い

ここからは、disallow・noindex・nofollow3つの違いを紹介していきます。

まずはnoindex・nofollowの役割もご紹介しておこうと思います。

noindexの役割

noindexの役割としては、
「ページを検索エンジンに表示させない」「質の低いページを評価対象から外す」
場合に使用します。

 

noindexを設定することで検索結果に表示させず、
設定したページを除外してサイト全体の質を評価
してもらえます。

サイト内に質が低いページや重複コンテンツなどがあるとサイト全体の質が下がってしまうことがあります。

そのようなものにnoindexを設定してあげることでサイト全体の質を上げることができます。

サイトの価値は量より質です。

 

例えば、お問い合わせページや404エラーページは基本的に質の高いページとは言えません。WordPressを使用している場合、管理画面は検索結果に表示される必要がなく、できるだけ管理者以外に見せてはいけません。

またカテゴリーページやタグページなども記事一覧ページにあるコンテンツと重複してしまいます。

ですのでこのようなページにnoindexを設定しておくのが一般的です。

 

必ずしもこのようなページに設定する必要がありません。
サイトによって最適施策というのは異なってきます
例えば、カテゴリーページにnoindexを設定すべきかなどはそのサイトによって判断が異なります。

イマイチサイトの質が上がっていないなと感じた場合は一度質の低そうなページにnoindexを設定して数ヶ月様子を見てみるのもいいかもしれません。
noindexを設定して逆にサイト全体の質が下がってしまっているようならnoindexを外しましょう。

 

ここが勘違いされやすい

よく勘違いしてる方が多いですが、noindexはインデックスに保存しつつも検索結果には表示しませんがクロールはされます
 

そのため、リンクはたどられるのでページランクの受け渡しはされます
質の低いページのリンクを貼っていると貼ったページ自体の評価も下がるのでできるだけ貼らないように。どうしても貼りたい場合はnofollowを設定しておきましょう。
 

このページランクの受け渡しは、長期間noindexを設定しているとなくなります
長期間noindexを設定しておくとクローラーに”もうこのページは検索に使ってほしくないんだな”と判断され、完全にインデックスから削除されそのリンクをたどらなくなります。
つまり<meta name=”robots” content=”noindex,follow”>は、長期間経つと<meta name=”robots” content=”noindex,nofollow”>と同じになります。

 

nofollowの役割

nofollowの役割としては、
「リンクをたどらせない」「ページランクの受け渡しを拒否する」
場合に使用します。

 

nofollowを使用することでリンク先ページの評価が自分のサイトの評価に悪影響を及ぼさないようになります

設置したリンクが悪質なサイトである場合、自分のサイトにもマイナスの評価が引き継がれてしまう場合があります。

 

例えば、サイト内で

・信頼できないリンクを貼っている(悪質なサイト・評価/質の低いサイトのリンクを貼っている)
・有料リンクを貼っている(お金をもらってリンクを貼ってあげている)

以上のような場合はページ内のリンクをたどられないようにnofollowを設定するのが一般的です。

広告が多すぎるサイトやssl化されていないサイトなどのリンクを貼ってしまっている場合にも使用します。

また、コメント欄に悪質なリンクを貼られて投稿される可能性も考え、コメント欄にもnofollowを設定しておきましょう。

 

nofollowを設定しておくことでリンク先から自分のサイトに悪影響を及ぼさないようにできます。

 

私の場合は記事を公開する際、外部サイトのコンテンツを参考にするために参考サイトのリンクを貼る場合がありますが、そのような場合にその参考サイトの評価がこちらの記事に影響を与えないためにnofollowを設定しています。

また、先ほども解説しましたが、自分でnoindexを設定したページ(質の低いページ)のリンクを貼る際もnofollowを設定しています。

 

disallowを使う際の注意点

これまでの内容を簡単にまとめると、

disallowの役割は、「クロールをブロックする」

noindexの役割は、「ページを検索エンジンに表示させない」「質の低いページを評価対象から外す」

nofollowの役割は、「リンクをたどらせない」「ページランクの受け渡しを拒否する」

となります。

 

この3つをよく理解した上でdisallowを使用する際の注意点があります。

 

その注意点というのが、

noindexやnofollowを使用する際は、disallowを設定しない

ことです。

noindexやnofollowを適用させるためにはクローラーにnoindexやnofollowが設定されていることを確認してもらう必要があります。

disallowが設定されているとクローラーが巡回してこれず確認すらできないため、そもそもnoindexやnofollowが設定されているかどうか確認できない状態になってしまいます。

意外とこのミスをしてしまっている方もいるかと思います。

これまで解説してきた内容をよく理解して、正確な施策を行っていってもらえたらなと思います。

 

以上で、disallowの必要性やnoindexやnofollowとの違いをご紹介しました。

この3つを上手く活用することでSEO効果を高めていきましょう!

少しでも参考になれば幸いです。。

コメントを残す

メールアドレスが公開されることはありません。

関連記事