robots metaタグとは、検索エンジンのロボット、クローラの動きを制御する働きをするタグです。 ここでは、よく使われることの多いnoindex,nofollowの使い方について説明していきます。
noindexタグはページを検索結果に表示させたくない場合に使い、表示させたくないページの<head>内に記述します。 <meta name=”robots” content=”noindex”> noindexタグを設置することによって、クローラにこのページはインデックス化しないでほしい、と指示を与えます。そのため、このタグが設置されたページは検索結果に表示されることがありません。 ただし、検索結果に表示されないだけでクロールはされるため、サイトの評価ならびにPageRankも渡ります。 確認・完了画面、ショッピングカート画面、ミラーページなどに使うことによって、必要ないページを検索結果に表示することを防ぎます。 重複コンテンツとして認識してほしくないページに使うことで検索結果に表示されず、重複コンテンツとして扱われないため、重複コンテンツへの対処方法の一つとして使われることもあります。 noindexタグを設置しているページをrobots.txtでブロックしないようにしましょう。 robots.txtでブロックしてしまうとクローラはそのページをクロールできず、noindexタグを認識できません。複数の他サイトからそのページにリンクされている場合、引き続き検索結果に表示されてしまうことがあります。 これについての詳細はrobots.txtとの違いについてに記述します。 また、わずかな場合ではありますが、クローラがnoindexタグを見落とす可能性もあります。 noindexタグを使用しているにも関わらずいつまでたっても検索結果に表示される場合は、Googleにページを再クロールしてもらうよう依頼しましょう。
nofollowタグはクロールしてほしくないリンク先を設定できます。ページ全てのリンク先をクロールさせたくない場合は<head>内に記述します。 <meta name=”robots” content=”nofollow”> ページ全てのリンクではなく、特定のリンク先のみをクロールさせたくない場合は<a>タグ内に記述します。 <a rel=”nofollow” href=””> リンク先をクロールさせないため、nofollowを設置したページ内サイトへのリンク先にはPageRankが渡りません。そのページに渡るはずだったPageRankは消滅します。 信用できないサイトや、コメント欄などで貼られるリンクがスパムサイトだった場合、そのページの評価をあげる手助けをしないように、<a>タグに自動的に付与するようにしたり、確認・完了画面といった、クロールされたくない又はされる必要のない場合に使用します。 nofollowを設置することでクロールされなくなるため、検索結果に表示されないと思われがちですが、あくまで設置されたページからのクロールを拒否しているだけなので、他サイトからリンクが貼られていたりする場合には当然クロールされ、検索結果に表示されます。 リンク先のサイト内ページを検索結果に表示したくない場合はリンク先ページにnoindexタグを設置してください。
robots.txtとはユーザーページや自動生成ページといった、クロールしてほしくないページへのクロールを制御するものです。 robots.txtでDisallow:と記述することによって、Disallow:の後ろに記載されているディレクトリへのクロールをブロックします。 そのため、インデックスされず、検索結果にも表示されません。ただし、そのページへ複数のサイトからリンクが貼られている場合、多くのサイトに貼られているリンクとして評価され、貼られているURLだけを検索結果として表示される可能性があります。 サイトをクロールしているわけではないので、タイトルやディスクリプションは表示されません。 「この結果の説明は、このサイトの robots.txt により表示されません」と表示されます。 noindexタグの説明の際にも述べましたが、noindexタグとrobots.txtを併用すると、検索結果に表示される可能性があるため、完全に検索結果に表示させたくない場合はnoindexタグを使いましょう。 また、robots.txtでブロックしているページが被リンクを獲得してもクローラをブロックしているためPageRankの受け渡しができませんが、noindexタグが記述されている場合は、クロールはされているのでPageRankの受け渡しが行われる、というのもnoindexタグとの違いの一つです。
