<meta name="robots">の使い方
http://www.seo-matome.jp/index-control/meta-robots/
<meta name="robots">は<head>内に記述することで検索エンジンにさまざまな指示を与えることができるタグです。大きく分けると、以下のような用途があります。 該当ページのインデックス拒否 該当ページのキャッシュ拒否 該当ページからリンク（PageRank）評価を受け渡すことの拒否 有力ディレクトリ登録文をスニペット（SERPsの説明文）に流用することの拒否 該当ページのインデックス拒否 以下のように記述することで、そのページのインデックスを拒否することができます。 ※このページで記述しているサンプルは全てHTML4.01もしくはHTML5用のものです。サイトのコードがXHTMLの場合は末尾の「>」直前に半角スペースと「/」を追加してください。 <meta name="robots" content="noindex"> 該当ページのキャッシュ拒否 以下のように記述することで、そのページのキャッシュを拒否することができます。ECショップや会員制のサイトでよく使用されます。また、Internet Archiveのようなサービスにキャッシュを取得されたくない場合などに設定すると良いでしょう。 <meta name="robots" content="noarchive"> 該当ページからリンク（PageRank）評価を受け渡すことの拒否 以下のように記述することで、そのページからのリンクを全て評価の対象としないようクローラーに指示することができます。リンクに関しては全て「rel="nofollow"」が記述された状態になるようなものです。 <meta name="robots" content="nofollow"> 有力ディレクトリ登録文をスニペット（SERPsの説明文）に流用することの拒否 GoogleであればDmoz、Yahoo！Japanであればヤフーカテゴリーといった提携ディレクトリ登録サービスから、SERPs（検索結果）<の説明文に文章を引用してくることがあります。それを拒否するための記述です。 Dmoz引用拒否 <meta name="robots" content="noodp"> ヤフーカテゴリー引用拒否 <meta name="robots" content="noydir"> ※2010年のYahoo！JapanによるGoogleアルゴリズム採用以降、ヤフーカテゴリーから説明文が引用されることはほとんどなくなりました。 全ての記述は一行にまとめることができる 例えば、以下のように記述することも可能です。（「noindex」である以上後半二つにあまり意味はありませんが。） <meta name="robots" content="noindex,nofollow,noarchive,noodp,noydir"> 「許可」も記述できるが、デフォルトなので省略すべき noindex,nofollowに関しては「許可する」といった意味合いの記述も可能です。 <meta name="robots" content="index,follow"> もしくは、 <meta name="robots" content="all"> が、これらはデフォルトで「許可」された状態ですので記述する必要はありません。DOCTYPE宣言・<head>内のHTMLソースコードでもお伝えしていますが、無駄な記述は極力避けてシンプルなソースコードを目指しましょう。