Nucleus用 robots.txt テンプレ
- 投稿日 : 2010-04-29, 07:55
- 最終更新日時 : 2011-01-15 09:26:32(履歴)
- タグ(robots.txt / SEO)
- カテゴリ(Nucleus)
- 記し人(luvsic)[PDF]
- 閲覧数(2971)
毎回、正しいかどうかチェックするのがめんどうなのでテンプレ
ファイル名:robots.txt
半角小文字がルール。違うと読まれないらしい。
Sitemap: https://luvsic.net/sitemap.xml
User-agent: *
Disallow: /action.php?*
Disallow: /index.php?*
User-agent: Googlebot
Noindex: /action.php?*
Noindex: /index.php?*
1行目「Sitemap~」は、そのサイトのサイトマップを認識させる。
Sitemaps.org形式のXMLサイトマップ形式であること。
3・4行目「User-agent: *」の部分はすべてのクローラに対して行う指定。
Nucleusの初期ファイルでは「/action.php?*」のみがDisallowとなっている。
URL系(NP_customUrlやfancyurls-2等)の実装時のみ、上記サンプルのように「index.php?*」もDisallowするといい。
6・7行目「User-agent: Googlebot」は、グーグルのクローラにのみ対して行う指定。
- Disallow・・・アクセスを禁止する
(他サイトからリンクを張られたりするとインデックスする可能性有) - Noindex・・・インデックスを禁止する
Noindexは今日現在、Googleしか対応していない。
よってrobots.txtではUser-agentを個別指定で行う。
robots.txt 番外編
ウェブ魚拓を拒否する
User-agent: Megalodon
Disallow: /
インターネットアーカイブを拒否する
User-agent: ia_archiver
Disallow: /
No comments yet