最新の投稿
- 04/29, 2010
Nucleus用 robots.txt テンプレ
- 毎回、正しいかどうかチェックするのがめんどうなのでテンプレ
ファイル名:robots.txt
半角小文字がルール。違うと読まれないらしい。
Sitemap: https://luvsic.net/sitemap.xml
User-agent: *
Disallow: /action.php?*
Disallow: /index.php?*
User-agent: ...
- 04/08, 2008
baiduspider と robots.txt と .htaccess
- 最近こなくなったので。
設定がよかったのかしら。
百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。
User-agent: baiduspider
Disallow: /
User-agent: baiduimagespider
Disallow: /
併せて.htaccessに「d... [続きを読む]
© 2006 – 2023 by Luvsic. Some rights reserved.