[mA] myselfArchiver

最新の投稿

04/29, 2010 Nucleus用 robots.txt テンプレ: 毎回、正しいかどうかチェックするのがめんどうなのでテンプレファイル名：robots.txt 半角小文字がルール。違うと読まれないらしい。 Sitemap: https://luvsic.net/sitemap.xml User-agent: * Disallow: /action.php?* Disallow: /index.php?* User-agent: ...
04/08, 2008 baiduspider と robots.txt と .htaccess: 最近こなくなったので。設定がよかったのかしら。百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。 User-agent: baiduspider Disallow: / User-agent: baiduimagespider Disallow: / 併せて.htaccessに「d... [続きを読む]