最新の投稿

04/08, 2008
baiduspider と robots.txt と .htaccess
最近こなくなったので。 設定がよかったのかしら。 百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。 User-agent: baiduspider Disallow: / User-agent: baiduimagespider Disallow: / 併せて.htaccessに「d... [続きを読む]
© 2006 – 2019 by Luvsic. Some rights reserved.