baiduspider と robots.txt と .htaccess

最近こなくなったので。
設定がよかったのかしら。

百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。

User-agent: baiduspider
Disallow: /

User-agent: baiduimagespider
Disallow: /
併せて.htaccessに「deny from asianetcom.net」と書いたのがまずかった。



次のコードを.htaccessへ。

<Files robots.txt>
Allow from all
</Files>

これはよくわからないけど「robots.txtだけは誰でも読ませる」という設定らしい。.htaccessで全拒否、つまりrobots.txtを読ませない設定だと百度クローラーは「robots.txt読めないからとりあえず全部アクセスしてみるね」ってことっぽい。

考えてみるとつじつまが合うなぁ・・・
しばらくこれで様子見。

/
Skooler Records

No comments yet

%3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%22%20%76%61%6c%75%65%3d%22%32%62%39%65%64%35%38%66%64%39%61%38%31%66%65%32%35%65%36%33%36%36%64%63%66%38%32%32%38%35%33%38%22%3e %3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%5f%68%61%73%68%22%20%76%61%6c%75%65%3d%22%64%31%32%62%37%36%38%36%33%66%31%30%30%31%38%31%66%61%34%65%62%34%32%35%39%33%35%34%36%37%66%66%22%3e
© 2006 – 2014 by Luvsic. Some rights reserved.