baiduspider と robots.txt と .htaccess

最近こなくなったので。
設定がよかったのかしら。

百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。

User-agent: baiduspider
Disallow: /

User-agent: baiduimagespider
Disallow: /
併せて.htaccessに「deny from asianetcom.net」と書いたのがまずかった。



次のコードを.htaccessへ。

<Files robots.txt>
Allow from all
</Files>

これはよくわからないけど「robots.txtだけは誰でも読ませる」という設定らしい。.htaccessで全拒否、つまりrobots.txtを読ませない設定だと百度クローラーは「robots.txt読めないからとりあえず全部アクセスしてみるね」ってことっぽい。

考えてみるとつじつまが合うなぁ・・・
しばらくこれで様子見。

/
Skooler Records

No comments yet

%3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%22%20%76%61%6c%75%65%3d%22%62%31%39%62%65%65%39%63%33%31%33%34%65%61%61%33%65%35%31%32%66%33%66%65%35%63%63%64%38%66%62%66%22%3e %3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%5f%68%61%73%68%22%20%76%61%6c%75%65%3d%22%34%35%34%32%31%61%35%35%31%31%35%39%36%64%31%35%32%63%64%63%34%32%65%66%65%66%64%61%36%34%30%33%22%3e
© 2006 – 2018 by Luvsic. Some rights reserved.