baiduspider と robots.txt と .htaccess

最近こなくなったので。
設定がよかったのかしら。

百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。

User-agent: baiduspider
Disallow: /

User-agent: baiduimagespider
Disallow: /
併せて.htaccessに「deny from asianetcom.net」と書いたのがまずかった。



次のコードを.htaccessへ。

<Files robots.txt>
Allow from all
</Files>

これはよくわからないけど「robots.txtだけは誰でも読ませる」という設定らしい。.htaccessで全拒否、つまりrobots.txtを読ませない設定だと百度クローラーは「robots.txt読めないからとりあえず全部アクセスしてみるね」ってことっぽい。

考えてみるとつじつまが合うなぁ・・・
しばらくこれで様子見。

/
Skooler Records

No comments yet

%3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%22%20%76%61%6c%75%65%3d%22%62%33%32%37%39%32%63%34%35%32%62%30%34%30%30%66%30%37%64%35%35%64%38%37%62%39%62%32%64%63%63%33%22%3e %3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%5f%68%61%73%68%22%20%76%61%6c%75%65%3d%22%33%31%31%30%32%32%61%39%37%62%39%33%34%34%66%32%36%39%30%61%32%62%31%66%39%62%35%35%39%32%39%37%22%3e
© 2006 – 2019 by Luvsic. Some rights reserved.