baiduspider と robots.txt と .htaccess

最近こなくなったので。
設定がよかったのかしら。

百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。

User-agent: baiduspider
Disallow: /

User-agent: baiduimagespider
Disallow: /
併せて.htaccessに「deny from asianetcom.net」と書いたのがまずかった。



次のコードを.htaccessへ。

<Files robots.txt>
Allow from all
</Files>

これはよくわからないけど「robots.txtだけは誰でも読ませる」という設定らしい。.htaccessで全拒否、つまりrobots.txtを読ませない設定だと百度クローラーは「robots.txt読めないからとりあえず全部アクセスしてみるね」ってことっぽい。

考えてみるとつじつまが合うなぁ・・・
しばらくこれで様子見。

/
Skooler Records

No comments yet

%3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%22%20%76%61%6c%75%65%3d%22%30%30%31%38%35%63%65%64%63%37%38%61%38%37%32%63%30%66%36%34%62%62%32%32%30%33%32%35%37%61%35%34%22%3e %3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%5f%68%61%73%68%22%20%76%61%6c%75%65%3d%22%36%33%37%66%30%62%39%31%39%34%66%34%38%30%30%63%66%36%33%39%36%61%63%35%34%36%62%34%38%66%30%35%22%3e
© 2006 – 2018 by Luvsic. Some rights reserved.