baiduspider と robots.txt と .htaccess

最近こなくなったので。
設定がよかったのかしら。

百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。

User-agent: baiduspider
Disallow: /

User-agent: baiduimagespider
Disallow: /
併せて.htaccessに「deny from asianetcom.net」と書いたのがまずかった。



次のコードを.htaccessへ。

<Files robots.txt>
Allow from all
</Files>

これはよくわからないけど「robots.txtだけは誰でも読ませる」という設定らしい。.htaccessで全拒否、つまりrobots.txtを読ませない設定だと百度クローラーは「robots.txt読めないからとりあえず全部アクセスしてみるね」ってことっぽい。

考えてみるとつじつまが合うなぁ・・・
しばらくこれで様子見。

/
Skooler Records

No comments yet

%3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%22%20%76%61%6c%75%65%3d%22%65%35%34%63%61%30%33%61%63%35%37%36%65%31%39%63%37%62%37%37%37%64%33%31%39%38%30%63%36%66%62%36%22%3e %3c%69%6e%70%75%74%20%74%79%70%65%3d%22%68%69%64%64%65%6e%22%20%6e%61%6d%65%3d%22%6e%70%5f%70%72%6f%74%65%63%74%62%79%6d%64%35%5f%68%61%73%68%22%20%76%61%6c%75%65%3d%22%37%37%37%30%35%37%39%38%62%37%36%37%62%38%31%61%63%35%34%37%30%65%66%34%33%64%39%31%65%31%32%37%22%3e
© 2006 – 2018 by Luvsic. Some rights reserved.