ページ更新: 2014-02-05 (水) (2210日前)
Linux/robotアクセス制限
- 2003年6月16日当時のお話ですが、お下品なPockey-GetHTMLは、rolots.txtなんて見てくれませんでした。だから、この設定をしても、バリバリ取りに来ます。-- わんこ
- どうもです。Apacheのaccess.logを見ましたところ、Pockey-GetHTML/4.11.4, 4.11.6, 4.12.0 が "GET /robots.txt HTTP/1.1"してました。Disallowを使ってくれているかどうかは、まだ確かめていません。 -- discypus?
- 4.11.6で、robots.txtを持ってった直後に大量(3334hit)にアクセスしてるのが見つかりました。と、いうわけで残念ながら「robots.txtは無視」しているようですね。 -- discypus?
