ページ更新: 2014-02-05 (水) (1931日前)

Linux/robotアクセス制限

  • 2003年6月16日当時のお話ですが、お下品なPockey-GetHTMLは、rolots.txtなんて見てくれませんでした。だから、この設定をしても、バリバリ取りに来ます。-- わんこ 2004-04-16 (金) 00:28:51
    • どうもです。Apacheのaccess.logを見ましたところ、Pockey-GetHTML/4.11.4, 4.11.6, 4.12.0 が "GET /robots.txt HTTP/1.1"してました。Disallowを使ってくれているかどうかは、まだ確かめていません。 -- discypus? 2004-04-17 (土) 13:48:31
    • 4.11.6で、robots.txtを持ってった直後に大量(3334hit)にアクセスしてるのが見つかりました。と、いうわけで残念ながら「robots.txtは無視」しているようですね。 -- discypus? 2004-04-17 (土) 14:00:15