Meine Website wird von Google Webspiders erstellt. Google kann meine Website gerne indizieren, aber manchmal wird eine Tagcloud auf meiner Website schneller abgefragt, als mein Webserver die Ergebnisse liefern kann, sodass meinem Webserver die Ressourcen ausgehen.
Wie kann ich den Zugriff auf meinen Webserver so einschränken, dass normale Besucher nicht betroffen sind?
robots.txt ist keine Option, da dadurch die Indizierung der gesamten Site blockiert wird.
iptables -m recent
ist schwierig, da einige Seiten viele Bilder oder andere Datendateien enthalten und auch "aktuelle" Trigger auf diesen (normalerweise mein RSS-Aggregator, Laden von Bildern und Feeds).
iptables -m limit
hat den gleichen Nachteil und außerdem konnte ich nicht pro IP-Quelladresse selektiv sein.
Wie kann ich Besucher begrenzen, die dazu führen, dass meine Serverlast zu hoch steigt?
Ich verwende Apache2 auf einem Ubuntu-Server in einer VirtualBox-VM.
quelle
Antworten:
Probieren Sie das Apache-Modul mod_qos aus . Die aktuelle Version verfügt über die folgenden Steuerungsmechanismen.
Diese Beispiel-Bedingungsregel aus der Dokumentation soll Sie in die richtige Richtung bringen.
quelle