Ich habe herausgefunden, dass McAfee SiteAdvisor meine Website als "möglicherweise sicherheitsrelevant" gemeldet hat . Es ist mir egal, was McAfee von meiner Website hält (ich kann sie selbst sichern, und wenn nicht, ist McAfee definitiv nicht das Unternehmen, das ich um Hilfe bitten würde, vielen...
Wie gehen große Websites (z. B. Wikipedia) mit Bots um, die sich hinter anderen IP-Maskern befinden? An meiner Universität durchsucht zum Beispiel jeder Wikipedia, wodurch es eine erhebliche Belastung darstellt. Soweit ich weiß, kann Wikipedia jedoch nur die IP des Uni-Routers kennen. Wenn ich also...
Ich habe ein Problem mit einer bestimmten Person, die meine Website immer wieder aggressiv abkratzt. Verschwendung von Bandbreite und CPU-Ressourcen. Ich habe bereits ein System implementiert, das meine Webserver-Zugriffsprotokolle abschließt, jede neue IP zu einer Datenbank hinzufügt, die Anzahl...
Ich habe Apache vor einiger Zeit installiert, und ein kurzer Blick auf mein access.log zeigt, dass alle Arten von unbekannten IPs eine Verbindung herstellen, meist mit den Statuscodes 403, 404, 400, 408. Ich habe keine Ahnung, wie sie gefunden werden meine IP, weil ich sie nur für den persönlichen...
Wenn ich möchte, dass meine Hauptwebsite in Suchmaschinen angezeigt wird, aber keine der Subdomains vorhanden ist, sollte ich dann einfach die robots.txt "Alle nicht zulassen" in die Verzeichnisse der Subdomains einfügen? Wenn ja, kann meine Hauptdomain trotzdem gecrawlt
Ich habe eine relativ neue Website gestartet und sie bei Google und allem eingereicht. Ich benutze auch die Webmaster-Tools von Google. Ich frage mich, wie ich herausfinden kann, wie häufig Google Spider auf meine Website zugreift. Ich höre immer Leute in Foren über "Ich bekomme 250 Seiten pro...
Ich habe mehrere Websites in einem /24Netzwerk, die alle regelmäßig von Google gecrawlt werden. Normalerweise ist das in Ordnung. Wenn Google jedoch alle Websites gleichzeitig crawlt, kann die kleine Anzahl von Servern, die diesen IP-Block unterstützen, beim Laden einen ziemlich großen Einfluss...