Sollte ich Bots von meiner Website blockieren und warum?

12

Meine Logbücher sind voll von Bot-Besuchern, oft aus Osteuropa und China. Die Bots werden als Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou usw. identifiziert. Soll ich diese Bots von meiner Website aus blockieren und warum?

Welche haben einen legitimen Zweck, um den Traffic auf meiner Site zu erhöhen? Viele von ihnen sind SEO.

Ich muss sagen, dass ich weniger Verkehr sehe , wenn überhaupt, da die Bots in großer Zahl angekommen sind.

Es wäre nicht allzu schwer, diese zu blockieren, da alle in ihrem User Agent zugeben, dass sie Bots sind.

seo web-crawlers user-agent Frank E
quelle

Antworten:

7

Sie können Bots blockieren, aber es hängt davon ab, was Sie für Ihre Website wollen.

Sie können Suchmaschinen-Bots blockieren, wenn Ihre Website nicht in einer bestimmten Suchmaschine indiziert werden soll.
Beispiel: Yandex ist eine russische Suchmaschine. Sie können den Bot blockieren, wenn Ihr Unternehmen nicht auf Russland abzielt.

Sie können SEO-Bots blockieren, wenn Sie ihre Webanalyse-Lösung nicht verwenden möchten.
Beispiel: Ahrefs ist eine Webanalyse-Lösung. Sie können den Bot blockieren, wenn Sie diese Webanalyse-Lösung nicht verwenden.

Grund zum Blockieren von Bots:

  • weniger Roboter gehen auf Ihre Website, und echte Besucher erhalten mehr Bandbreite
  • seien Sie sicher gegen Malware-Bots
  • Protokollgröße

Grund, Bots nicht zu blockieren:

  • Bots wie Suchmaschinen-Bots können Ihren Traffic erhöhen, indem sie Ihre Website indizieren.

Sie können mehr über Bots erfahren, indem Sie die FAQ von robotstxt.org lesen .

Wenn Sie festlegen möchten, dass mehrere Roboter blockiert werden sollen, können Sie sich auf dieser Website von robots.txt inspirieren lassen .

Seien Sie vorsichtig, einige Bots können robots.txt ignorieren . Weitere Informationen finden Sie hier .

Fazit : Sie können die Internet-Roboterfunktion durchsuchen, um festzustellen, ob das Blockieren nützlich sein kann.

Zistoloen
quelle
Vielen Dank. Übrigens bekomme ich auch Besuche von Linode. Die UA sagt, es ist ein Python-Skript. Soll ich misstrauisch sein?
Frank E
Wenn ich du wäre, hätte ich Linode nicht blockiert. Ich weiß nicht, was es genau ist, weil es um Hosting geht.
Zistoloen
Was ist mit IPStrada? Ich sehe sie von Zeit zu Zeit auftauchen. Sie melden sich nie für ein Konto an.
Frank E
Wie Linode. Roboter scannen das Internet, selbst wenn Sie oder sie sich nie für ein Konto anmelden. Aber keine Sorge, es ist keine große Sache.
Zistoloen
4

Während der Versuch, Bots zu blockieren, dazu beitragen kann, Ressourcen freizugeben und Ihre Protokolle zu bereinigen, ist es wichtig zu beachten, dass robots.txt und sogar die Verwendung des Metatags auf Seiten von noindex den Bots-Besuch auf Ihrer Website nicht stoppen. Sie können immer noch gelegentlich Ihre Site crawlen, um festzustellen, ob die von Robotern abgelehnte entfernt wurde. Viele Bots verwenden nicht einmal einen Benutzeragenten und verwenden einen Standardbenutzeragenten. Die Bots, auf die ich mich beziehe, sind in der Regel SEO-Harvesting-Bots, die nach Backlinks suchen und nicht die allgemeinen, die Sie von Suchmaschinen finden.

Anstatt die Bots zu blockieren, sollten Sie diese Bots nur berücksichtigen, wenn Sie Ihre Besucher zählen. Nach einer Weile der aktiven Überwachung Ihrer Website stellen Sie eine grobe Zahl fest, die Bots sind. Die meisten Leute kümmern sich um einmalige Besuche und dies schließt die Bots aus, da sie ständig zurückkehren. In der heutigen Zeit gibt es eine Vielzahl von Servern und Shared Hosting, die diese Bots verarbeiten können. Abgesehen von Seiten, die Sie nicht indizieren möchten, gibt es keinen Grund, diese Bots zu blockieren. Natürlich haben Sie auch schädliche Bots, aber diese werden den User Agent auf keinen Fall verwenden;).

Persönlich halte ich das Blockieren von Robotern für Zeitverschwendung, da sie überhaupt nicht so viel Ressourcen verbrauchen. SEO-Roboter können dabei helfen, indem sie Ihre Website auf PR0-Seiten auflisten, was natürlich Ihren PageRank erhöht und dort automatisiert, sodass Sie nicht bestraft werden von ihnen.

Logs Issue

Sie sollten einen geeigneten Protokoll-Viewer verwenden, mit dem Sie bestimmte Anforderungen herausfiltern können. Dies erleichtert das Überprüfen Ihrer Protokolle. Gute Zuschauer können viele Dinge wie normale Besuche, 404s und so weiter herausfiltern.

Simon Hayter
quelle
1
Warum suchen SEO-Bots nach Backlinks? Ist es nur, weil das etwas ist, was SEO-Berater verwenden? Oder gibt es noch einen düsteren Zweck?
Frank E
2
Hallo Frank, sie suchen nach Backlinks und protokollieren sie, damit Webmaster sehen können, wer mit ihnen verlinkt. Es ist ein großes Geld für die SEO-Unternehmen, Backlinks zu protokollieren und Webmaster damit zu beauftragen, herauszufinden, wer zu ihnen verlinkt, wann der Link erstellt wurde, ob er gelöscht wurde, ob er folgt oder nicht - welchen Ankertext sie verwenden und so weiter. Google, Bing, stellt diese Informationen nicht zur Verfügung, so dass sie für die meisten Webmaster, die sich ihr Link-Netzwerk ansehen möchten, ein gewünschter und wertvoller Dienst sind.
Simon Hayter
Es ist auch nichts wert, dass viele Schwachstellen, nach denen Menschen suchen, mithilfe von Suchmaschinen gesammelt werden und nicht jeder einzelne Standort von einem Bot gescannt wird. Wenn zum Beispiel ein Modul / Plugin nicht mehr aktuell ist und bekannte Exploit-Leute Google verwenden, um diese Websites zu finden, um sie auszunutzen. Das Blockieren von Robotern sichert Ihren Server nicht: P
Simon Hayter
@bybe Mit "Vulablites" meinen Sie "Schwachstellen"?
DaveP
@ DaveP absolut;) thx - korrigiert.
Simon Hayter