Enthält der Benutzeragent in einem normalen Browser "Bot" oder "Crawlen"?

11

Enthält der Benutzeragent in einem normalen Browser "Bot" oder "Crawlen"?

Ich überprüfe den Benutzeragenten auf meiner Website, um festzustellen, ob er von einem Bot stammt oder nicht. Wenn ja, kann ich einige kleine Optimierungen vornehmen, da sie sich nicht anmelden. (Ich ändere den Inhalt überhaupt nicht)

Nachdem ich Schecks für 30-40 + Bots hinzugefügt habe, habe ich es satt, sie hinzuzufügen. Also habe ich mich gefragt, ob ich überprüfen soll, ob es nur "Bot" oder "Crawlen" enthält. Ich weiß, dass nicht alle Bots kommen, aber es würde viele von ihnen bekommen. Wenn dies jedoch zu Fehlalarmen führen könnte, würde dies die Möglichkeit, Artikel in den Warenkorb zu legen, eine Bestellung aufzugeben und sich anzumelden, völlig beeinträchtigen.

user-agent Echo sagt Reinstate Monica
quelle

Antworten:

13

Laut der Liste unter http://www.useragentstring.com/pages/useragentstring.php?typ=Browser mit über 9000 Benutzeragentenzeichenfolgen aus verschiedenen Browsern:

  • 0 Benutzeragentenzeichenfolgen von Browsern enthalten das Wort "bot"
  • 2 Benutzeragentenzeichenfolgen von Browsern enthalten das Wort "crawlen"
  • 0 Benutzeragentenzeichenfolgen von Browsern enthalten das Wort "Spinne"

(Die 2, die "crawlen" enthält, ist die folgende: "Mozilla / 4.0 (kompatibel; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" und "Mozilla / 4.0 (kompatibel; MSIE 5.01; Windows NT 5.0; MSIECrawler") ) "Ich denke, es ist sicher, diese nicht zu berücksichtigen.)

Laut der Liste unter http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler mit 442 als Bots aufgelisteten Benutzeragentenzeichenfolgen:

  • 208 Bots von Benutzeragenten enthalten das Wort "Bot".
  • 63 Bots von Benutzeragenten enthalten das Wort "crawlen".
  • 37 User Agent-Bots enthalten das Wort "Spider".
  • 282 Bots von Benutzeragenten enthalten entweder "Bot", "Crawl" oder "Spider".

Mein Fazit: Es ist sicher, Bots nach Zeichenfolgen von Benutzeragenten nach den Wörtern "bot", "crawl" und "spider" zu filtern. Es ist nicht kugelsicher, aber definitiv besser als nichts.

Hinweis: Bei der Suche nach den Schlüsselwörtern habe ich die Suche ohne Berücksichtigung der Groß- und Kleinschreibung verwendet.

Jonas Äppelgran
quelle
Vielen Dank für Ihre Antwort. Ich habe einen Scheck heute getan, und immer noch kein Browser oder Mobile Browser - String - User - Agent enthält alle bot, crawl, spiderund sogar search.
Oliver
2

Eine bessere Lösung IMO wäre zu erkennen, ob der Benutzer angemeldet ist. Wenn dies nicht der Fall ist, zeigen Sie die Standardseite an (diese könnte zwischengespeichert werden). Eine Webspinne wird niemals angemeldet sein. Wenn Sie jedoch für sie optimieren, warum nicht für neue Benutzer auf Ihrer Website?

DisgruntledGoat
quelle