Ein http-Header-Feld, das den Browser und das Betriebssystem identifiziert.
Wir hatten in der Vergangenheit einige schwerwiegende Probleme mit der (unglaublich) schlecht geschriebenen Spinne von Yahoo und haben sie daher blockiert. Marco Arment von Tumblr teilte uns am 31.08.2009 auch seine Frustrationen mit, was ein Faktor dafür war, dass wir sie blockierten. [Yahoo's...
Es gibt Ask bot, der diesen Header setzt: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) In Anbetracht dessen habe ich folgende Fragen: Welchen User Agent soll ich verwenden, wenn ich einen Webcrawler namens Goofy schreibe? Was ist der Unterschied wenn ich Mozilla/2.0oder lege Mozilla/5.0? Weitere...
Wie soll ich einen leeren User-Agent interpretieren? Ich habe einen benutzerdefinierten Analysecode und dieser Code muss nur den Datenverkehr von Personen analysieren. Ich habe eine Arbeitsliste mit Benutzeragenten, die den menschlichen Verkehr und den Bot-Verkehr anzeigen, aber der leere...
Meine Logbücher sind voll von Bot-Besuchern, oft aus Osteuropa und China. Die Bots werden als Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou usw. identifiziert. Soll ich diese Bots von meiner Website aus blockieren und warum? Welche haben einen legitimen Zweck, um den Traffic auf meiner Site zu...
Enthält der Benutzeragent in einem normalen Browser "Bot" oder "Crawlen"? Ich überprüfe den Benutzeragenten auf meiner Website, um festzustellen, ob er von einem Bot stammt oder nicht. Wenn ja, kann ich einige kleine Optimierungen vornehmen, da sie sich nicht anmelden. (Ich ändere den Inhalt...
Ich habe einen kleinen Webcrawler ausgeführt und musste mich entscheiden, welchen Benutzeragenten ich dafür verwenden soll. Listen von Crawler-Agenten sowie Wikipedia schlagen das folgende Format vor: examplebot/1.2 (+http://www.example.com/bot.html) Einige Bots lassen jedoch das Pluszeichen vor...
Können Benutzeragenten zusammen aufgelistet werden, gefolgt von ihren allgemeinen Regeln wie in einer robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo...
Apache-Zugriffsprotokolleinträge auf meiner Site sind normalerweise wie folgt: 207.46.13.174 - - [31 / Okt / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (kompatibel; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0.607 MISS 10.10.36.125:104 0.607 So können...
Ich habe eine Website, die aus regulatorischen Gründen möglicherweise nicht automatisch indiziert oder durchsucht wird. Dies bedeutet, dass wir alle Roboter fernhalten und verhindern müssen, dass sie die Site spinnen. Offensichtlich hatten wir eine robots.txt-Datei, die von Anfang an nicht erlaubt...
Ich habe eine spezielle Codierung, die nur für HTML5-Browser funktioniert (einfaches Geolocation-Zeug). Ich möchte iPhone- und Android-Benutzer auf die Version m.example.com meiner Website umleiten. Wie geht das am besten?
Womit erkennen Sie das Mobiltelefon des Besuchers, wenn möglich bis zum Modell? Gegenwärtig pflegen wir unsere eigene Datenbank, die jedoch aufgrund des Mangels an Arbeitskräften für die Wartung wirklich ins Hintertreffen gerät. Daher haben wir uns entschlossen, eine Lösung von Drittanbietern...
(Kopfgeldfrage unten) Ich habe ein Problem mit einem Client, der auf unsere Website zugreift, und die Hauptursache ist, dass die WAF (Web Application Firewall) ihre User-Agent-Zeichenfolge nicht mag: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=)...