Vor kurzem kam es zu einem Anstieg des organischen Verkehrs von Baidu auf eine bestimmte Seite meiner Website.
Erstens hat meine Website eine chinesische Version und ich brauche Besucher aus China. Ich möchte Baidu also nicht vollständig blockieren.
Ok, ich fing an zu untersuchen. Die durchschnittliche Sitzungsdauer für 90% dieser Treffer beträgt 0 Sekunden. Ich vermute also, dass dies keine echten Besucher sind.
Ich habe begonnen, die Statistiken für diese Seite mit den PHP-Variablen $ _SERVER ['REMOTE_ADDR'] und $ _SERVER ['HTTP_REFERER'] zu sammeln. Hier sind die Ergebnisse (für die letzten zwei Tage):
Gesamtzahl der IP-Adressen = 3876
Anzahl eindeutiger IP-Adressen = 3118
Maximale Treffer von einer bestimmten IP-Adresse = 9
Insgesamt http_referer = 3586
Eindeutiger http_referer = 3278
Maximale Anzahl derselben Empfehlungsseite = 5.
Das Problem ist, dass die Verweisseiten gültige Seiten zu sein scheinen. Sie sehen wie folgt aus : https://www.baidu.com/link?url=uQ3Foy5eYozYEq1wDKYDUqlbF_W-umpEZAMyulIp-MqiVUqPPdFUtT5_Xumavs7gKlfnZXv15-2H69EbcOkWbnXQua97JF4R45zzMO10LJY5yHlIxC2fZa-dX6JeMtLDut3VWu08nrbzFVt0XjgI5_&wd=&eqid=faceb5600002fa4d00000002585c8f6e
Es handelt sich um eine verschlüsselte Adresse, wie sie in den Baidu-Suchergebnissen angezeigt wird, und es wird auf die betreffende Seite weitergeleitet.
Hat jemand eine Idee, warum dies geschieht und was kann ich dagegen tun?
PS Seit langer Zeit habe ich einen Filter in GA, um alle anderen Hostnamen außer meiner eigenen Site zu blockieren.
UPDATE 1: Info zu HTTP_USER_AGENT (für die letzten 24 Stunden):
Gesamt http_user_agent = 1804
Eindeutiger http_user_agent = 607
Die häufigsten Benutzeragenten zählen:
Mozilla / 5.0 (Windows NT 5.1) AppleWebKit / 537.36 (KHTML, wie Gecko) Chrome / 45.0.2454.101 Safari / 537.36 => 125 Treffer
Mozilla / 5.0 (kompatibel; Baiduspider / 2.0; + http://www.baidu.com/search/spider.html ) => 108 Treffer
Mozilla / 5.0 (Windows NT 6.1; WOW64) AppleWebKit / 537.36 (KHTML, wie Gecko) Chrome / 45.0.2454.101 Safari / 537.36 => 81 Treffer
Mozilla / 5.0 (Windows NT 5.1) AppleWebKit / 537.36 (KHTML, wie Gecko) Chrome / 47.0.2526.108 Safari / 537.36 2345Explorer / 8.2.2.14352 => 56 Treffer
Mozilla / 5.0 (Windows NT 6.1; WOW64) AppleWebKit / 537.36 (KHTML, wie Gecko) Chrome / 47.0.2526.108 Safari / 537.36 2345Explorer / 8.2.2.14352 => 50 Treffer
quelle
Antworten:
Melden Sie sich für die Baidu Webmsater-Plattform an und ändern Sie den "Crawler-Druck", um die Häufigkeit zu begrenzen, mit der die Baidu-Spinne Ihre Website besucht.
Hier ist das Tutorial, das ich für einen Kunden befolgt habe - http://bbs.zhanzhang.baidu.com/thread-44-1-1.html
quelle
Wenn Sie Nginx verwenden, gibt es möglicherweise Lösungen, um diese Art von Spam zu blockieren. Hier ist eine Lösung für Serverfehler: /server/646342/is-there-an-elegant-way-to-block-a-bunch-of-referrers-at-once
Ich bin mir ziemlich sicher, dass Apache und andere Server auch Lösungen haben.
quelle