Ich habe herausgefunden, dass McAfee SiteAdvisor meine Website als "möglicherweise sicherheitsrelevant" gemeldet hat .
Es ist mir egal, was McAfee von meiner Website hält (ich kann sie selbst sichern, und wenn nicht, ist McAfee definitiv nicht das Unternehmen, das ich um Hilfe bitten würde, vielen Dank.) Was mich jedoch stört, ist, dass sie anscheinend meine Website ohne meine Erlaubnis gecrawlt haben.
Zur Verdeutlichung: Auf meiner Website befinden sich noch fast keine Inhalte, nur ein Platzhalter und einige Dateien für meinen persönlichen Gebrauch. Es gibt keine ToS.
Meine Fragen lauten: Hat McAffee das Recht, Inhalte von meiner Website herunterzuladen / zu crawlen? Kann ich ihnen das verbieten? Ich habe das Gefühl, dass es eine Art "Mein Schloss, meine Regeln" -Prinzip geben sollte, aber ich weiß im Grunde nichts über all die rechtlichen Dinge.
Update: Ich hätte wahrscheinlich erwähnen sollen, dass mein Server-Provider mir regelmäßig E-Mails mit den Ergebnissen von SiteAdvisor schickt - so habe ich von deren "Bewertung" erfahren, und deshalb ärgere ich mich.
quelle
Antworten:
Hierfür gibt es einen gesetzlichen Präzedenzfall. Field v. Google Inc., 412 F. Supp. 2d 1106 (US Dist. Ct. Nevada 2006). Google gewann eine zusammenfassende Beurteilung, die auf mehreren Faktoren beruhte, insbesondere darauf, dass der Autor keine robots.txt-Datei in den Metatags seiner Website verwendete, wodurch Google daran gehindert worden wäre, Seiten zu crawlen und zwischenzuspeichern, die der Websitebesitzer nicht indizieren wollte.
Entscheidung pdf
Es gibt KEIN US-Gesetz, das sich speziell mit robots.txt-Dateien befasst. Ein anderes Gerichtsverfahren hat jedoch Präzedenzfälle geschaffen, die dazu führen könnten, dass robots.txt-Dateien als Umgehung vorsätzlicher elektronischer Maßnahmen zum Schutz von Inhalten angesehen werden. Bei HEALTHCARE ADVOCATES, INC. Gegen HARDING, EARLEY, FOLLMER & FRAILEY, et. al. argumentierten Healthcare Advocates, dass Harding et al. im Wesentlichen die Funktionen der Wayback-Maschine gehackt hätten, um Zugriff auf zwischengespeicherte Dateien von Seiten mit neueren Versionen mit robots.txt-Dateien zu erhalten. Während die Anwälte des Gesundheitswesens diesen Fall verloren haben, stellte das Bezirksgericht fest, dass das Problem nicht darin bestand, dass Harding et al. Das Schloss "öffneten", sondern dass sie aufgrund eines Server-Ladeproblems mit dem Wayback-Rechner, der den Zugriff auf das System gewährte, Zugriff auf die Dateien erhielten zwischengespeicherte Dateien, wenn es nicht sein sollte
Gerichtsurteil pdf
Es ist nur eine Frage der Zeit , bis jemand IMHO diese Entscheidung und stellt sich auf die Seite nimmt: Das Gericht darauf hingewiesen , dass robots.txt ist eine Sperre zu verhindern , Krabbeln und Umgehen es ist das Lockpicking.
Viele dieser Klagen sind leider nicht so einfach wie "Ich habe versucht, Ihrem Crawler mitzuteilen, dass dies nicht zulässig ist, und Ihr Crawler hat diese Einstellungen / Befehle ignoriert." In all diesen Fällen gibt es eine Vielzahl anderer Probleme, die letztendlich das Ergebnis mehr beeinflussen als die Kernfrage, ob eine robots.txt-Datei nach US-amerikanischem DCMA-Recht als elektronische Schutzmethode gelten soll oder nicht.
Abgesehen davon ist dies ein US-Gesetz und jemand aus China kann tun, was er will - nicht wegen der rechtlichen Probleme, sondern weil China den Schutz von US-Marken und Urheberrechten nicht durchsetzen wird.
Keine kurze Antwort, aber es gibt wirklich keine kurze, einfache Antwort auf Ihre Frage!
quelle
Ja, sie haben das Recht dazu. Sie haben eine öffentliche Website erstellt. Warum glauben Sie, dass dies nicht der Fall ist?
Natürlich haben auch Sie das Recht, sie zu stoppen. Sie können sie bitten, Ihre Website nicht mit robots.txt zu crawlen oder sie aktiv daran zu hindern, mit so etwas wie fail2ban darauf zuzugreifen .
Alternativ machen Sie sich keine Sorgen und fahren Sie mit Ihrem Leben fort. Es schadet nichts und ist definitiv auf der positiven Seite des Internet-Testens.
quelle
Ob dieses Verhalten ethisch ist oder nicht, ist nicht eindeutig geklärt.
Das Crawlen einer öffentlichen Site ist an sich nicht unethisch (es sei denn, Sie haben die Verwendung einer robots.txt oder anderer technischer Maßnahmen ausdrücklich untersagt und sie umgehen sie).
Was sie tun, ist das grobe Äquivalent eines Kaltrufs, während sie der Welt mitteilen, dass Sie möglicherweise nicht sicher sind. Wenn dies Ihrem Ruf schadet und ungerechtfertigt ist, ist es unethisch. Wenn Sie das tun und die einzige Lösung dafür darin besteht, dass Sie sie bezahlen, ist das ein Hetzer. Aber ich glaube nicht, dass das so ist.
Ein anderes Mal wird dies unethisch, wenn jemand Ihre Website durchsucht, um sich Ihren Inhalten oder Daten anzupassen, und diese dann als eigene darstellt. Aber auch das ist nicht das, was los ist.
Daher schlage ich vor, dass ihr Verhalten in diesem Fall ethisch ist, und Sie können es höchstwahrscheinlich auch ignorieren.
Das damit verbundene Spam-Verhalten ist unethisch, wenn Sie keine Beziehung zu ihnen haben und die E-Mails nicht angefordert haben, aber ich vermute, dass sie ein funktionierendes Abmelden haben.
quelle
Disallow
Anweisung in einer robots.txt-Datei als "verbotene technologische Maßnahme" bezeichnen würde. robots.txt dient als Höflichkeitsanfrage, und während gut erzogene Bots sich daran halten, gibt es keine Verpflichtung und keine wirkliche Sicherheit. In der Tat könnten schlecht benommene Bots einen Eintrag in robots.txt als Aufforderung zum Crawlen dieses bestimmten Pfades nehmen ...Technischer Ansatz, um bestimmten Personen oder Unternehmen den Zugriff auf Ihre Website zu verwehren:
Sie können den Zugriff auf die Seiten Ihrer Site für bestimmte IP-Adressen oder Adressbereiche sperren. Dies ist eine .htaccess-Datei (wenn Ihre Site auf Apache Web Server ausgeführt wird).
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
Lassen Sie Ihren Webserver IP-Adressen protokollieren, von denen aus auf ihn zugegriffen wird, und suchen Sie nach diesen IP-Adressen, um die mit McAfee verknüpften Adressen zu finden. Wahrscheinlich jetzt leicht zu sagen, wenn Sie keine regelmäßigen Besucher haben.
Natürlich können sie in Zukunft die IP-Adressen ändern. Wenn Sie jedoch die gefundenen IP-Adressen nachschlagen, um festzustellen, wem diese gehören, können Sie möglicherweise mehr über einen ganzen Adressblock von McAfee erfahren und alle blockieren.
Für eine Rechtsgrundlage dafür:
"Websitebesitzer können einige Nutzer legal sperren, Gerichtsbestimmungen"
http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules
(Wenn es sich bei Ihrer Website um eine persönliche Website handelt, würde niemand Ihr Recht anfechten, einige Benutzer zu sperren. Wenn es sich jedoch um eine Website für ein Unternehmen handelt, gibt es auf beiden Seiten rechtliche und moralische Argumente. Je kleiner Ihr Unternehmen, desto einfacher es ist rechtlich zu schützen - und umso weniger würde es jedem anderen etwas ausmachen, sich zu beschweren.)
Sie könnten auch interessiert sein an "Besucher per Referrer verweigern".
http://www.htaccess-guide.com/deny-visitors-by-referrer/
quelle