Kürzlich habe ich mit der cURL experimentiert und festgestellt, dass damit viel möglich ist. Ich habe ein kleines Skript erstellt, das eine Musikseite crawlt, auf der Online-Songs abgespielt werden. Auf dem Weg zu meinem Experiment habe ich festgestellt, dass es auch möglich ist, die Songquelle zu crawlen. (Diese Seite bietet kein Herunterladen an.)
Ich weiß nur was zu wissen. Ist es völlig legal, die Websites zu crawlen? Ich meine mit http and port '80',
Es gibt verlorene Download-Manager auf dem Markt, die von fast allen Websites heruntergeladen werden können. Sind alle gültig und legal?
php
curl
screen-scraping
web-crawler
Chetan Sharma
quelle
quelle
Antworten:
Die Antwort auf Ihre Frage lautet genau Ja. Die einzig mögliche Ausnahme ist die Kryptografie in Ihrem Land, wenn cURL mit statisch verknüpfter SSL-Unterstützung erstellt wurde oder Sie aus den USA in eines der wenigen Länder exportieren, die als feindlich eingestuft werden.
Das Verschrotten der öffentlich sichtbaren Webseiten einer Website ist im Allgemeinen ebenfalls legal. Wenn Sie eine Kopie aller Seiten herunterladen, die Sie in Ihrem Browser sehen können, treten keine Probleme auf. Wenn Sie Probleme für andere Zwecke verursachen, kann dies als Denial-of-Service-Angriff angesehen werden. Möglicherweise müssen Sie auch die Nutzungsbedingungen der Website überprüfen. Da Sie sie jedoch bereits heruntergeladen haben, um sie anzuzeigen, gibt es keinen großen Unterschied (bestenfalls eine subtile technische Besonderheit).
Das Herunterladen von Musik ist jedoch genau das. Es spielt keine Rolle, ob Sie Limewire, uTorrent, Megaupload, Flashget oder cURL verwenden, Sie laden immer noch Musik herunter. Das ist legal, wenn der Künstler / das Plattenlabel dies sagt, wenn Sie eine Lizenz besitzen oder generell, wenn Sie gesetzlich dazu berechtigt sind.
CURL ist also völlig legal. Aber wie alles andere kann es sein, was Sie damit machen.
quelle
IMDB.com verbietet ausdrücklich die Verwendung solcher Scrapper mit ihrer Website als Teil ihrer Nutzungsbedingungen.
quelle
Ich kann keine Antworten zu Antworten abgeben, da ich hier keinen Repräsentanten habe. In mehreren Antworten wurde jedoch angegeben, dass dies abhängig von den Nutzungsbedingungen der Website möglicherweise nicht legal ist. Und dies ist eine subtile technische Angelegenheit, aber wenn dies der Fall ist, ist es immer noch legal, aber Sie könnten zivilrechtlich wegen Vertragsverletzung oder Urheberrechtsverletzungen verklagt werden (obwohl Urheberrechtsverletzungen auch strafrechtlich illegal sein können). Nur weil die Nutzungsbedingungen einer Website besagen, dass Sie etwas nicht tun können, bedeutet dies im Allgemeinen nicht, dass sie die gesetzliche Befugnis haben, Sie daran zu hindern.
quelle
Im Allgemeinen ist es wichtiger, was Sie damit machen, als wie Sie es erwerben. IE, Sie können eine CD kopieren, aber was haben Sie mit dieser CD gemacht? Haben Sie es an jemanden verkauft (illegal) oder haben Sie es einfach in ein Regal auf Ihrer alten CD gelegt, damit Sie eine nicht zerkratzte Kopie haben (legal). Auch wenn Sie die Musik vollständig besitzen, haben Sie immer noch das Recht, sie nur für Ihren eigenen Gebrauch zu kopieren, nicht einmal für andere.
Hier ist eine Frage. Wenn es um das Internet geht, wird es im Allgemeinen als faires Spiel angesehen , wenn es von jemandem mit Veröffentlichungsrechten "veröffentlicht" wird und es keine Bestimmungen gibt, die nicht kostenlos verwendet werden können (IE a TOS) es auf nichtkommerzielle Weise zu verwenden. Was aber, wenn der Inhalt nicht einmal Teil des "sichtbaren" Teils der Webseite ist und zum Erfassen / Zugreifen Quell-Scraping und Ordner-Surfen erfordert? Obwohl es sich in einem "öffentlichen" Netzwerk befindet und auf nicht sichere Weise zugänglich ist. Das ist fast so, als würde man behaupten, man könne jemandes Haus ausrauben, weil er seine Tür offen gelassen hat. Dies ist eine gewisse Analogie, aber bis zu einem gewissen Grad gültig. Wenn die Seite keine Links enthält, kann argumentiert werden, dass der Inhalt nicht "veröffentlicht" wurde.
Aber das ist wahrscheinlich viel Lärm um nichts, wenn Sie nichts Verrücktes tun oder versuchen, von der Arbeit anderer zu profitieren, dann kümmert es normalerweise niemanden, wenn Sie Kratzer beschaffen.
quelle