Als «web-scraping» getaggte Fragen

Wie kann man beim Crawlen von Websites ein guter Bürger sein?

Ich werde einige Funktionen entwickeln, die verschiedene öffentliche Websites crawlen und die darauf enthaltenen Daten verarbeiten / aggregieren. Nichts ist so unheimlich wie das Suchen nach E-Mail-Adressen - in der Tat ist es etwas, das zusätzlichen Datenverkehr auf ihre Websites lenken könnte....

Muster und Vorgehensweisen für das Web-Scraping in .Net (C #) [geschlossen]

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 4 Jahren . Ich werde eine...