So kopieren Sie automatisch Text von verschiedenen Websites

4

Ich möchte wissen, wie man automatisch Text von verschiedenen Websites kopiert. Ich baue eine Datenbank mit Firmen auf, die bestimmten Verbänden angehören. Die Website enthält eine Liste von Unternehmen mit der Beschreibung der einzelnen Unternehmen, die ich manuell kopiere. Gibt es eine Möglichkeit, ein Makro zu erstellen und dieses automatisch zu erstellen, da es immer wieder den gleichen Vorgang wiederholt.

Oder weiß jemand, in welcher Sprache ich etwas Ähnliches entwickeln könnte? Vielen Dank,

script automation web screen-scraping BDstat
quelle

Antworten:

2

Sie suchen nach einer Technik namens web scraping. Sie können dies verwenden, um Daten von Websites zu sammeln, die keine APIs zum Abrufen der Daten bieten. Es gibt viele Werkzeuge dafür und es gibt auch viele Bibliotheken für verschiedene Sprachen (z. B. dort) BeautifulSoup für Python). Beachten Sie, dass Sie möglicherweise rechtmäßig mit rechtlichen Problemen konfrontiert werden, wenn Sie eine Site ohne Erlaubnis ständig kratzen.

duenni
quelle
Vielleicht sehen Sie sich Powershell und Invoke-WebRequest an. Z.B. $a = Invoke-WebRequest -Uri http://superuser.com/questions/1182298/how-to-automatically-copy- text-from-different-websites $a | get-member Sie könnten also eine Liste mit Links erhalten $a.links, usw...
HelpingHand
2

Bei "Software Recommendations" ist es vorbei Liste guter Web-Scraping-Anwendungen Sie können alle das tun, was Sie brauchen.

Wenn Sie gerade mit dem Bildschirm-Scraping beginnen, sind Werkzeuge mit einem Rekorder möglicherweise am besten. Dadurch wird vermieden, dass alle Selektoren manuell erstellt werden. Es gibt jedoch keine Lösung, die auf magische Weise mit jeder Website funktioniert. Selbst die Tools mit einem Rekorder erfordern häufig einige Anpassungen für jede Seite.

Bobby231
quelle