Nur eine kurze, einfache über die ausgezeichneten Anfragen Moduls für Python.
Ich kann in der Dokumentation anscheinend nicht finden, was die Variable 'Proxies' enthalten sollte. Wenn ich ihm ein Diktat mit einem Standardwert "IP: PORT" sende, wird es abgelehnt und nach 2 Werten gefragt. Also denke ich (weil dies nicht in den Dokumenten behandelt zu werden scheint), dass der erste Wert die IP und der zweite der Port ist?
Die Dokumente erwähnen dies nur:
Proxys - (optional) Wörterbuch-Zuordnungsprotokoll zur URL des Proxys.
Also habe ich es versucht ... was soll ich tun?
proxy = { ip: port}
und sollte ich diese in einen Typ konvertieren, bevor ich sie in das Diktat setze?
r = requests.get(url,headers=headers,proxies=proxy)
quelle
urllib3
also muss ich das untersuchen. Danke für die Warnung.Ich habe festgestellt, dass urllib einen wirklich guten Code hat, um die Proxy-Einstellungen des Systems abzurufen, und sie sind zufällig in der richtigen Form, um sie direkt zu verwenden. Sie können dies wie folgt verwenden:
Es funktioniert sehr gut und urllib weiß auch, wie man Mac OS X- und Windows-Einstellungen erhält.
quelle
module 'urllib' has no attribute 'getproxies'
Hier können Sie auf die Proxy-Dokumentation verweisen .
Wenn Sie einen Proxy verwenden müssen, können Sie einzelne Anforderungen mit dem Proxy-Argument für eine beliebige Anforderungsmethode konfigurieren:
Verwenden Sie die Syntax http: // user: [email protected]/, um HTTP Basic Auth mit Ihrem Proxy zu verwenden :
quelle
Die akzeptierte Antwort war ein guter Anfang für mich, aber ich bekam immer wieder den folgenden Fehler:
Um dies zu beheben, wurde das http: // in der Proxy-URL folgendermaßen angegeben:
Es würde mich interessieren, warum das Original für einige Leute funktioniert, aber nicht für mich.
Bearbeiten: Ich sehe, dass die Hauptantwort jetzt aktualisiert wird, um dies widerzuspiegeln :)
quelle
Wenn Sie Cookies und Sitzungsdaten beibehalten möchten, tun Sie dies am besten folgendermaßen:
quelle
8 Jahre zu spät. Aber ich mag:
quelle
Hier ist meine Grundklasse in Python für das Anforderungsmodul mit einigen Proxy-Konfigurationen und Stoppuhr!
quelle
Ich habe gerade einen Proxy-Graber erstellt und kann mich auch ohne Eingabe mit demselben Proxy-Graby verbinden.
quelle
Es ist etwas spät, aber hier ist eine Wrapper-Klasse, die das Scraping von Proxys und das anschließende Erstellen eines http-POST oder GET vereinfacht:
ProxyRequests
quelle
Ich teile Code zum Abrufen von Proxys von der Website "https://free-proxy-list.net" und speichere Daten in einer Datei, die mit Tools wie "Elite Proxy Switcher" kompatibel ist (Format IP: PORT):
## PROXY_UPDATER - Holen Sie sich kostenlose Proxys von https://free-proxy-list.net/
quelle