Laden Sie die PDF-Datei mit dem Python-Anforderungsmodul herunter und speichern Sie sie

Ich versuche, eine PDF-Datei von einer Website herunterzuladen und auf der Festplatte zu speichern. Meine Versuche schlagen entweder mit Codierungsfehlern fehl oder führen zu leeren PDFs.

In [1]: import requests

In [2]: url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf'

In [3]: response = requests.get(url)

In [4]: with open('/tmp/metadata.pdf', 'wb') as f:
   ...:     f.write(response.text)
---------------------------------------------------------------------------
UnicodeEncodeError                        Traceback (most recent call last)
<ipython-input-4-4be915a4f032> in <module>()
      1 with open('/tmp/metadata.pdf', 'wb') as f:
----> 2     f.write(response.text)
      3 

UnicodeEncodeError: 'ascii' codec can't encode characters in position 11-14: ordinal not in range(128)

In [5]: import codecs

In [6]: with codecs.open('/tmp/metadata.pdf', 'wb', encoding='utf8') as f:
   ...:     f.write(response.text)
   ...: 

Ich weiß, dass es sich um ein Codec-Problem handelt, aber ich kann es scheinbar nicht zum Laufen bringen.

Sie sollten response.contentin diesem Fall verwenden:

with open('/tmp/metadata.pdf', 'wb') as f:
    f.write(response.content)

Aus dem Dokument :

Sie können für Nicht-Text-Anforderungen auch als Bytes auf den Antworttext zugreifen:

>>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...

Das bedeutet also: response.textGeben Sie die Ausgabe als Zeichenfolgenobjekt zurück und verwenden Sie sie, wenn Sie eine Textdatei herunterladen . Wie HTML-Datei usw.

Und response.contentgeben Sie die Ausgabe als Byte-Objekt zurück. Verwenden Sie sie, wenn Sie eine Binärdatei herunterladen . Wie PDF-Datei, Audiodatei, Bild usw.

Sie können response.rawstattdessen auch verwenden . Verwenden Sie es jedoch, wenn die Datei, die Sie herunterladen möchten, groß ist. Unten finden Sie ein grundlegendes Beispiel, das Sie auch im Dokument finden können:

import requests

url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf'
r = requests.get(url, stream=True)

with open('/tmp/metadata.pdf', 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

chunk_sizeist die Blockgröße, die Sie verwenden möchten. Wenn Sie es als festlegen 2000, laden Anforderungen diese Datei mit den ersten 2000Bytes herunter , schreiben sie in die Datei und tun dies immer wieder, es sei denn, sie ist abgeschlossen.

So können Sie Ihren RAM sparen. response.contentIn diesem Fall würde ich jedoch lieber verwenden, da Ihre Datei klein ist. Wie Sie sehen können, response.rawist die Verwendung komplex.

Verwandte:

• Wie lade ich eine große Datei in Python mit request.py herunter?

• So laden Sie Bilder mithilfe von Anfragen herunter

In Python 3 finde ich, dass Pathlib der einfachste Weg ist, dies zu tun. Die Antwort von Request.content passt gut zu pathlibs write_bytes.

from pathlib import Path
import requests
filename = Path('metadata.pdf')
url = 'http://www.hrecos.org//images/Data/forweb/HRTVBSH.Metadata.pdf'
response = requests.get(url)
filename.write_bytes(response.content)

Sie können urllib verwenden:

import urllib.request
urllib.request.urlretrieve(url, "filename.pdf")

Im Allgemeinen sollte dies in Python3 funktionieren:

import urllib.request 
..
urllib.request.get(url)

Denken Sie daran, dass urllib und urllib2 nach Python2 nicht richtig funktionieren.

Wenn in einigen mysteriösen Fällen Anfragen nicht funktionieren (ist bei mir passiert), können Sie auch versuchen, sie zu verwenden

wget.download(url)

Verbunden:

Hier ist eine anständige Erklärung / Lösung, um alle PDF-Dateien auf einer Webseite zu finden und herunterzuladen:

https://medium.com/@dementorwriter/notesdownloader-use-web-scraping-to-download-all-pdfs-with-python-511ea9f55e48

Bitte beachten Sie, dass ich ein Anfänger bin. Wenn meine Lösung falsch ist, können Sie sie gerne korrigieren und / oder mich informieren. Ich kann auch etwas Neues lernen.

Meine Lösung:

Ändern Sie den DownloadPath entsprechend an den Ort, an dem Ihre Datei gespeichert werden soll. Fühlen Sie sich frei, den absoluten Pfad auch für Ihre Verwendung zu verwenden.

Speichern Sie das Folgende als downloadFile.py.

Verwendung: python downloadFile.py url-of-the-file-to-download new-file-name.extension

Denken Sie daran, eine Erweiterung hinzuzufügen!

Anwendungsbeispiel: python downloadFile.py http://www.google.co.uk google.html

import requests
import sys
import os

def downloadFile(url, fileName):
    with open(fileName, "wb") as file:
        response = requests.get(url)
        file.write(response.content)


scriptPath = sys.path[0]
downloadPath = os.path.join(scriptPath, '../Downloads/')
url = sys.argv[1]
fileName = sys.argv[2]      
print('path of the script: ' + scriptPath)
print('downloading file to: ' + downloadPath)
downloadFile(url, downloadPath + fileName)
print('file downloaded...')
print('exiting program...')

In Bezug auf die Antwort von Kevin, in einen Ordner zu schreiben tmp, sollte es so sein:

with open('./tmp/metadata.pdf', 'wb') as f:
    f.write(response.content)

er hat .vor der adresse vergessen und natürlich sollte dein ordner tmpschon angelegt sein