Wie senden Sie eine HEAD HTTP-Anfrage in Python 2?

Ich versuche hier, die Header einer bestimmten URL abzurufen, damit ich den MIME-Typ bestimmen kann. Ich möchte sehen können, ob beispielsweise http://somedomain/foo/ein HTML-Dokument oder ein JPEG-Bild zurückgegeben wird. Daher muss ich herausfinden, wie eine HEAD-Anfrage gesendet wird, damit ich den MIME-Typ lesen kann, ohne den Inhalt herunterladen zu müssen. Kennt jemand einen einfachen Weg, dies zu tun?

Bearbeiten : Diese Antwort funktioniert, aber heutzutage sollten Sie nur die Anforderungsbibliothek verwenden, wie in anderen Antworten unten erwähnt.

Verwenden Sie httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Es gibt auch getheader(name)einen bestimmten Header.

urllib2 kann verwendet werden, um eine HEAD-Anforderung auszuführen. Dies ist etwas besser als die Verwendung von httplib, da urllib2 die URL für Sie analysiert, anstatt dass Sie die URL in Hostnamen und Pfad aufteilen müssen.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Header sind wie bisher über response.info () verfügbar. Interessanterweise finden Sie die URL, zu der Sie umgeleitet wurden:

>>> print response.geturl()
http://www.google.com.au/index.html

Obligatorischer RequestsWeg:

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Ich glaube, die Anforderungsbibliothek sollte ebenfalls erwähnt werden.

Gerade:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Bearbeiten: Ich habe gerade festgestellt, dass es httplib2: D gibt

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

Link Text

Der Vollständigkeit halber muss eine Python3-Antwort der akzeptierten Antwort mit httplib entsprechen .

Es ist im Grunde der gleiche Code nur , dass die Bibliothek nicht genannt wird httplib mehr , sondern http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Wenn Sie die httplib verwenden (mindestens in 2.5.2), wird der Versuch, die Antwort einer HEAD-Anforderung zu lesen, blockiert (in der Readline) und schlägt anschließend fehl. Wenn Sie die Antwort nicht lesen, können Sie keine weitere Anfrage für die Verbindung senden. Sie müssen eine neue öffnen. Oder akzeptieren Sie eine lange Verzögerung zwischen Anfragen.

Ich habe festgestellt, dass httplib etwas schneller als urllib2 ist. Ich habe zwei Programme zeitgesteuert - eines mit httplib und das andere mit urllib2 - und HEAD-Anfragen an 10.000 URLs gesendet. Die httplib war um einige Minuten schneller. Die Gesamtstatistik von httplib war: real 6m21.334s Benutzer 0m2.124s sys 0m16.372s

Und die Gesamtstatistik von urllib2 war: real 9m1.380s Benutzer 0m16.666s sys 0m28.565s

Hat noch jemand einen Beitrag dazu?

Und noch ein anderer Ansatz (ähnlich der Antwort von Pawel):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Nur um unbegrenzte Methoden auf Instanzebene zu vermeiden.

Wahrscheinlich einfacher: Verwenden Sie urllib oder urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () ist ein wörterbuchähnliches Objekt, daher können Sie f.info () ['Inhaltstyp'] usw. ausführen.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

In den Dokumenten wird darauf hingewiesen, dass httplib normalerweise nicht direkt verwendet wird.