Wie kann ich Anfragen in Asyncio verwenden?

Ich möchte parallele http-Anforderungsaufgaben ausführen asyncio, aber ich finde, dass python-requestsdies die Ereignisschleife von blockieren würde asyncio. Ich habe aiohttp gefunden, aber es konnte den Dienst der http-Anfrage nicht über einen http-Proxy bereitstellen.

Ich möchte also wissen, ob es eine Möglichkeit gibt, asynchrone http-Anfragen mit Hilfe von zu erledigen asyncio.

Um Anforderungen (oder andere blockierende Bibliotheken) mit asyncio zu verwenden, können Sie BaseEventLoop.run_in_executor verwenden , um eine Funktion in einem anderen Thread auszuführen und daraus zu ergeben, um das Ergebnis zu erhalten. Beispielsweise:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Dadurch werden beide Antworten parallel erhalten.

Mit Python 3.5 können Sie die neue await/ asyncSyntax verwenden:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Weitere Informationen finden Sie unter PEP0492 .

aiohttp kann bereits mit HTTP-Proxy verwendet werden:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Die obigen Antworten verwenden immer noch die alten Coroutinen im Python 3.4-Stil. Folgendes würden Sie schreiben, wenn Sie Python 3.5+ hätten.

aiohttp unterstützt jetzt http-Proxy

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Anfragen werden derzeit nicht unterstützt, asynciound es gibt keine Pläne, solche Unterstützung bereitzustellen. Es ist wahrscheinlich, dass Sie einen benutzerdefinierten "Transportadapter" (wie hier beschrieben ) implementieren , der weiß, wie man ihn verwendet asyncio.

Wenn ich mich mit etwas Zeit befinde, ist es etwas, das ich vielleicht tatsächlich untersuche, aber ich kann nichts versprechen.

In einem Artikel von Pimin Konstantin Kefaloukos gibt es einen guten Fall von Async / Wait-Schleifen und Threading. Einfache parallele HTTP-Anforderungen mit Python und Asyncio :

Um die Gesamtabschlusszeit zu minimieren, können wir den Thread-Pool vergrößern, um ihn an die Anzahl der Anforderungen anzupassen, die wir stellen müssen. Zum Glück ist dies einfach, wie wir als nächstes sehen werden. Die folgende Codeliste ist ein Beispiel für das Erstellen von zwanzig asynchronen HTTP-Anforderungen mit einem Thread-Pool von zwanzig Arbeitsthreads:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())