Python — 异步async/await_python异步执行函数

协程

协程，英文Coroutines，是一种比线程更加轻量级的存在。

协程既不是进程，也不是线程，它就是一个可以在某个地方挂起的特殊函数，并且可以重新在挂起处继续运行。

async

用来声明一个函数为异步函数，异步函数的特点是能在函数执行过程中挂起，去执行其他异步函数，等到挂起条件消失后，再回到挂起前的状态执行。

用法：

async def func_name():
    pass
1
2

await

用来用来声明程序挂起，比如异步程序执行到某一步时需要等待的时间很长，就将此挂起，去执行其他的异步程序。await 后面只能跟异步程序或有__await__属性的对象，因为异步程序与一般程序不同。

用法：

async def func_name():
    await an_async_func()
1
2

阻塞函数处理

虽然await可以声明异步函数挂起，但是这个异步函数在实现上也应该是异步的。

问题

例如：如下代码所示，当我们利用asyncio和requests来进行并发请求时，其执行过程就并不是我们认为的那样——同时发出多个请求。通过日志我们其实可以看到，这些请求还是串行的执行，当一个请求执行完并得到响应后才进行下一个请求。

import asyncio
import requests

async def query_data(url):
    async with requests.get(url) as resp:
        print(url, resp.status_code)

async def query(url):
    await query_data(url)
        
if __name__ == "__main__":
    tasks = []
    url = 'http://localhost:8080'
    for i in range(0, 3):
        tasks.append(query(url))
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

运行结果：

task 0
https://www.baidu.com 200
task 1
https://www.baidu.com 200
task 2
https://www.baidu.com 200
1
2
3
4
5
6

因为requests库的实现仍然是阻塞执行，当发出请求时，就会阻塞当前线程，一直等待请求响应，而我们的协程是运行在用户态的线程里，一旦我们的线程被阻塞，挂起，那么上述所谓的并发就无从谈起了。

解决方案

run_in_executor

AbstractEventLoop.run_in_executor(executor, func, *args): executor是一个Executor实例，如果为None则使用默认的executor；func是一个普通函数，args为func的参数。

该方法可以在一个不同的线程里执行函数，而不阻塞event loop的线程。

import asyncio
import requests

async def query_data(n, url):
    print("task %s" % n)
    loop = asyncio.get_event_loop()
    resp = await loop.run_in_executor(None, requests.get, url)
    print(url, resp.status_code)

async def query(n, url):
    await query_data(n, url)
        
if __name__ == "__main__":
    tasks = []
    url = 'https://www.baidu.com'
    for i in range(0, 3):
        tasks.append(query(i, url))
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

运行结果：

task 0
task 1
task 2
https://www.baidu.com 200
https://www.baidu.com 200
https://www.baidu.com 200
1
2
3
4
5
6

异步run_in_executor的默认执行程序是ThreadPoolExecutor，它使用Python线程。 因此，它也受GIL的影响，因此对于网络IO场景还是建议使用aiohttp，httpx等异步网络库。

其实从asyncio这个模块名就可以看出，这个模块主要是面对IO的，尤其是网络IO。因此在代码功能实现上要注意异步实现方法，切记不要因为阻塞方法的调用导致线程阻塞，从而使异步IO失效。