赞
踩
异步协程
1. event_loop
2. coroutine
中文翻译叫协程,在 Python 中昌指代为协程对象类型,可以将协程对象注册到时间循环中被调用。使用 async 关键字来定义的方法在调用时不会立即执行,而是返回一个协程对象。
总耗时大概是2.65秒,你是不是觉得这就很快了?其实还有更快的代码:
大约0.98秒就可以爬完所有的网页。
这是因为第一种方法并不是真正的异步请求,在异步协程中如果出现同步模块相关的代码则无法实现异步,比如requests.get()属于同步模块的代码。
要想实现真正的异步协程爬虫必须使用基于异步的网络请求模块,所以要使用 aiohttp 模块,这个模块需要安装:
它的使用与 requests 模块类似,需要注意的是,aiohttp 获取响应数据操作之前一定要使用 await 进行挂起。
在执行协程的时候,如果遇到了 await,那么就会将当前协程挂起,转而执行其它的协程,直到其它协程也挂起或执行完毕,再进行下一个协程的执行。
想学python的小伙伴可以vx关注我:芝麻代理
学习视频免费分享
回复资料分享即可领取
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。