Python Flask定时调度疫情大数据爬取全栈项目实战-3.爬虫概述_flask定时调用爬虫

作者：从前慢现在也慢 | 2024-02-26 02:34:13

踩

flask定时调用爬虫

给网站发起请求，并从响应中提取需要的数据的自动化程序

通过http库，对目标网站请求，相当于自己用浏览器打开网站。

常用库：urllib，requests

服务器会返回请求的内容，一般为：html，二进制文件（视频，音频），文档，json字符串

在这里插入图片描述

寻找自己需要的信息，就是利用正则表达式或者其他python库提取自己想要的内容。

常用库：re、beautifulsoup4

在这里插入图片描述

将解析得到的数据持久化到文件或者数据库中

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/143350