热门标签
热门文章
- 1【纯干货】深度学习各算法的优缺点和适用场景！建议收藏。（上篇）_深度学习算法方案的优缺点
- 2一条完美精确匹配各种url网址的正则表达式_网址正则表达式
- 3Python实现视频自动打码功能，避免看到羞羞的画面_浏览视频时自动打马赛克
- 4OSPF邻居建立过程详解_ospf建立过程
- 5大数据入门实践一：mac安装Hadoop，Hbase，FLume
- 6PostgreSQL源码分析——CREATE CAST
- 7怎么成为it大神
- 8网络安全等级保护（概念）_空网络安全等级保护定义
- 92021年起重机司机(限桥式起重机)考试资料及起重机司机(限桥式起重机)模拟考试_桥式起重机载荷是额定载荷的多少
- 10R 数据可视化 —— 对角线分割热图_对角线热图
当前位置: article > 正文
Python学习之路-爬虫（四大名著）_网络爬取四大名著四本所有章节
作者：人工智能uu | 2024-06-24 02:13:20
赞
踩
网络爬取四大名著四本所有章节
今天继续学习，爬取四大名著，内容来自静态网站http://www.purepen.com/index.html
目标：
- 每部名著单独一个文件夹
- 每回单独一个文件，格式：数字.章节名.txt，eg：1.甄士隐梦幻识通灵 贾雨村风尘怀闺秀.txt
- 去掉html中的换行和其他元素，只保留段落的换行
其他
因为编写代码边调试，每次完全重新执行比较慢（一部书100-120回），增加了文件名判断逻辑，已经爬下来的，就不重复爬了
注意：需要自己手工创建4个同名目录（后续再回来更新）
遇到的问题：
html解析时，遇到特殊字符，text()无法完整获取全部内容，如图
最终通过调整解析字符集
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/751371
推荐阅读
相关标签
