python爬虫 笔趣阁_笔趣阁 python

导入依赖的包

import requests
import re
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
#import time #用于sleep(2)
import os
1
2
3
4
5
6

调用程序main()爬取小说

例如《玄浑道章》对应的链接url：https://www.biquge.com.cn/book/39777/

try:
    url = input('请输入要下载书的笔趣阁链接：')#输入要下载书的链接 eg：https://www.biquge.com.cn/book/39777/
    ua = UserAgent().random# 使用虚假身份
    main()#调用主函数
except Exception as result:
    a = str(result)
    print('产生的错误是：'+ a)
1
2
3
4
5
6
7

将爬虫逻辑写入main()

1.将键入的小说链接url传入函数askurl_1()，获取该小说的书名book_name与所有章节链接urllist
2.将书名book_name传入函数lord_urllist()，获取已经下载的章节链接already_urllist与这些链接存放的文件filename
3.判断所有章节链接urllist中每一个链接each_url是否已经下载，将未下载的each_url传入函数askurl_2()，获取当前章节的章名title、章回数title_index、章节内容content
4.将书名book_name、当前章节的章名title、章节内容content传入函数save()，将当前章节的章名title、章节内容content追加保存进生成的book_name.txt文档
5.将下载进度print出来，并将成功下载的章节链接each_url追加保存进文件filename，成为已经下载的章节链接already_urllist的一员

def main():
    book_name,urllist = askurl_1(url) #1
    filename,already_urllist = lord_urllist(book_name) #2

    j = 0
    print(f'该书共有{len(urllist)}章，请耐心等待') #5进度
    
    fp = open(filename, 'a', encoding='utf-8') #5开
    for each_url in urllist:#把列表里面的章节链接提取出来
        j += 1
        if each_url in already_urllist: #3
            print(f'第{j}章已经下载完成:{each_url}.') #5进度
            continue
        title,title_index,content = askurl_2(each_url) #3
        save(book_name, title, content) #4
        fp.write(each_url+'\n') #5写
        fp.flush() #5立刻写
        print(f'{title_index}刚下载完成:{each_url}.') #5进度

    print('下载完毕，感谢使用') #5进度
    fp.close() #5关
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

1. askurl_1(url)

1.将键入的小说链接url传入函数askurl_1()，获取该小说的书名book_name与所有章节链接urllist

def askurl_1(url):
    head = {
   
        'User-Agent'
1
2
3