Python爬取小说网站_可以爬取的小说网站

感觉好像蛮久没用更新博客了，这不准备成人高考了嘛，作为中专毕业的我来说，觉得大专证还是会有一点用处滴，所以花了点时间看书，可惜每次看书，看着看着就找周先生聊天去了，哎，不知有没有大佬教下我怎么提高看书的兴趣，鄙人感激不尽…

闲话就说到这里，今天的目标：新笔趣阁,然后我们进入搜索页面：http://www.xbiquge.la/modules/article/waps.php

今天爬点小说，说到看书，我也就在看小说的时候不瞌睡，哈哈。。

单纯的爬小说其实蛮简单的，不过今天咱们给自己增加点难度，使用requests的POST来抓取小说
requests的GET,就是字面意思了，而POST也是字面意思，与GET稍微不一样的是需要携带数据，而数据在哪呢，在网站里面，比如搜索一个本人比较喜欢的小说：间客

右下角的Form Data里面的数据就是我们要携带给requests一起解析的：

import requests
import parsel
import re

def get_url(headers,keyword):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
    }
    url = 'http://www.xbiquge.la/modules/article/waps.php'
    data = {
        'searchkey': keyword,
    }
    res = requests.post(url,data=data,headers=headers)
    res.encoding = 'utf-8'
    sreach = parsel.Selector(res.text)
    n = 0       
    href = []
    for each in sreach.xpath('//div[@id="content"]/form/table/tr')[1:]:
        href.append(each.xpath('./td/a/@href').get())     # 书籍地址
        title = each.xpath('./td/a/text()').get()        # 书籍名称
        author= each.xpath('./td[3]/text()').get()        # 作者
        n += 1
        print(str(n) +": "+ title,author)
        if n == 4:
            break

    if bool(href) == False:             # 判断是否有该书籍，如果没有，则返回main继续从头开始
        print(f"未找到{keyword},请重新输入!!")
        main()


    while True:
        choice = int(input("请按序号选择你要下载的书籍："
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32