python爬虫实战1-获取当当网近30日好评榜前500本书籍_爬取当当网top前50的书籍并可视化

1、首先打开当当网，点击好评榜，选择近30日，此时浏览器中的URL复制一下，备用

http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1

2、每一页显示20本书，点击下一页可以发现URL变化了，但是只有最后一个数变化，http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-2，对应页数

3、F12打开开发者工具，选取页面中的元素，像下面的截图一样，可以找到对应的内容所对应的html代码，这样子到时候就可以通过正则匹配到我们想要的元素了

4、说完思路就可以写代码了，python部分，用到requests模块，获取到页面代码之后，通过正则匹配到对应的内容，最后保存到文本中。

5、首先要获取页面的html代码

def get_html(url):
    # 设置请求头，从浏览器复制的，可以没有
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
    }
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
    except Exception as e:
        print(e)
        return False
'
运行
运行

6、获取到html后就需要用正则匹配获取想要的内容啦，用yield可以节约内存

def parse_result(html):
    pattern = re.compile(r'<li>.*?list_num.*?(\d+).</div>.*?<img src="(.*?)".*?title="(.*?)".*?<span class="tuijian">'
                         r'(.*?)</span>.*?class="publisher_info">.*?target="_blank">(.*?)</a>.*?class="biaosheng">'
                         r'.*?<span>(.*?)</span>.*?class="price_n">&yen;(.*?)</span>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            "range": item[0],
            "img": item[1],
            "title": item[2],
            "recommend": item[3],
            "author": item[4],
            "star": item[5],
            "price": item[6]
        }
'
运行
运行

7、获取到内容之后呢，就可以写入文本啦

def write_item_to_file(item):
    print("write data to book.txt")
    with open(PATH, 'a', encoding="UTF-8") as f:
        f.write(json.dumps(item, ensure_ascii=False) + '\n')
'
运行
运行

8、整个串起来，这样就把一页的内容提取出来并存到文本中啦

def get_books_info_of_current_page(page):
    url = "http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-" + str(page)
    html = get_html(url)
    if html:
        items = parse_result(html)
        for item in items:
            write_item_to_file(item)
    else:
        print("get {} page failed".format(page))
'
运行
运行

9、最后取25页，就是排名前500的书籍啦

if __name__ == '__main__':
    if os.path.exists(PATH):
        os.remove(PATH)
    for i in range(1, 26):
        get_books_info_of_current_page(i)

10、看看出来的效果吧，