怎么使用爬虫下载文件—requests的get方法（Python）_requests.get下载地址

主要以下载图片和PDF文件为样例

图片

方法一：这种方法不适合下载大文件

import requests

url = "https://ps.ssl.qhimg.com/dmfd/420_627_/t01a4ad20545ed7aabe.jpg"

img = requests.get(url).content  #这里必须用.content而不能用text

with open("meizi.jpg", "wb") as f:
    f.write(img)
1
2
3
4
5
6
7
8

文件

方法二：即可下载小文件也可下载大文件

import requests

url = "https://arxiv.org/pdf/1904.03964.pdf"

r = requests.get(url, stream=True)    #下载这篇论文需要科学上网

with open("artticle.pdf", "wb") as f:
    for chunk in r.iter_content(chunk_size=512):
        f.write(chunk)
1
2
3
4
5
6
7
8
9

你可以用第一种方法下载这篇论文，但是会显示内存不足。

详细内容参阅官方文档中文版：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html