python笔记——获取网页json数据

结构代码

import json
import requests


def getjson():

    cookies = {
        'cookie' : "你的cookie"
    }

    headers = {
        # 你的请求头
    }

    # 如果是get请求，无需请求体，下面可以省略
    data = {
        # 你的请求参数
    }

    # get请求如下
    response = requests.get(
        '请求地址',
        cookies=cookies,
        headers=headers,
    )

    # post请求如下
    response = requests.post(
        '请求地址',
        cookies=cookies,
        headers=headers,
        data=data,
    )
    
    # 获取响应数据后转化字典类型
    res =json.loads(response.text)
   
    return res

if __name__ == "__main__":
    getjson()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

在这里我们了解两个函数
一个是json.loads(),另一个是json.jumps()

1. json.dumps()

dumps()函数是把字典类型转化为字符串类型
1

import json

def test():
    data = {
        'a':'1111',
        'b':'2222',
        'c':'3333',
        'd':'4444'
    }

    jsObj = json.dumps(data)

    print(data)         # 运行结果： {'a': '1111', 'c': '3333', 'b': '2222', 'd': '4444'}

    print(jsObj)        # 运行结果： {"a": "1111", "c": "3333", "b": "2222", "d": "4444"}

    print(type(data))   # 运行结果： <type 'dict'>

    print(type(jsObj))  # 运行结果： <type 'str'>

if __name__ == "__main__":
    test() 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
'
运行
运行

2. json.loads()

loads()函数是把字符串类型转化为字典类型
1

import json

def test():
    data = {
        'a':'1111',
        'b':'2222',
        'c':'3333',
        'd':'4444'
    }

    jsDumps = json.dumps(data)
    jsLoads = json.loads(jsDumps)

    print(data)         # 运行结果： {'a': '1111', 'c': '3333', 'b': '2222', 'd': '4444'}

    print(jsDumps)        # 运行结果： {"a": "1111", "c": "3333", "b": "2222", "d": "4444"}

    print(jsLoads)        # 运行结果： {'a': '1111', 'c': '3333', 'b': '2222', 'd': '4444'}

    print(type(data))   # 运行结果： <type 'dict'>

    print(type(jsDumps))  # 运行结果： <type 'str'>

    print(type(jsLoads))  # 运行结果： <type 'dict'>

if __name__ == "__main__":
    test()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
'
运行
运行

快捷书写request方式

在这里我们需要用到一个网站

https://curlconverter.com/

该网站可快速帮我们生成请求代码，包括get请求、post请求等

操作示例图

下面就是在编辑器的样子，获得response对象后即可根据业务需求进行相关的处理