python爬虫之路【4】爬取有道翻译_scrapy爬取有道翻译布局到自己的服务器

用python做个翻译小词典

• 首先确定爬取网页 http://fanyi.youdao.com/
• f12分析请求
  

显而易见，每次输入词语，就会发送post请求，返回的json数据也十分简单

• 构造请求头
  这里有几个点要注意
  
  url要去掉-o，这应该是一个小小的加密处理
  还有就是user-agenr
  最后就是form data这里，有两个加密处理的字段，网上又，我就不说了。。。
  部分代码：

# 复制url，记得去掉'_o'
    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
    # 构造请求头
    headers = {
        'User - Agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 72.0.3626.121Safari / 537.36',
        'Host': 'fanyi.youdao.com'
    }
    # 构造请求参数
    parameter = {
        'i': content,
        'from': 'zh-CHS',
        'to': 'zh-CHS',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '15519651381700',
        'sign': '6e08c6764da13606b9fce21863bfc064',
        'ts': '1551965138170',
        'bv': '33a62fdcf6913d2da91495dad54778d1',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTIME',
        'typoResult': 'false'
    }
    res = requests.get(url, params=parameter, headers=headers)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

• 最后就是得到处理的json数据，很easy的
• 最后的最后做了了gui。。。

end
源码上传至github：https://github.com/hrzzz/YoudaoSpider