当前位置:   article > 正文

学校图书馆抢座 Python完成_csdn 湖南师大图书馆抢座爬虫

csdn 湖南师大图书馆抢座爬虫

脚本实现

  1. 使用postman对图书馆抢座系统的一个或者多个接口进行分析。

  2. 找到接口返回参数和需要参数之间的联系,实现登录与抢座的大体思路。

  3. 第二步是全部工作的重点和难点,解决了第二步,代码基本功能就能实现。

  4. 这里需要requests的模块,建议不需要使用urllib或者其迭代产品,前者相比于后者而言更加便捷。

脚本代码的优化

优化的部分有很多,就看自己想怎么方便的实现脚本的功能。以下简单写出几点:

  1. 本学校的抢座时间是在前一天的晚上10点半,所以我需要time模块对代码的执行时间进行控制,到时间按时完成。

  2. 当抢座不成功的时候,代码自行执行进行下一位置的的抢座功能。

  3. python代码执行不成功的时候(并不是语法错误),会中断执行。这一点对那抢座开始的前三十秒至关重要,所以为了优化代码,也可以使用try except进行异常处理。

  4. 第三条例子的发生情况可能就有ip被封的情况,这就需要ip代理。

  5. ..........

爬虫的相关知识框架

爬虫篇

简单说几句,除了python基础意外,还需要了解requests模块里面的内容和Postman的使用方法(后者不需要之道也可以)。另外若需要爬虫来爬取网页数据的话还应该懂得XPath匹配和re正,则匹配数据,前者需要了解HTML的基本框架,后者可以简单的认为是一个数学上面的公式。

反爬虫篇

  1. Header信息校验。基本包括 User-agent、Cookies、Referer和sign等。

  2. Ip限制,因为爬取速度过快或者其他原因被服务器认定为恶意程序被禁止访问。解决方法就是Ip代理,本片不细讲ip代理。

  3. Selenium自动化测试工具,可以对Javascript动态渲染的页面进行爬取内容,相比之前分析接口还是挺方便的。但是selenium的运行较慢,显然不适合图书馆的爬取。

爬虫相关代码

关于爬虫的基本知识显然就是上面这些了,可以完成大部分的爬虫工作。下面简单的说一下,图书馆的代码

  1. # 爬虫代码
  2. import json
  3. import requests
  4. # 对登录接口的分析
  5. data1 ={
  6.    "username": "",
  7.    "password": "",
  8.    "service": "",
  9.    "loginType":''
  10. }
  11. url1 = ""
  12. header1 = {
  13.    'User-Agent': '',
  14.    'Content-Type': '',
  15. }
  16. resp = requests.session()
  17. resp.post(url,headers=header1,data=data1)
  18. # 第二布
  19. # 再次验证,返回值。
  20. str = resp.text
  21. url2 = ""
  22. header2 = {
  23.    'User-Agent': '',
  24. }
  25. data2={
  26.    'service': '',
  27. }
  28. resp1 = re.post()
  29. # 对座位进行尝试预定
  30. url3= ''
  31. data3 ={
  32.    'dev_id': '',        # 座位号
  33.    'type': 'dev',
  34.    'start': '',         # 开始时间
  35.    'end': '',
  36.    'start_time': '',
  37.    'end_time': '',
  38.    'act': 'set_resv',      # 操作方式
  39.    '_': ''
  40. }
  41. header3 = {
  42. }
  43. resp2 = resp1.post()
  44. print(resp2.text)
  45. # 关闭属性
  46. res2.close()
  47. print("over!")

我们学校图书馆的WHAT WE DO

 

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/羊村懒王/article/detail/174041?site
推荐阅读
相关标签
  

闽ICP备14008679号