devbox
小惠珠哦
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

python 大学排行网站全部排行数据_python大学排行榜分析

作者：小惠珠哦 | 2024-07-08 08:20:33

赞

踩

python大学排行榜分析

RANKINGS_CRAWLER

中国大学排名,中国两岸四地排名,全球体育类院系大学排行,世界大学学术排名

中国最好学科排名,中国大学专业排名,世界一流学科排名(每个专业学科排行都有)

(方法跟实际代码有变动)

方法一:

获取中国大学排名,中国两岸四地排名,全球体育类院系大学排行,世界大学学术排名
1)使用headers,coohie模拟浏览器并登陆
2)通过get_payload_js(url)获取对应的payload_js(数据存储在这个包里面)
3)使用get_params()获取网页内容中参数的映射关系
4)使用re.findall()正则匹配所有相关数据,使用循环通过get_data()及正则匹配方式将排名的每一个大学数据各自存在字典里面,最后通过.to.csv()写入文件里面 

方法二:

获取中国最好学科排名,中国大学专业排名,世界一流学科排名,
1)使用headers,coohie模拟浏览器并登陆
2)通过requests.get()获取网页内容并返回保存为一个Response对象
3)使用get_params()获取网页内容中参数的映射关系
4)使用re.findall()正则匹配所有相关数据,使用循环通过get_data()及正则匹配方式获取对应学科或专业的编码及名字存为字典形式

5)通过resp.json()获取网页内容返回json格式,并将各个学校信息循环写入字典里,最后通过.to.csv()写入文件里面 

完整项目链接：基于python 的爬虫及flask框架web大屏交互式可视化

https://download.csdn.net/download/weixin_66397563/87651644?spm=1001.2014.3001.5503

注意: 本文以学习技术为主,不可以用于非法行为, 如有侵权请联系删除

  1. import requests
  2. import re
  3. import os
  4. import pandas as pd
  5.  
  6. cookie = '''Hm_lvt_af1fda4748dacbd3ee2e3a69c3496570=1656413001,1656428399,1656458742,1656466843; TOKEN=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2NTY0ODU5OTMsImp0aSI6IjI3MzA0NSIsImlzcyI6IjE1MCoqKio0NTcyIn0.S6wbuYOwHzcV-VTkCB3MNxy7L5t1mpWJVv-NCsXzJn0; Hm_lpvt_af1fda4748dacbd3ee2e3a69c3496570=1656470377'''
  7. headers = {
  8.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.7 Safari/537.36',
  9.  
  10.     'Cookie': cookie}
  11. # 防反爬虫,模拟浏览器
  12.  
  13. b1 = "data/软科排行/"
  14. if not os.path.exists(b1) or not os.path.isdir(b1):
  15.     os.makedirs(b1)
  16.  
  17. s1 = os.path.join(b1, "中国大学排名/")
  18. if not os.path.exists(s1):
  19.     os.makedirs(s1)
  20.  
  21. s2 = os.path.join(b1, "中国最好学科排名/")
  22. if not os.path.exists(s2):
  23.     os.makedirs(s2)
  24.  
  25. s3 = os.path.join(b1, "中国大学专业排名/")
  26. if not os.path.exists(s3):
  27.     os.makedirs(s3)
  28.  
  29. s4 = os.path.join(b1, "世界大学学术排名/")
  30. if not os.path.exists(s4):
  31.     os.makedirs(s4)
  32.  
  33. s5 = os.path.join(b1, "世界一流学科排名/")
  34. if not os.path.exists(s5):
  35.     os.makedirs(s5)
  36.  
  37. s6 = os.path.join(b1, "中国两岸四地大学排名/")
  38. if not os.path.exists(s6):
  39.     os.makedirs(s6)
  40.  
  41. s7 = os.path.join(b1, "全球体育类院系学术排名/")
  42. if not os.path.exists(s7):
  43.     os.makedirs(s7)
  44.  
  45.  
  46. def get_payload_js(url):
  47.     # 每个url的 payload.js 是不一样的通过这个函数获取,返回对应数据
  48.  
  49.     resp = requests.get(url, headers=headers)
  50.     if resp.status_code == 404:
  51.         return None
  52.     # 状态值为404,获取失败,榜单不存在的情况
  53.     # 正则匹配payload.js
  54.     payload_href = re.findall(r'/_nuxt/static/(.*?)/payload\.js"', resp.text, re.S)
  55.     payload_href = payload_href[0]
  56.     js_url = "https://www.shanghairanking.cn/_nuxt/static/{}/payload.js".format(payload_href)
  57.     resp2 = requests.get(js_url, headers=headers)
  58.     html = resp2.text
  59.     return html
  60.  
  61.  
  62. def get_num(s):
  63.     s = s.split("-")[0]
  64.     return int(s)
  65.  
  66.  
  67. # 对字符串进行分割并返回一个列表
  68.  
  69.  
  70. def get_bcur_data(year):
  71.     # 获取中国大学排名
  72.     # https://www.shanghairanking.cn/_nuxt/static/1655530991/rankings/bcur/201511/payload.js
  73.     url = f"https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year={year}"
  74.     resp = requests.get(url, headers=headers)
  75.     if resp.status_code == 404:
  76.         return None
  77.     data = resp.json()
  78.  
  79.     if year in [2022, 2021, 2020]:
  80.         k = "办学层次"
  81.     else:
  82.         k = "生源质量"
  83.     items = {
  84.         "排名": [],
  85.         "学校名称": [],
  86.         "省市": [],
  87.         "类型": [],
  88.         "总分": [],
  89.         k: [],
  90.     }
  91.     for i in data['data']['rankings']:
  92.         items['排名'].append(i['ranking'])
  93.         items['学校名称'].append(i['univNameCn'])
  94.         items['省市'].append(i['province'])
  95.         items['类型'].append(i['univCategory'])
  96.         items['总分'].append(i['score'])
  97.         if year == 2015:
  98.             items[k].append(i['indData']['1'])
  99.         if year == 2016:
  100.             items[k].append(i['indData']['10'])
  101.         if year == 2017:
  102.             items[k].append(i['indData']['19'])
  103.         if year == 2018:
  104.             items[k].append(i['indData']['28'])
  105.         if year == 2019:
  106.             items[k].append(i['indData']['38'])
  107.         if year == 2020:
  108.             items[k].append(i['indData']['59'])
  109.         if year == 2021:
  110.             items[k].append(i['indData']['159'])
  111.         if year == 2022:
  112.             items[k].append(i['indData']['271'])
  113.     return items
  114.  
  115.  
  116. def get_rtugc_data(year):
  117.     # 中国两岸四地大学排名
  118.     url = "https://www.shanghairanking.cn/rankings/rtugc/{}".format(year)
  119.     payload_js = get_payload_js(url)
  120.     if not payload_js:
  121.         return None
  122.     params = get_params(payload_js)
  123.     data = re.findall(r'\{ranking(.*?)\},', payload_js, re.S)
  124.     items = {
  125.         "排名": [],
  126.         "学校名称": [],
  127.         "国家/地区": [],
  128.         "总分": [],
  129.         "研究生比例": [],
  130.     }
  131.     for i, _ in enumerate(data):
  132.         _ = "ranking" + _
  133.  
  134.         rank = get_data(_, r'ranking\:(.*?)\,', params)
  135.         univNameCn = get_data(_, r'univNameCn\:(.*?)\,', params)
  136.         score = get_data(_, r'score\:(.*?)\,', params)
  137.         region = get_data(_, r'region\:(.*?)\,', params)
  138.         indData = get_data(_, r'data\:\{\"(.*?)\"\:(.*?)\,', params)
  139.         items['排名'].append(rank)
  140.         items['学校名称'].append(univNameCn)
  141.         items['国家/地区'].append(region)
  142.         items['总分'].append(score)
  143.         items['研究生比例'].append(indData)
  144.         # 匹配对应数据并写入字典里面
  145.     return items
  146.  
  147.  
  148. def get_grsssd_data(year):
  149.     # 全球体育类院系学术排名
  150.     url = "https://www.shanghairanking.cn/rankings/grsssd/{}".format(year)
  151.     payload_js = get_payload_js(url)
  152.     if not payload_js:
  153.         return None
  154.     params = get_params(payload_js)
  155.     data = re.findall('\{ranking(.*?)\},', payload_js, re.S)
  156.     items = {
  157.         "排名": [],
  158.         "学校名称": [],
  159.         "国家/地区": [],
  160.         "总分": [],
  161.         "论文数": [],
  162.     }
  163.     for i, _ in enumerate(data):
  164.         _ = "ranking" + _
  165.         rank = get_data(_, 'ranking\:(.*?)\,', params)
  166.         univNameCn = get_data(_, 'univNameCn\:(.*?)\,', params)
  167.         score = get_data(_, 'score\:(.*?)\,', params)
  168.         region = get_data(_, 'region\:(.*?)\,', params)
  169.         indData = get_data(_, 'indData\:\{\"(.*?)\"\:(.*?)\,', params)
  170.         items['排名'].append(rank)
  171.         items['学校名称'].append(univNameCn)
  172.         items['国家/地区'].append(region)
  173.         if score:
  174.             items['总分'].append(score)
  175.         else:
  176.             items['总分'].append('')
  177.         items['论文数'].append(indData)
  178.     return items
  179.  
  180.  
  181. def get_arwu_data(year):
  182.     # 世界大学学术排名
  183.     url = f"https://www.shanghairanking.cn/api/pub/v1/arwu/rank?year={year}"
  184.     print(url)
  185.     resp = requests.get(url, headers=headers)
  186.     data = resp.json()
  187.     if year in '2003':
  188.         k = "教师获奖"
  189.     else:
  190.         k = "校友获奖"
  191.     items = {
  192.         "排名": [],
  193.         "学校名称": [],
  194.         "国家/地区": [],
  195.         "排名(国家/地区)": [],
  196.         "总分": [],
  197.         k: [],
  198.     }
  199.     inds = {_['nameCn']: _['code'] for _ in data['data']['inds']}
  200.     # 字典生成式
  201.     for r in data['data']['rankings']:
  202.         items['排名'].append(r['ranking'])
  203.         items['学校名称'].append(r['univNameCn'])
  204.         items['国家/地区'].append(r['region'])
  205.         items['排名(国家/地区)'].append(r['regionRanking'])
  206.         items['总分'].append(r['score'])
  207.         if k in inds:
  208.             items[k].append(r['indData'].get(inds[k], "0"))
  209.         else:
  210.             items[k].append('')
  211.     return items
  212.  
  213.  
  214. def get_bcsr_name(year):
  215.     # 获取中国最好学科排名的学科编码及名称
  216.     # 2017 https://www.shanghairanking.cn/_nuxt/static/1655530991/rankings/bcsr/2017/payload.js
  217.     url = f"https://www.shanghairanking.cn/_nuxt/static/1655530991/rankings/bcsr/{year}/payload.js"
  218.     resp = requests.get(url, headers=headers)
  219.     params = get_params(resp.text)
  220.     data = re.findall('\{code(.*?)\},', resp.text, re.S)
  221.     id_items = []
  222.     for _ in data:
  223.         _ = "code" + _
  224.         _id = get_data(_, 'code\:(.*?)\,', params)
  225.         if len(_id) <= 2:
  226.             continue
  227.         nameCn = get_data(_, 'nameCn\:(.*?)\,', params)
  228.         id_items.append({"id": _id, "name": nameCn})
  229.     return id_items
  230.  
  231.  
  232. def get_bcsr_data(id_s, year):
  233.     # 获取中国最好学科排名的学科编码及名称对应的排行榜
  234.     url = f"https://www.shanghairanking.cn/api/pub/v1/bcsr/rank?target_yr={year}&yr={year - 1}&subj_code={id_s}"
  235.     resp = requests.get(url, headers=headers)
  236.     data = resp.json()
  237.     items = {
  238.         f"{year}排名": [],
  239.         f"{year - 1}排名": [],
  240.         "全部层次": [],
  241.         "学校名称": [],
  242.         "总分": []
  243.     }
  244.     for j in data['data']['rankings']:
  245.         items[f"{year}排名"].append(j['ranking'])
  246.         if j['contrastRanking'] and j['contrastRanking'].get(f"{year - 1}"):
  247.             items[f"{year - 1}排名"].append(j['contrastRanking'].get(f"{year - 1}"))
  248.         else:
  249.             items[f"{year - 1}排名"].append('')
  250.         items['全部层次'].append(j['rankPctTop'])
  251.         items['学校名称'].append(j['univNameCn'])
  252.         items['总分'].append(j['score'])
  253.     return items
  254.  
  255.  
  256. def get_gras_name(year):
  257.     # 获取世界一流学科排名排名的学科编码及名称
  258.     # https://www.shanghairanking.cn/_nuxt/static/1655530313/rankings/gras/2021/payload.js
  259.     if year in [2019, 2020]:
  260.         url = f"https://www.shanghairanking.cn/_nuxt/static/1655530991/rankings/gras/{year}/payload.js"
  261.     else:
  262.         url = f"https://www.shanghairanking.cn/_nuxt/static/1655530313/rankings/gras/{year}/payload.js"
  263.     resp = requests.get(url, headers=headers)
  264.     params = get_params(resp.text)
  265.     data = re.findall('\{code(.*?)\},', resp.text, re.S)
  266.     id_items = []
  267.     for _ in data:
  268.         _ = "code" + _
  269.         _id = get_data(_, 'code\:(.*?)\,', params)
  270.         if len(_id) <= 4:
  271.             continue
  272.         nameCn = get_data(_, 'nameCn\:(.*?)\,', params)
  273.         id_items.append({"id": _id, "name": nameCn})
  274.     return id_items
  275.  
  276.  
  277. def get_gras_data(id_s, year):
  278.     # 获取世界一流学科排名排名的学科编码及名称对应的排行榜
  279.     url = f"https://www.shanghairanking.cn/api/pub/v1/gras/rank?year={year}&subj_code={id_s}"
  280.     resp = requests.get(url, headers=headers)
  281.     data = resp.json()
  282.     if year != 2020 | 2021:
  283.         k = "论文总数"
  284.     else:
  285.         k = "重要期刊论文数"
  286.     items = {
  287.         f"{year}排名": [],
  288.         "学校名称": [],
  289.         "国家/地区": [],
  290.         "总分": [],
  291.         k: [],
  292.     }
  293.     inds = {_['nameCn']: _['code'] for _ in data['data']['inds']}
  294.     for j in data['data']['rankings']:
  295.         items[f"{year}排名"].append(j['ranking'])
  296.         items['学校名称'].append(j['univNameCn'])
  297.         items['国家/地区'].append(j['region'])
  298.         items['总分'].append(j['score'])
  299.         if k in inds:
  300.             items[k].append(j['indData'].get(inds[k], "0"))
  301.         else:
  302.             items[k].append('')
  303.     return items
  304.  
  305.  
  306. def get_bcmr_name():
  307.     # 获取中国大学专业排名的专业编码及名称
  308.     url = "https://www.shanghairanking.cn/rankings/bcmr/2021"
  309.     payload_js = get_payload_js(url)
  310.     if not payload_js:
  311.         return None
  312.     params = get_params(payload_js)
  313.     data = re.findall('name=(.*?);(.*?)code=(.*?);', payload_js, re.S)
  314.     id_items = []
  315.     for _ in data:
  316.         name = _[0]
  317.         if name in params:
  318.             name = params[name]
  319.         name = name.replace('"', "")
  320.  
  321.         _id = _[-1]
  322.         if _id in params:
  323.             _id = params[_id]
  324.         _id = _id.replace('"', "")
  325.  
  326.         if len(_id) <= 4:
  327.             continue
  328.         id_items.append({"id": _id, "name": name})
  329.     return id_items
  330.  
  331.  
  332. def parse(p):
  333.     p = p.replace('"', "")
  334.     if p == "null":
  335.         return None
  336.     if p == "false":
  337.         return False
  338.     return p
  339.  
  340.  
  341. # 将js里面的null及false转为python里面的None,False,pyhon里面必须大写,将''去除
  342.  
  343.  
  344. def get_data(s, re_t, params):
  345.     k = re.findall(re_t, s, re.S)[0]
  346.     if isinstance(k, tuple):
  347.         k = k[-1]
  348.     if k in params:
  349.         k = params[k]
  350.     else:
  351.         k = k.replace('"', "")
  352.     return k
  353.  
  354.  
  355. def get_params(payload_js):
  356.     params1 = re.findall('function\((.*?)\)', payload_js, re.S)[0].split(",")
  357.     params1 = [x.strip() for x in params1]  # 参数列表
  358.     params2 = [parse(_) for _ in
  359.                re.findall("""}\((.*?)\)""", payload_js, re.S)[0].replace("\n", "").replace('"2021,2020"',
  360.                                                                                            '"2021|2020"').split(
  361.                    ",")]  # 值的列表
  362.     # 映射关系
  363.     params = {x: y for x, y in zip(params1, params2)}
  364.     return params
  365.  
  366.  
  367. # 获取参数对应的payload_js数据,
  368.  
  369.  
  370. def get_bcmr_data(id_s):
  371.     # 获取中国大学专业排名排名的学科编码及名称对应的排行榜
  372.     url = f"https://www.shanghairanking.cn/api/pub/v1/bcmr/rank?year=2021&majorCode={id_s}"
  373.     resp = requests.get(url, headers=headers)
  374.     data = resp.json()
  375.     items = {
  376.         "评级": [],
  377.         "排名": [],
  378.         "学校名称": [],
  379.         "省市": [],
  380.         "总分": [],
  381.  
  382.     }
  383.  
  384.     # inds = {_['nameCn']: _['code'] for _ in data['data']['inds']}
  385.     for j in data['data']['rankings']:
  386.         items["评级"].append(j['grade'])
  387.         items["排名"].append(j['ranking'])
  388.         items['学校名称'].append(j['univNameCn'])
  389.         city = j['city'] if j['city'] else j['province']
  390.         items['省市'].append(city)
  391.  
  392.         # items['省市'].append(j['province'])
  393.  
  394.         items['总分'].append(j['score'])
  395.     return items
  396.  
  397.  
  398. def mune():
  399.     print("RANKINGS爬虫启动")
  400.     pid = os.getpid()
  401.     print("pid:", pid)
  402.     with open("./data/RANKINGS_pid.txt", "w") as f:
  403.         f.write(str(pid))
  404.     begin_year = 2003
  405.     while begin_year <= 2022:
  406.         # 总目录下如果没有年份子目录,或者年份子目录不在总目录下则在总目录下建立一个年份子目录
  407.         if begin_year >= 2015:
  408.             s1_d = os.path.join(s1, str(begin_year))
  409.             if not os.path.exists(s1_d):
  410.                 os.makedirs(s1_d)
  411.             ch1 = get_bcur_data(begin_year)
  412.             if ch1:
  413.                 file_name = os.path.join(s1_d, "中国大学排名.csv")
  414.                 # 在年份子目录下建立对应排名文件
  415.                 pd.DataFrame(ch1).to_csv(file_name, index=False)
  416.                 # 写入数据
  417.  
  418.         if 2011 <= begin_year <= 2020:
  419.             s6_d = os.path.join(s6, str(begin_year))
  420.             if not os.path.exists(s6_d):
  421.                 os.makedirs(s6_d)
  422.             c2 = get_rtugc_data(begin_year)
  423.             if c2:
  424.                 file_name = os.path.join(s6_d, "中国两岸四地大学排名.csv")
  425.                 pd.DataFrame(c2).to_csv(file_name, index=False)
  426.  
  427.         if begin_year in [2016, 2017, 2018, 2020, 2021]:
  428.             s7_d = os.path.join(s7, str(begin_year))
  429.             if not os.path.exists(s7_d):
  430.                 os.makedirs(s7_d)
  431.             c3 = get_grsssd_data(begin_year)
  432.             if c3:
  433.                 file_name = os.path.join(s7_d, "全球体育类院系学术排名.csv")
  434.                 pd.DataFrame(c3).to_csv(file_name, index=False)
  435.  
  436.         if 2017 <= begin_year <= 2021:
  437.             s2_d = os.path.join(s2, str(begin_year))
  438.             if not os.path.exists(s2_d):
  439.                 os.makedirs(s2_d)
  440.             for rk in get_bcsr_name(begin_year):  # 中国最好学科排名
  441.                 c4 = get_bcsr_data(rk['id'], begin_year)
  442.                 if c4:
  443.                     file_name = os.path.join(s2_d, rk['name'] + ".csv")
  444.                     pd.DataFrame(c4).to_csv(file_name, index=False)
  445.  
  446.             s5_d = os.path.join(s5, str(begin_year))
  447.             if not os.path.exists(s5_d):
  448.                 os.makedirs(s5_d)
  449.             for gr in get_gras_name(begin_year):  # 世界一流学科排名
  450.                 c5 = get_gras_data(gr['id'], begin_year)
  451.                 if c5:
  452.                     file_name = os.path.join(s5_d, gr['name'] + ".csv")
  453.                     pd.DataFrame(c5).to_csv(file_name, index=False)
  454.  
  455.         if begin_year in [2021, 2022]:
  456.             print(begin_year)
  457.             s3_d = os.path.join(s3, str(begin_year))
  458.             if not os.path.exists(s3_d):
  459.                 os.makedirs(s3_d)
  460.             for zr in get_bcmr_name():  # 中国大学专业排名
  461.                 c6 = get_bcmr_data(zr['id'])
  462.                 if c6:
  463.                     file_name = os.path.join(s3_d, zr['name'] + ".csv")
  464.                     pd.DataFrame(c6).to_csv(file_name, index=False)
  465.         if 2003 <= begin_year <= 2021:
  466.             s4_d = os.path.join(s4, str(begin_year))
  467.             if not os.path.exists(s4_d):
  468.                 os.makedirs(s4_d)
  469.             c7 = get_arwu_data(str(begin_year))
  470.             file_name = os.path.join(s4_d, "世界大学学术排名.csv")
  471.             pd.DataFrame(c7).to_csv(file_name, index=False)
  472.         begin_year += 1
  473.  
  474.  
  475. if __name__ == '__main__':
  476.     begin_year = 2003
  477.     while begin_year <= 2022:
  478.         # 总目录下如果没有年份子目录,或者年份子目录不在总目录下则在总目录下建立一个年份子目录
  479.         if begin_year >= 2015:
  480.             s1_d = os.path.join(s1, str(begin_year))
  481.             if not os.path.exists(s1_d):
  482.                 os.makedirs(s1_d)
  483.             ch1 = get_bcur_data(begin_year)
  484.             if ch1:
  485.                 file_name = os.path.join(s1_d, "中国大学排名.csv")
  486.                 # 在年份子目录下建立对应排名文件
  487.                 pd.DataFrame(ch1).to_csv(file_name, index=False)
  488.                 # 写入数据
  489.  
  490.         if 2011 <= begin_year <= 2020:
  491.             s6_d = os.path.join(s6, str(begin_year))
  492.             if not os.path.exists(s6_d):
  493.                 os.makedirs(s6_d)
  494.             c2 = get_rtugc_data(begin_year)
  495.             if c2:
  496.                 file_name = os.path.join(s6_d, "中国两岸四地大学排名.csv")
  497.                 pd.DataFrame(c2).to_csv(file_name, index=False)
  498.  
  499.         if begin_year in [2016, 2017, 2018, 2020, 2021]:
  500.             s7_d = os.path.join(s7, str(begin_year))
  501.             if not os.path.exists(s7_d):
  502.                 os.makedirs(s7_d)
  503.             c3 = get_grsssd_data(begin_year)
  504.             if c3:
  505.                 file_name = os.path.join(s7_d, "全球体育类院系学术排名.csv")
  506.                 pd.DataFrame(c3).to_csv(file_name, index=False)
  507.  
  508.         if 2017 <= begin_year <= 2021:
  509.             s2_d = os.path.join(s2, str(begin_year))
  510.             if not os.path.exists(s2_d):
  511.                 os.makedirs(s2_d)
  512.             for rk in get_bcsr_name(begin_year):  # 中国最好学科排名
  513.                 c4 = get_bcsr_data(rk['id'], begin_year)
  514.                 if c4:
  515.                     file_name = os.path.join(s2_d, rk['name'] + ".csv")
  516.                     pd.DataFrame(c4).to_csv(file_name, index=False)
  517.  
  518.             s5_d = os.path.join(s5, str(begin_year))
  519.             if not os.path.exists(s5_d):
  520.                 os.makedirs(s5_d)
  521.             for gr in get_gras_name(begin_year):  # 世界一流学科排名
  522.                 c5 = get_gras_data(gr['id'], begin_year)
  523.                 if c5:
  524.                     file_name = os.path.join(s5_d, gr['name'] + ".csv")
  525.                     pd.DataFrame(c5).to_csv(file_name, index=False)
  526.  
  527.         if begin_year in [2021,2022]:
  528.             print(begin_year)
  529.             s3_d = os.path.join(s3, str(begin_year))
  530.             if not os.path.exists(s3_d):
  531.                 os.makedirs(s3_d)
  532.             for zr in get_bcmr_name():  # 中国大学专业排名
  533.                 c6 = get_bcmr_data(zr['id'])
  534.                 if c6:
  535.                     file_name = os.path.join(s3_d, zr['name'] + ".csv")
  536.                     pd.DataFrame(c6).to_csv(file_name, index=False)
  537.         if 2003 <= begin_year <= 2021:
  538.             s4_d = os.path.join(s4, str(begin_year))
  539.             if not os.path.exists(s4_d):
  540.                 os.makedirs(s4_d)
  541.             c7 = get_arwu_data(str(begin_year))
  542.             file_name = os.path.join(s4_d, "世界大学学术排名.csv")
  543.             pd.DataFrame(c7).to_csv(file_name, index=False)
  544.         begin_year += 1

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号