Python爬取CNKI论文信息_beautifulsoup爬取知网

Python爬取CNKI论文信息

记第一次爬虫实践，拜读了几篇高质量的文章后，自己动手写点东西。
使用Python爬取关键词下的论文信息：标题、链接地址、摘要、出版单位、论文类型、出版年份、下载次数、引用次数。以上信息存放在Excel表格中。
笔者使用的链接的接口是：知识搜索 http://search.cnki.net/SearchFruitless.aspx
网上给出的其他接口有：远见搜索—站得更高，看得更远！ http://yuanjian.cnki.com.cn/

具体代码如下：

#!/usr/bin/python3
# -*- coding: utf-8 -*- 
import requests
from bs4 import BeautifulSoup
from openpyxl import workbook  # 写入Excel表所用
#from openpyxl import load_workbook  # 读取Excel表所用


if __name__=="__main__":
    #  创建Excel表并写入数据
    ws = []  # 全局工作表对象
    wb = workbook.Workbook()  # 创建Excel对象
    ws = wb.active  # 获取当前正在操作的表对象
    ws.append
1
2
3
4
5
6
7
8
9
10
11
12
13