devbox
小桥流水78
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

今日头条标签新闻的爬取_有文章链接爬今日头条文章

作者：小桥流水78 | 2024-08-10 13:30:51

赞

踩

有文章链接爬今日头条文章

本文主要讲，用户输入标签后，通过爬虫，可实现获取相关的新闻，将获取的新闻保存为.csv文件。

前期准备

首先导入需要的第三方库

  1. import requests
  2. import time
  3. import random
  4. import json
  5. import pandas as pd

以‘爱国’标签为例，获取的网址为：https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword=%E7%88%B1%E5%9B%BD&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1569648697670】

我们可以发现中间有一个keyword,经验告诉我们，这个就是标签，我们需要改变的的也正是这个，同时我们也该注意到url最后面有一个 timestamp，这个是时间戳，为了避免长时间使用同一个时间戳，这里需要引入time模块，生成一个即时的时间戳。

代码如下：

  1. # 输入标签名
  2. keyword = input('请输入标签名称：')
  3. # 生成时间戳
  4. timestamp = round(time.time()*1000)  
  5. # 生成url
  6. url = f'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword={keyword}&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp={timestamp}'

headers的伪装

今日头条的反爬挺厉害的，如果headers中不传入cookie,是无法多次都返回我们需要的新闻内容的，而cookie的获取有简单的方式就是复制粘贴；即打开一个标签的文章，打开开发者工具，在headers中复制cookie，如图;

headers的伪装代码如下:

  1. UserAgent_list = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
  2.                   'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
  3.                   'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36']
  4. Cookie = 'tt_webid=6741334664763835907; WEATHER_CITY=%E5%8C%97%E4%BA%AC; ' \
  5.                  'tt_webid=6741334664763835907; csrftoken=af5535d3c7e019b988ec0f93b7f1774d; ' \
  6.                  's_v_web_id=9985dd97ccfd39b145674d0955a295a1; ' \
  7.                  '__tasessionId=pj925vib61569648686929'
  8. headers = {
  9.             'User-Agent': random.choices(UserAgent_list),  # 使用random模块中的choices()方法随机从列表中提取出一个内容
  10.             'Cookie': Cookie
  11.         }

请求页面和页面解析

以

'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword=%E6%B3%95%E5%9B%BD&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1569650894434'

为例；

我们打开开发者工具点击左边第一个可以看到如下图面：

经过分析，我们可以发现新闻主要在字段'data'中:

需要注意的是：data中并非所有都是新闻，最后我发现当出现‘abstract’这个字段时，一定是新闻，这里可以借此加一个判断

点开data中的其中一个内容，如图：

而我们需要的提取的内容分别就是字段：abstract,articleurl,commentscount,datetime,read_count,title

代码实现：

  1. response = requests.get(url, headers=headers)
  2. response.encoding = 'utf-8'
  3. news_json = json.loads(response.text)
  4. news_data = news_json['data']
  5. # 创建相关的列表来保存相关的内容
  6. title_list = []
  7. news_content_list = []
  8. news_time_list = []
  9. read_count_list = []
  10. comment_count_list = []
  11. news_url_list = []
  12. news_keyword_list = []
  13. # 遍历news_data,提取相关的内容
  14. for news in news_data:
  15.     # 加入一个判断条件，判断是否为新闻
  16.     if 'abstract' in news.keys():
  17.         # 标题
  18.         title_list.append(news['title'])
  19.         # 新闻内容
  20.         news_content_list.append(news['abstract'])
  21.         # 发布时间
  22.         news_time_list.append(news['datetime'])
  23.         # 阅读量
  24.         read_count_list.append(news['read_count'])
  25.         # 评论数
  26.         comment_count_list.append(news['comment_count'])
  27.         # 新闻链接
  28.         news_url_list.append(news['article_url'])
  29.         # 新闻关键字
  30.         news_keyword_list.append(news['keyword'])
  31. # 将获取的内容组成字典
  32. news_info_dict = dict()
  33. news_info_dict['title'] = title_list
  34. news_info_dict['content'] = news_content_list
  35. news_info_dict['read_count'] = read_count_list
  36. news_info_dict['news_time'] = news_time_list
  37. news_info_dict['comment_count'] = comment_count_list
  38. news_info_dict['news_url'] = news_url_list
  39. news_info_dict['news_keyword'] = news_keyword_list

新闻内容的保存

使用pandas库的to_csv来保存成.csv文件

代码如下：

  1. news_DF = pd.DataFrame(news_info_dict)
  2. news_DF.to_csv(self.keyword+'标签的新闻内容.csv', mode='a', encoding='utf_8_sig')  # 如果使用‘utf-8’编码，还出现中文乱码，建议使用'utf_8_sig'
  3. print('文件保存成功！！')

完整代码

上面的是按顺序执行下来的，而完整代码我是用面向对象的编程方式（即使用类）

完整代码如下：

  1. # 导入所需的库
  2. import requests
  3. import json
  4. import pandas as pd
  5. import time
  6. import random
  7.  
  8. class toutiao_spider():
  9.     def __init__(self, keyword):
  10.         # 标签名
  11.         self.keyword = keyword
  12.         # 生成一个13位的时间戳
  13.         self.timestamp = round(time.time()*1000)
  14.  
  15.     def get_headers(self):
  16.         """
  17.         headers伪装：User-Agent和Cookie
  18.         :return: headers
  19.         """
  20.         UserAgent_list = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
  21.                           'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
  22.                           'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36']
  23.         Cookie = 'tt_webid=6741334664763835907; WEATHER_CITY=%E5%8C%97%E4%BA%AC; ' \
  24.                  'tt_webid=6741334664763835907; csrftoken=af5535d3c7e019b988ec0f93b7f1774d; ' \
  25.                  's_v_web_id=9985dd97ccfd39b145674d0955a295a1; ' \
  26.                  '__tasessionId=pj925vib61569648686929'
  27.  
  28.         headers = {
  29.             'User-Agent': random.choices(UserAgent_list)[0],  # 使用random模块中的choices()方法随机从列表中提取出一个内容
  30.             'Cookie': Cookie
  31.         }
  32.         return headers
  33.  
  34.     def get_news_info(self, json_data):
  35.         """
  36.         传入json格式的内容，对内容进行提取：分别提取新闻的标题及内容，发布日期，阅读量，评论数，新闻url，新闻所属的关键字
  37.         :param json_data: json格式的文本
  38.         :return: news_info_dict
  39.         """
  40.  
  41.         # 将json格式转化为字典格式
  42.         dict_data = json.loads(json_data, encoding='utf-8')
  43.         # 新闻的主要内容都在dict_data中的data字段中
  44.         news_data = dict_data['data']
  45.         # 创建相关的列表来保存相关的内容
  46.         title_list = []
  47.         news_content_list = []
  48.         news_time_list = []
  49.         read_count_list = []
  50.         comment_count_list = []
  51.         news_url_list = []
  52.         news_keyword_list = []
  53.         # 遍历news_data,提取相关的内容
  54.         for news in news_data:
  55.             # 加入一个判断条件，判断是否为新闻
  56.             if 'abstract' in news.keys():
  57.                 # 标题
  58.                 title_list.append(news['title'])
  59.                 # 新闻内容
  60.                 news_content_list.append(news['abstract'])
  61.                 # 发布时间
  62.                 news_time_list.append(news['datetime'])
  63.                 # 阅读量
  64.                 read_count_list.append(news['read_count'])
  65.                 # 评论数
  66.                 comment_count_list.append(news['comment_count'])
  67.                 # 新闻链接
  68.                 news_url_list.append(news['article_url'])
  69.                 # 新闻关键字
  70.                 news_keyword_list.append(news['keyword'])
  71.         # 将获取的内容组成字典
  72.         news_info_dict = dict()
  73.         news_info_dict['title'] = title_list
  74.         news_info_dict['content'] = news_content_list
  75.         news_info_dict['read_count'] = read_count_list
  76.         news_info_dict['news_time'] = news_time_list
  77.         news_info_dict['comment_count'] = comment_count_list
  78.         news_info_dict['news_url'] = news_url_list
  79.         news_info_dict['news_keyword'] = news_keyword_list
  80.         return news_info_dict
  81.  
  82.     def save_to_csv(self, news_info_dict):
  83.         """
  84.         使用pandas中的to_csv()将新闻内容保存为.csv 文件
  85.         :param news_info_dict: 新闻内容字典
  86.         :return:
  87.         """
  88.  
  89.         news_DF = pd.DataFrame(news_info_dict)
  90.         news_DF.to_csv(self.keyword+'标签的新闻内容.csv', mode='a', encoding='utf_8_sig')  # 如果使用‘utf-8’编码，还出现中文乱码，建议使用'utf_8_sig'
  91.         print('文件保存成功！！')
  92.  
  93.     def get_response(self):
  94.         """
  95.         请求页面
  96.         :return:json_data
  97.         """
  98.  
  99.         # 拼接url
  100.         url = f'https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=0&format=json&keyword={self.keyword}&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp={self.timestamp}'
  101.         # 获取headers
  102.         headers = self.get_headers()
  103.         # 请求页面
  104.         response = requests.get(url=url, headers=headers)
  105.         if response.status_code == 200:
  106.             print('请求成功！！')
  107.         else:
  108.             print('请求失败，正在尝试发起请求！！')
  109.             self.get_response()
  110.         json_data = response.text
  111.         return json_data
  112.  
  113.     def run(self):
  114.         """
  115.         主运行函数
  116.         :return:
  117.         """
  118.         json_data = self.get_response()
  119.         news_info_dict = self.get_news_info(json_data)
  120.         self.save_to_csv(news_info_dict)
  121.  
  122.  
  123. if __name__ == '__main__':
  124.      spider = toutiao_spider(keyword='爱国')
  125.      spider.run()

以上就是本期的内容，本文如果存在不足和错误欢迎指出，谢谢大家的阅读！！！

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号