热门标签
热门文章
- 1位图和布隆过滤器_布隆过滤器 bitmap
- 2Python基础之pyautogui模块（详细总结鼠标键盘操作）_pyautogui依次点击选择匡
- 3GAMES104：02引擎架构分层-学习笔记_游戏引擎架构
- 4QT 串口通讯
- 5企业固定资产管理的利刃：二维码固定资产管理系统
- 6vue 分布式上传文件vue-simple-uploader_vue上传文件队列样式
- 7Eclipse 无法启动的原因以及启动参数文件配置修改_eclipse的项目无法打开
- 8Flink的容错机制（checkpoint）_flink checkpointinterval
- 9Gson：GitHub 标星 18K 的 JSON 解析器，Google 出品的 Java JSON 解析器，强烈推荐！_com.google.code.gson
- 10webstorm->用webstorm连接github_webstorm怎么关联github
当前位置: article > 正文
[完整爬虫]java爬虫基础对36Kr快讯数据进行爬取以及数据筛选过滤_36氪抓取信息
作者：秋刀鱼在做梦 | 2024-08-18 18:36:13
赞
踩
36氪抓取信息
由于九月事件把爬虫推到风口浪尖
而我写这些只是分享技术
不涉及隐私等个人资料的获取
并且是在不会对对方服务器造成压力的情况下进行的爬取
特此声明
36Kr 也叫36氪,是一个我非常喜欢的网站,网罗天下资讯,而且页面整洁资讯一目了然,极大的开拓眼界,许多不管是金融方面科技方面我感觉是最新最全面,当然最终是准备爬取一下上面的资讯,当然是不会对对方服务器造成压力的情况下进行的爬取.
一.所需材料,涉及技术
-
java
-
jsoup 爬取方法
-
sql 数据库
-
一个可爱的脑子
-
当然还需要对H5结构的熟悉了解,以及json层次结构
分析数据源的方法我写过详细的博客,这里就不详细说明数据的获取方式了.
详情参考:([java爬虫]常用网页接口查找方法)这篇博客
这里就直接粘贴数据接口
https://36kr.com/api/newsflash?b_id=AAAA&per_page=BBBB主要是b_id&per_page的参数
但要记住per_page的值不能超过30
因为访问的数量越多,后台就需要读取大量数据进行组装,消耗大量资源,切记不能对对方服务器造成压力的情况下进行爬取
因为访问的数量越多,后台就需要读取大量数据进行组装,消耗大量资源,切记不能对对方服务器造成压力的情况下进行爬取
因为访问的数量越多,后台就需要读取大量数据进行组装,消耗大量资源,切记不能对对方服务器造成压力的情况下进行爬取
- 例子
- 如b_id=10005&per_page=5
- 新闻从id为10005开始,返回5条数据
- 10005,10004,10003,10002,10001
- 五条数据
代码部分会写如何获取最新的新闻数据方法
下面是真实数据
接口返回json格式数据
数据比较多,涉及到的参数也比较详细
这里就需要对json格式比较熟悉可以快速的进行数据筛选
对这种数据进行筛选的方法有很多,也有很多便利的方法
我这里就使用java 自带的String中的方法
由于是使用json格式所以新闻存储在List<Map<String,String>>格式里面
使用的"},{"进行分隔
对获取到的数据用.split()方法,分割出来
下面是代码
首先是如何获取到最新的新闻
https://36kr.com/api/newsflash?b_id=AAAA&per_page=BBBB接口需要两个值,一个是从那条新闻开始获取,一个是获取几条数据
所以获取最新的新闻就需要获取最新的新闻的ID
- /**
- * 当前最新的新闻ID
- * @return 返回 int 类型 的id
- */
- public int newID() {
- int front = 0;
- int later = 0;
- String textno1 = "";
- String newsURL = "https://36kr.com/newsflashes";
- try {
- // 爬取方法(每个人获取数据的方法不同,所以就不具体写爬取方法了)
- String information = Getinformation(newsURL);
- front = information.indexOf("newsflashList");
- textno1 = information.substring(front);
- front = textno1.indexOf("id");
- later = textno1.indexOf("project_id");
- textno1 = textno1.substring(front + 4, later - 2);
- front = Integer.parseInt(textno1);
- } catch (Exception e) {
- e.printStackTrace();
- } finally {
- return front;
- }
- }
之后就可以根据自己需要填写需要返回的新闻条数
如果是定时任务获取数据可以先获取最新id,在获取数据库内最新的新闻id,做差值
得到距离上次爬取新生成的新闻数
来准确的获取新生成的数据,节省时间,节省资源
再贴一份有关数据库做差获取新闻方法
- /**
- * 处理并返回新网址
- * @param NEWID 页面最新ID
- * @param SQLID 数据库最新ID
- * @return
- */
- public String newurl(int SQLID, int NEWID) {
- String http = "https://36kr.com/api/newsflash?b_id=AAAA&per_page=BBBB";
- String BBBB = "";
- if (SQLID == 0) {
- BBBB = "30";
- } else {
- BBBB = String.valueOf(NEWID - SQLID);
- }
- http = http.replace("AAAA", String.valueOf(NEWID));
- http = http.replace("BBBB", BBBB);
- return http;
- }
当有了接口链接就可以进行获取数据了
数据分割方法
- /**
- * 数据分割方法
- * @param information 源码
- * @return 分割后的集合
- */
- public List roughsaix(String information) {
- List<String> list = new ArrayList<String>();
- try {
- String[] Array = information.split("\\}\\,\\{");// 拆分为String数组
- for (int i = 0; i < Array.length; i++) {
- list.add(Array[i]);// 转化为集合
- }
- } catch (Exception e) {
- e.printStackTrace();
- } finally {
- return list;
- }
- }
数据筛选方法
- /**
- * 数据筛选方法
- 将刚刚分割后的数据传入
- * @param Clist
- * @return 返回整理好的数据List<Map<String, Object>>集合
- */
- public List<Map<String, Object>> ScreenText(List<String> Clist) {
- List<Map<String, Object>> listmap = new ArrayList<Map<String, Object>>();
- int front;
- int later;
- // 所提取的值
- String time;// created_at
- String ID;// id
- String title;// title
- String summary;// summary
- String newsurl;
- // 记录当前爬取详情
- try {
- for (String information : Clist) {
- Map<String, Object> map = new HashMap<String, Object>();
- front = information.indexOf("title\":\"");
- later = information.indexOf("catch_title");
- if (front != -1 && later != -1) { // 判断是否为要爬取的目标
- // title
- title = information.substring(front + 8, later - 3);
-
- front = information.indexOf("id\":");
- later = information.indexOf("project_id");
- // ID
- ID = information.substring(front + 4, later - 2);
-
-
- front = information.indexOf("description");
- later = information.indexOf("cover");
- // summary
- summary = information.substring(front + 14, later - 3);
-
- // url
- front = information.indexOf("\"news_url\":\"http");
- later = information.indexOf("user_id");
- if (front != -1) {
- newsurl = information.substring(front + 12, later - 3);
- } else {
- newsurl = null;
- }
-
- front = information.indexOf("created_at");
- later = information.indexOf("updated_at");
- // time
- time = information.substring(front + 13, later - 3);
-
- map.put("id", ID);// 数据id
- map.put("url", url);// 外部链接
- map.put("title", title);// 存储标题
- map.put("text", summary);// 新闻主体
- map.put("time", time);// 新闻时间
-
- //保存 也可以直接入库
- listmap.add(map);
-
- }
- }
- } catch (Exception e) {
- e.printStackTrace();
- } finally {
- return listmap;
- }
- }
最后将数据入库,结束
可以在服务器里设置定时任务,每半个小时获取一次新闻,保存入库
也可以在入库之后发送给自己的手机,
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/998638
推荐阅读
相关标签
