spider-flow可视化爬虫界面从入门到放弃_spider-flow 数据库驱动

下载编译部署

官网地址

• 修改端口、数据库、存放地址、执行文件等配置（前后端不分离，配置文件端口即页面登录端口）
  spider-flow-web/src/main/resources/application.properties
  

• 初始化数据库，执行db/spiderflow.sql
  

编译

• mvn clean install
  
  

• 编译好的部署包位置

部署

启动

nohup java -jar spider-flow.jar  >/dev/null 2>&1 &
1

简单使用

输出文件方式

• 项目中自动初始化四个任务，任务输出可以输出到表（数据源管理）或者csv文件中（不指定文件后缀及路径，默认就是文本文件，位置就在项目部署更目录下）
  
  
• 执行任务
  
• 查看日志
  
• 爬取到数据，日志中会打印出来（下图即未爬取到数据，也没有输出）
  
• 创建输出表，选择输出到表，依然没有输出
  

测试了半天看不到输出文件，难道是因为没下载驱动？

下载驱动丢到对应目录下，重启，再次尝试，依然没有输出文件

可以正常执行的任务

• 爬取码云GVP
  
  

• 每日菜价
  
  
  还乱码了，改成UTF-8也乱码
  

自定义任务

参照可以正常输出的任务，尝试自定义爬虫任务，放弃吧，一点也不简单，感觉毫无章法可言

获取小说名

• 获取该页面的小说名称
  
• 找到关键字
  
• 定义各节点
  
• 定义循环节点，不然是所有的小说名输出到一条记录中
  
• 遍历输出小说名
  
• 输出
  
• 测试结果
  
• 测试输出文件
  20230805修订,截图替换为内容（搞不懂，截自己的图怎么违规了，内容也不涉及不能看的呀）

[opensource@bigdata02 spider-flow]$ cat xiaoshuo 
小说名
全民转职：死灵法师！我即是天灾
大明：我建文密探，靖难第一功臣
僵约：开门一个马小玲
各朝代观看现代建国，嬴政羡慕了
洪荒：我是牛郎
穿越聊天群！开局贩卖T病毒！
全民转职：死灵法师！我即是天灾
抗战：满级悟性，开局手搓AK
特种兵：摊牌了，我不是童子军
打造修仙大学，倭国与狗不得入内
崩坏：曝光十大反差名场面！
我，破坏神，加入超次元公会
洪荒石矶，人间清醒
修仙双穿末日，修魔的我开心坏了
大明：开局徐家嘲讽，我杀敌升级
娱乐：软饭硬吃，大蜜蜜求我低调
四合院：开局在家门口捡到秦淮茹
一升气能跑多远，我一生气就拒载
原神模拟：表白雷电真，被影追杀
家族百年，从港岛开始崛起
天生神力三千斤，我在大秦莽天下
港片：百兽爆兵，我是黑龙王
都市：爱信不信，这世上真的有龙
洪荒石矶，人间清醒
四合院：酿酒大师，开局一个酒缸
霍格沃茨：小獾能有啥坏心思呢？
破事公寓:开局躺赢诸葛大圣
高考落榜，我成了世界破坏者！
我打造圣杯战争，惊爆全球！
四合院：逆天改命的何雨柱
三国：开局继承了梁山
游戏设计师，你对狙有误解吧！
大明：开局抬棺进谏，老朱气炸了
综漫:召唤怪兽娘后，加入聊天群
悟性逆天，嬴政求我传授长生法
聊天群：人在玄幻，投资万界
四合院，52开局，悟性逆天
航海：我创造的神国被曝光了！
曝光张楚岚黑历史，被全异人追杀
让你毕业考，你竟然造大蘑菇？
娱乐：姐我不想努力了
双路飞对比，这个路飞太卷了！
[opensource@bigdata02 spider-flow]$ 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

总结

可视化给人的感觉就是简单易操作，小白都可以轻易上手，在爬虫方面算是小白，但是作为一名程序员，这一套流程走下来，我觉得一点也不简单，更别说纯小白了，主要是没有帮助文档（网站已经禁用了），只能参照执行成功的任务在那一点一点调试，具体一些语法也不清楚，所以感觉还是有难度的，我也是好奇，看了别人分享的文章，感觉好像很简单，结果发现网上一堆一样的文章，全是从官网下载的，几个gif图片，没了，简直可耻，没有亲自实验过就乱发！！！

最后都放弃了，结果参照这篇博客超详细spiderflow实践教程，又试了一把，勉强跑成功了吧！以后应该不会碰了，毕竟这玩意不安全，一不小心端上铁饭碗了！