Python爬虫大作业+数据可视化分析（抓取python职位）_基于python职位的数据获取及可视化分析

目录

一、抓取并解析数据

1.导入相关库

2、获取网页信息

3.数据清洗

4.爬取结果：

??二、保存数据

1.保存到excel中

2.保存到数据库中

?

?3.调用

三、使用flask，实现可视化

1.主函数

2.可视化界面：

2.1职位信息展示+分页

2.2使用echars制作图标?

2.3导入地图?

?2.4制作词云

?三.总结

---

一、获取数据

运用正则表达式，找到相对应的数据，然后对数据进行清洗，最后保存数据，保存为excel文件和保存到数据库中。（这里用的是sqlite数据库）

1.导入相关库

import re  # 正则表达式，进行文字匹配
from urllib.request import Request
from urllib.request import urlopen  # 制定URL，获取网页数据
from urllib.error import URLError as error
import json
import xlwt
import sqlite3
1
2
3
4
5
6
7

2、获取网页信息

爬取到的信息是很多，需要用正则表达式进行匹配，一个工作岗位有：8个属性，我只爬取职位名称、公司名称、公司链接、工资、工作地点、是否是实习、员工待遇。

def main():
    baseurl = "https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,{}.html?lang=c&po
1