招聘数据采集+Hive数据分析+数据可视化_hive招聘数据

1.需求

背景描述
近年来随着IT产业的快速发展，全国各地对IT 类的人才需求数量也在不断
增多，“XHS集团”为了明确今后IT产业人才培养方向，在多个省份进行 IT公
司岗位情况调研分析。你所在的小组将承担模拟调研分析的任务，通过在招聘
网站进行招聘信息的爬取，获取到公司名称、工作地点、岗位名称、招聘要求、
招聘人数等信息，并通过数据的清洗和分析，最终分析出当前IT产业热门岗位、
大数据相关岗位从业人员数量等信息，并进行可视化呈现。
本次为模拟任务，项目组计划使用分布式节点Hadoop模式，环境搭建采用
服务器集群方式，通过在招聘网站上爬取到的相关信息，实现对数据进行爬取、
清洗、整理、计算、表达、分析，力求实现对IT人才就业信息拥有更清晰的掌
握。
作为该项目组的技术人员，你们是这次技术方案展示的核心成员，请按照
下面步骤完成本次技术展示任务，并提交技术报告，祝你们成功。
任务一： Hadoop 平台及组件的部署管理（ 15 分）
1） 将指定路径下的Hive 安装包解压到指定目录下；
2） 把解压后的apache-hive-1.1.0-bin 文件夹更名为 hive；
3） 设置Hive 环境变量，并使环境变量只对当前root 用户生效；
4） 将 Hive 安装目录下 hive-default.xml.template 文件更名为 hive-site.xml；
5） 在 Hive 安装目录里创建临时文件夹；
6） 新建并配置 hive-site.xml 文件࿰