基于Hadoop的就业岗位分析系统_基于hadoop的就业数据分析系统

1 绪论

1.1 研究背景

最近几年，我国高等院校的招生规模越来越大，招收的学生也越来越多，这使得高校的招生工作面临着很大的挑战。一些高校在20002年内已经研制成功并开始应用，初步完成了大学生的就业工作。但是因为人员、资金等方面的原因，而且从实质上来讲，该系统属于一个使用 asp+ ACCESS编写的就业派遣信息采集网站，它的数据容量很少，而且它的处理能力也很弱，而且它的作用也很少。在新形势下，高校毕业生的工作职能也随之改变，原来的工作体系已无法满足新形势下人才培养的需求。同时，校园网建设、各学院计算机硬件水平和宿舍计算机的普及都得到了很大的提升。随着硬体技术的发展，软体技术也随之改变。

网络的发展已经过去了七十多年，网络技术的发展，将会影响到人类的方方面面，网络的出现让各行各业都得到了极大的发展，为整个社会带来了巨大的生机。

现在许多的产业都与因特网息息相关，特别是在网络的年代，就业岗位分析管理也越来越流行。我国目前的就业岗位分析管理制度已经发展了相当长的时期，其类型也各不相同。就业岗位分析系统与管理就业岗位分析业务密切相关，很多用户都希望能够定做一些特殊的系统，所以这个市场有着很大的发展空间。就业岗位分析系统之所以这么受欢迎，有如下几个方面的理由[1]。

（1）与常规工作方式相比，该系统可以有效地改善管理员的管理工作，减少错误的发生。通过编译后的就业岗位分析系统的功能可以极大地减少管理员管理失误的几率，当管理员在进行管理的过程中出现故障时，会有相应的提醒。

（2）利用就业岗位分析系统进行管理，不仅节约了费用，而且节约了大量的人力物力，而且还可以加强对管理人员的控制。

1.2 研究意义

随着科技的进步，网络商品已渗透到人们的日常生活中，许多企业都在加速投资。不过，在和管理员的交流中，发现就业岗位分析方式还是以人工管理方式进行，并不能有效地利用网络技术来提升工作的效率。通过标准化的就业岗位分析过程，可以实现就业岗位分析管理，而目前的就业岗位分析管理还不是依靠管理员的手动操作，随着就业行业的发展，随着科学技术的进步，越来越多的应用都要通过信息化来管理。在日常工作中，能够真正地体会到科技所提供的方法。在日常的日常工作中，还有很多需要技术支持的情况[2]。

根据目前，我国高校毕业生就业管理工作的特征和所面临的限制条件，大学毕业生就业管理信息系统将提升毕业生的就业率和毕业生的就业品质作为重点，将提升校园中的各种招聘会的影响作为一个杠杆，将对招聘会进场人员组成和签约失信数据进行量化、统计分析作为一种方法，将重点放在了利用信息化的方法上，从而为学校的就业管理工作带来了新的生机，从而提升了学校的就业管理工作的效率，帮助了学生和用人单位更好地把握到了整个工作的大局，为毕业生和用人单位带来了切实的、直接的好处，也为相关的工作人员带来了便利，将学校的就业管理服务工作提升到了一个新的水平。所以，对大学生的职业发展进行研究与管理是非常有价值的。

1.3 国内外研究现状

目前，由于各个区域的经济发展和各大学的信息化投资的程度，我国的各个大学的就业管理信息化的建设也有一定的差别。尽管国内大部分的大学都对就业工作进行了一些信息化的探讨，但是，就当前来说，我国的大学在有关大学生的就业管理服务制度的建设还有待完善。目前大部分已有的软件都是以职业资讯的发布和搜索为主，一些大学还把这个自由的资讯发布系统当成了一个求职的网站，但是却忽略了如何充分地利用这个网站上的交互作用，并充分地体现出这个网站上的工作人员的工作能力。但是，一些大学的招聘信息管理体系发展得比较晚，对于新的软硬件环境兼容性差，这使得招聘信息管理体系的可扩展性、适应性和灵活性都有所欠缺。许多老的系统，不具备对毕业生就业进展、签约情况和招聘信息的数据查询、汇总、分析和输出功能，因此不能很好地对就业数据进行发掘，因此不能被学校的各个部门完全发挥作用。

国外向来崇尚以自由市场化为主导的社会对大学生的求职也十分重视，而且，由于互联网的广泛运用，互联网的广泛运用，使得在线信息发布技术已经发展到了相当的阶段。在外国，许多大学的经营技术都处于世界的前列。此外，由于资本主义的存在，在这一领域的经营体系上，有着相对完整的、相对完整的、建立起来的技术。因此，在某种程度上，我们可以借鉴并吸取他们的技术优势，并将他们相对完整、成熟、规范的管理体系当作参考。美国，日本，英国等国家的大学都有较为完整的职业辅导制度，也都有较为发达的互联网技术，所以，与之相比，我国大学在职业辅导制度上还是有所欠缺的。

1.4 主要内容

（1）本文介绍了实现该就业岗位分析系统的具体实现方法，并根据总体的软件开发过程进行了初步的调查与研究，以判断是否能够正常实现、技术可行以及系统各功能模块的设计与实现，最终选定所采用的技术及实现方案。

（2）框架是一种能够协助开发人员迅速建立起软体层级结构与重用能力的工具，该平台架构采用了开放源码架构，在开发上有着更大的优越性，可以让开发者更快地建立起基础的架构，并在此基础上，利用开放源码技术，降低了开发过程中的困难，提高了系统的安全性和稳定性。

（3）管理员对就业岗位分析系统的资料进行管理，既要有框架的规范，又要有某种基本的准则，利用MySQL中的限制关联，可以产生一个基于系统中各实体的关联的数据库表格，以便在执行该系统时设定各系统的关联[3]。

2 系统技术

2.1 Boostrap框架

前台结构 Boostrap拥有网站的部分，利用它们可以促进网站的控制模块更加和谐。Boostrap与 Html、 CSS以及 JavaScript相比，其代码的编写要少一些，对于编写 Web页代码来说更方便。使用 Boostrap系统结构不仅可以构建前台网页，还可以减少系统的开销。

2.2 MVC模式

采用 MVC方法不仅能动态地提高就业岗位分析系统的代码质量，而且减少了对 SQL语句的反复编写，使之具有通用性，从而实现了对数据库的特定的处理。MVC技术能够简化就业岗位分析系统的编码率，从而达到改善编码的目的。MVC三个主要模型分别是模型、视图和控制面板。在 MVC的设计模式下，可以将模型与系统的主体进行交换，而控件则可以根据用户对页面的需求进行处理，而视图则可以将用户的页面展示给用户。在 MVC模式下，可以将模型的数据转化为可视化。如果模型发生了变化，则可以在用户界面上显示转换后的数据。

2.3 MySQL数据库

作为一个整体的关系数据库， MySQL属于 Oracle的一个产品。MySQL指的是一个存储和管理的数据库，它就像是一个真正的文件文件库。用户使用这个数据库可以将数据存入数据库。按照使用 MySQL程序的语言版本作为数据库语言。

由于 MySQL具有较高的运行速度和较高的运行速度，所以许多大型和中型的企业都采用了 MySQL的数据库。MySQL具有优秀的性能，并且它的源码开放源代码系统是完全自由的，这使得公司可以大大降低开发费用。

2.4 SSM框架

视图-控制板的目的并不在于明确地引导设计者如何设计模式，而是希望能够让软件开发商更好地开发模式。模式—视图—控件的目的是要使开发者尽量降低编写程序的复杂性，从而简化程序开发人员的程序。在商业过程中，数据模型是非常重要的。用户在前面网页上发送的用户需求可以在控制区内进行。

2.5 Hadoop

自Hadoop问世以来，它不但得到了业界的认同，并得到了广泛的推广，也引起了学界的高度重视。但是，在Hadoop刚刚出现的时候，因为Hadoop本身的架构设计有一些缺陷，在经过了几年的工业使用之后，Hadoop平台在功能、系统性能等各方面的缺点迅速地被曝光，并且这也会影响到Hadoop能够更好地应对高吞吐的信息。所以，Hadoop社群在2007年发布了Hadoop的首版，到目前为止，在不到8年的时间里，Hadoop的首版已经发布了10个多个新的版本72011年发布的Hadoop2.0，是在解决了Hadoop以前的版本中的结构缺陷和系统瓶颈等问题之后，对其进行了改进和改进，形成了一个全新的Hadoop版本，也就是后来的HadoopYARN系统架构

在HadoopYARN中，引入了全局资源治理器、资源容器等新概念，它将主控制结点的数据存储和任务分配两个主要功能分开，从而降低了原主结点的工作负担，提升了系统的可用度和拓展性，同时还可以在某种程度上提高了对计算资源的利用率。YARNMapReduce类型的支持，可以提升Hadoop对大数据进行平行计算的能力，还可以增强程序员在进行数据编写时的灵活性。

2.6 Java语言

Java的发展还在继续，Java和C++在很多方面都很类似，Java程序员去掉C++中很少用到的功能，让它变得更简洁。面向对象的最大特点是在相同的物体上装载相似的函数，而程序员则必须使用相应的物体来实现相应的函数。Java的代码不用象C++那样手工地处理内存，Java拥有可以循环废物的垃圾收集机制。Java语言的应用软件在一个多个平台上仅需一次编译即可。

Java在Web和Android方面都有广泛的应用，Java在这两个方面的发展都非常的关键，因此，Web开发者可以利用开放源码的架构来建立一个站点，而Java则经常被用来写服务端，并将其发送给前端的页面。许多Android软件都是利用程式设计的语言来构建，虽然安卓程式采用了大量的包装方法，但其基本的逻辑程式却是以Java为基础的。

2.7 idea

idea编译器的基础部分是用Java的语言来写的，它自身也有很多的开发插件。idea编译器中的代码是开放源码的，它为二次开发的方便而设计。idea编译程序的发展必须遵循许多原理，这些原理包含了高可用性和安全性等。idea编码者最初只能写Java，而idea编译器可以在技术上持续的更新后，可以写很多种程序。尽管idea是编译程序，idea可以在大量的外挂出现后将其整合起来，从而更加完善。idea可以适应各种类型的应用，并且可以涵盖整个系统的各个阶段，便于用户操作，其中包括了前端接口和后台的商业逻辑。

2.8 JSP

JSP，也就是所谓的Web技术标准，以前是Sun公司主导的，其他很多公司都在开发JSP的过程中添加Java和JSP，从而建立JSP页面。JSP可以在任何地方都执行，只要它能用跨平台技术编译Java。JSP技术可以利用Java语言来编写标签和脚本，将页面的处理逻辑用标签包起来。JSP可以把页面的展示和商业逻辑分开，这样就可以很容易地开发Web应用了。

JSP包含有以下优点：

（1）JSP的运行效率更高，因为JSP是根据程序的运行来完成首次编译，因此不需要每次运行都要在进行一次编译，因此效率很高。

（2）使用JSP，可以把系统的性能和业务逻辑分开。

（3）JSP能够支持大多数平台，并能提供跨平台技术。

（4）JSP的应用更加便捷，许多JSP组件都是通过Java语言来实现的，因此可以直接进行Web项目的开发。

2.9 Python语言

一种用于背景设计的Python语言。它的优点是简洁、易操作、通用性和强大的性能。在充分发挥传统编译器的特点的同时，也充分利用了简明的文字和说明文字，便于用户操作。Python是一门解释性的面向对象程序设计语言.我们常常将其与shell的代码重用相比，shell具有更少的重复代码，而Python则具有更先进的模块性构件、大量的标准库和第三方类类库，并且更提倡简单、易于应用的编程方式。当你试图扩展你的专案的范围和大小时，你可以保留程式码的连贯性与弹性，而且显著地缩短程式码侦错的耗时，而且更适合侦错程式码。

3 需求分析

3.1 可行性分析

3.1.1 经济可行性研究

如果管理员能够拥有一个就业岗位分析系统，那么他就可以进行简单的管理，这样可以节省大量的金钱。就业岗位分析管理制度的实施能够解决以往管理模式所带来的不必要的财务费用，尤其是在这方面的人力资源费用[5]。

3.1.2 技术可行性研究

在分析了该系统的基础上，对其所处的环境和要求进行了分析，并确定了所采用的软件系统与技术来实现该系统的开发。整个系统结构和应用技术都是较为实用的开发模式，结合当前的就业岗位分析系统，这一技术的开发是可行的。随着电脑技术的飞速发展，电脑的硬件性能、存储器容量都得到了极大的提升，而且价格也在逐步降低，可以充分满足系统对数据的存储与处理需求。在此基础上，通过对就业岗位分析系统的功能进行初步的分析与判断，最后采用可行的开放源码框架与软体架构来实现就业岗位分析系统的开发。本文所开发的系统在开发过程中所采用的软件及开发技术都是编程人员所常用的，与目前市面上同类的就业岗位分析系统相比较，本文所开发的系统具有一定的技术可行性。而且，在现有的就业岗位分析系统的基础上，可以降低开发费用。本次开发的就业岗位分析系统已形成了一套可供借鉴的体系，从而保证了今后技术的更新与维护。

3.2 设计目标

本文所开发的就业岗位分析系统旨在通过电脑来完成对就业岗位分析系统的日常工作的管理，使用户能够得到更为方便的使用。在对就业岗位分析系统的开发和实施的过程中，对系统的各个功能进行了细致的分析，因此，在实现该软件的同时，还必须包括如下几个方面：

（1）稳定性：在就业岗位分析系统的运行期间，系统必须保证系统的稳定性，并且在不会对就业岗位分析系统的操作造成任何的干扰。假如就业岗位分析系统的一个模块有问题，其他的功能不会受到任何的干扰。

（2）准确性：管理员对就业岗位分析系统的功能进行了修改之后，要满足更好的利用条件，如果出现错误，将会把资料记录下来。

（3）可扩展性：当要增加新的业务时，可以增加新的功能，同时保留原来的就业岗位分析系统的功能模块。

（4）可维护性：当需要修改调整借口时，不需要修改就业岗位分析系统的框架。

（5）独立性：就业岗位分析系统各功能模块必须是独立的，管理员可以根据实际情况增减或添加相应的功能[4]。

3.3 功能需求

用户：工作受喜爱的程度分析、年龄分析、性别分析、地区分析、爬取数据。

图3.1 用户用例图

3.4 非功能需求

非功能性的要求分析主要有延展性、系统功能性、易用性和可信度性。图书馆的信息化建设需要软件和软件的扩展。软件和软件的扩展包括扩展已有的系统软件的能力，改进旧设备的配置，增加系统的容量，改进数据库的大小，和可利用的设备数量。在实践中，MIS的表现应当不受约束。而且，这种体系结构的平台可以方便用户的操作，也方便了后期的维修者和开发者进行二次的软件开发和安全管理。

功能性是一系列与它们所规定的特性有关的特性集合，特别是那些符合明确或隐含要求的函数，这些特性包括：安全性、适用性、规范性、准确性和互操作。这套非功能需求不需附加测量，但是大部分都符合功能需求。但是，安全与其它需求是不一样的，它必须包含特殊的技术和功能性需求。易用是一套与一套指定或可能用户工作有关的特性，这些特性可以用来管理他们的软体和评价这些使用。

（1）用户的操作界面必须要简洁，因为这个系统是针对所有人的，所以在操作上要遵循一个简单的原则，让更多的人可以使用这个系统，而下载的速度也会影响到用户的体验。该系统在使用人数最多的情况下仍然需要进行流畅的浏览。

（2）在系统实现的时候，要注意导航栏的设定，在用户点击导航栏后可以迅速切换[8]。

（3）易懂性。这种管理系统要简单易懂，便于实际运行，便于管理员快速方便地进行管理。

（4）扩展。在此系统的设计中，采用的是模块化的设计方式，如果对系统的商业过程有足够的理解，那么就可以将其分解为不同的控制单元，进行开发。

（5）可维修。如果代码的可读性好，那么它就能让整个系统的设计更加的简洁，更加的简洁，更加的简洁，更加的方便。

（6）流畅性。该系统的运行速度快，并且当多个用户使用该系统时，用户可以在特定的操作环境中流畅地运行。

4 概要设计

4.1 功能设计

（1）年龄分析

用户输入用户名和密码可以登录到系统中，可以查看年龄分析信息。

图4.1 年龄分析流程图

（2）工作受喜爱的程度分析

用户输入用户名和密码可以登录到系统中，可以查看工作受喜爱的程度分析信息。

图4.2 工作受喜爱的程度分析流程图

（3）性别分析

用户输入用户名和密码可以登录到系统中，可以查看性别分析信息。

图4.3 性别分析流程图

4.2 功能模块

用户具有的功能模块包括工作受喜爱的程度分析、年龄分析、性别分析、地区分析、爬取数据。

图4.4 功能模块图

系统实现

5.1 工作受喜爱的程度统计

在工作受喜爱的程度的统计界面中，可以利用网页的方式来呈现信息，如果有大量的数据可以进入下一页，利用网页的工具类别来完成上一页和下一页的效果。查找工作受喜爱的程度的信息时，必须向后端的逻辑编码的query功能进行传输，当可以查询到工作受喜爱的程度的相关数据时，就必须通过put功能将这些数据导入到前面的接口中。

图5.1 工作受喜爱的程度统计界面

</body>

    <script type="text/javascript">

        // 基于准备好的dom，初始化echarts实例

        var myChart = echarts.init(document.getElementById('main'));

        // 指定图表的配置项和数据

        var option = {

            title: {

                text: '工作受喜爱的程度'

            },

            tooltip: {},

            legend: {

                data:['招聘量']

            },

            xAxis: {

                data: ["C++软件工程师","C++高级开发工程师","Java中级开发工程师","Linux软件开发工程师","医药信息顾问","临床监查员","CRC临床协调员","Java高级开发工程师"]

            },

            yAxis: {},

            series: [{

                name: '招聘量',

                type: 'bar',

                data: [64,87,45,67,18,57,64,89]

            }]

        };

        // 使用刚指定的配置项和数据显示图表。

        myChart.setOption(option);

    </script>

</html>

5.2 年龄统计

统计员在统计就业岗位分析系统相关资料的同时还必须要能够显示图形。年龄信息被包装成页面物件，而前端介面使用规则运算来分析页面。年龄的资料必须储存在年龄的本体类别中，而年龄类别的资料与数据库内的数据库资料一一相符。

图5.2 年龄统计界面

top:'70%',

           itemWidth: 10,

            itemHeight: 10,

            data:['21岁以下','21-23岁','22-28岁','28-33岁','33岁以上'],

                    textStyle: {

                color: 'rgba(255,255,255,.5)',

                       fontSize:'12',

            }

        },

        series: [

            {

               name:'年龄分布',

                type:'pie',

                       center: ['50%', '42%'],

                radius: ['40%', '60%'],

                      color: ['#065aab', '#066eab', '#0682ab', '#0696ab', '#06a0ab','#06b4ab','#06c8ab','#06dcab','#06f0ab'],  

                label: {show:false},

                       labelLine: {show:false},

                data:[

                    {value:1, name:'21岁以下'},

                    {value:4, name:'21-23岁'},

                    {value:2, name:'23-28岁'},

                    {value:2, name:'28-33岁'},

                    {value:1, name:'33岁以上'},

                ]

            }

        ]

    };

         

            // 使用刚指定的配置项和数据显示图表。

            myChart.setOption(option);

            window.addEventListener("resize",function(){

                myChart.resize();

            });

    </script>

</html>

5.3 性别统计

在性别的统计界面中，可以利用网页的方式来呈现信息，如果有大量的数据可以进入下一页，利用网页的工具类别来完成上一页和下一页的效果。查找性别的信息时，必须向后端的逻辑编码的query功能进行传输，当可以查询到性别的相关数据时，就必须通过put功能将这些数据导入到前面的接口中。

图5.3 性别统计界面

.setOption({

                           series : [ {

                                  name : '男女参加计算机相关工作比例',

                                  type : 'pie',

                                  radius : '63%',

                                  data : [ {

                                         value : 6472,

                                         name : '男性'

                                  }, {

                                         value : 294,

                                         name : '女性'

                                  }]

                           } ],

                           itemStyle : {

                                  normal : {

                                         // 阴影的大小

                                         shadowBlur : 200,

                                         // 阴影水平方向上的偏移

                                         shadowOffsetX : 0,

                                         // 阴影垂直方向上的偏移

                                         shadowOffsetY : 0,

                                         // 阴影颜色

                                         shadowColor : 'rgba(0, 0, 0, 0.5)'

                                  }

                           }

5.4 地区统计

统计员在统计就业岗位分析系统相关资料的同时还必须要能够显示图形。地区信息被包装成页面物件，而前端介面使用规则运算来分析页面。地区的资料必须储存在地区的本体类别中，而地区类别的资料与数据库内的数据库资料一一相符。

图5.4 地区统计界面

xAxis: [{

                    type: 'category',

                    data: ['浙江', '上海', '江苏', '广东', '北京', '深圳', '安徽', '四川'],

                    axisLine: {

                           show: true,

                           lineStyle: {

                                  color: "rgba(255,255,255,.1)",

                                  width: 1,

                                  type: "solid"

                           },

                    },

                    axisTick: {

                           show: false,

                    },

                    axisLabel:  {

                           interval: 0,

                           // rotate:50,

                           show: true,

                           splitNumber: 15,

                           textStyle: {

                                  color: "rgba(255,255,255,.6)",

                                  fontSize: '12',

                           },

                    },

             }],

             yAxis: [{

                    type: 'value',

                    axisLabel: {

                           //formatter: '{value} %'

                           show:true,

                           textStyle: {

                                  color: "rgba(255,255,255,.6)",

                                  fontSize: '12',

                           },

                    },

                    axisTick: {

                           show: false,

                    },

                    axisLine: {

                           show: true,

                           lineStyle: {

                                  color: "rgba(255,255,255,.1     )",

                                  width: 1,

                                  type: "solid"

                           },

                    },

                    splitLine: {

                           lineStyle: {

                                  color: "rgba(255,255,255,.1)",

                           }

                    }

             }],

5.9 数据爬取

数据爬取详情显示界面，用户可以通过详细的数据爬取资料进行查看。前端接口使用规则表达式分析信息，并以 CSS风格将页面安排在前端界面上。在用户进入数据爬取细节界面之前，服务端必须使用 SQL数据库语句将数据爬取的细节信息传输给客户端，然后再向客户端显示该信息。

图5.9 数据爬取界面