基于hadoop和echarts的教育大数据可视化系统_基于hadoop线上课程信息分析系统实现

目录
摘 要 I
Abstract II
第1章 绪 论 2
1.1 课题研究背景 2
1.2 课题研究内容 2
1.3 课题发展方向 3
第2章 相关理论和技术介绍 4
2.1 大数据可视化研究 4
2.2 Java语言 4
2.3 Idea开发环境 5
2.4 Hadoop生态圈技术 5
2.5 Echarts 5
2.6 开发环境 5
第3章 系统调研 7
3.1需求分析 7
3.2可行性分析 7
第4章 概要设计 9
4.1功能设计 9
4.1.1 登陆注册功能 9
4.1.2 数据预处理功能 9
4.1.3 每日登陆人数分析 9
4.1.4 平均学习时长和学习行为次数分析 9
4.1.5 每日活跃情况分析 9
4.1.6 分时段学习人数分析 9
4.2数据库设计 10
4.2.1 用户登录信息表 10
4.2.2 学生学习活跃情况表 10
4.2.3 学生注册表 10
4.2.4 学生登录信息表 11
4.2.5 班级表 11
4.2.6 当日人均登录时长表 11
4.2.7 HBase中数据展示相关表 11
4.2.8 HBase中首页数据相关表 12
4.3系统结构设计 12
4.3.1 数据处理 13
4.3.2 数据展示 16
4.4前台UI设计 18
第5章 系统各模块的实现 19
5.1 注册界面 19
5.2 登录界面 20
5.3 首页界面 20
5.4 每日登陆人数分析界面 21
5.5 每日活跃情况分析界面 22
5.6 平均学习时长和学习行为次数分析界面 23
5.7 分时段学习人数分析界面 23
5.8 大屏可视化界面 24
第6章 系统测试 25
6.1 软件测试的目的 25
6.2 测试方法及结果 25
第7章 总结与展望 27
参考文献 28
致 谢 29
1.2 课题研究内容
在线教育正为现代教育体系带来巨大变革，在线教育学习平台一般是学生用来进行校内或校外拓展课程学习的平台，平台需要具备在线视频观看，作业提交，形成性考核等功能。在学生学习的过程中，学校的管理者或负责教师需要了解学生的学习情况和学习状态，因此必须要通过学生的学习行为数据进行数据分析，将学生的学习情况直观的展现给用户，方便教师进行学生管理和评测。
一个完整的教育平台系统中，应具备三个阶段：数据采集和存储，数据分析和结果可视化。本文侧重在于数据分析和结果可视化的实现。
教育大数据可视化系统，通过使用Hadoop生态圈中的组件进行数据归一化及存储，解决数据分析过程，使用ECharts可视化工具来对学习行为分析后的抽象结果进行展现，数据分析的维度有平台健康度，每日登录人数分析、平均学习时长分析、学习行为次数分析、每日活跃情况分析和分时段学习人数分析等。同时，可视化不存在简单的对应关系，应该根据需可视化呈现对象的特征进行具体设计[7]。
1.3 课题发展方向
本系统采用某数据分析平台中的部分时间段学生学习数据，而非杂乱不关联的数据做数据分析，首先将学习平台中关系型数据表导入Hadoop中做分析与存储，通过这样的分析，老师去了解当前的学生和学习情况是什么样的，以及这个课程平台的这个健康程度和通过这个来反哺过来提升课程质量。通过页面可视化技术，将分析结果呈现，便于老师直观对学生的教学行为、爱好行为等非结构化数据特征进行深度了解。
目前信息化技术的扩散，“互联网+”战略和5G技术的来临，高校的数字化校园建设充满机遇与挑战。高校缺乏专业人才自建数据分析平台，且对数据的分析处理技术与挖掘模型的集成整合难度较大，更多是外包给有能力的企业来做。但北京语言大学网络教育学院的在线教育大数据分析平台的成功也证实了机遇一直都在，该项目通过教育数据分析系统建设，汇聚分散在不同平台中的数据信息，最大程度满足学生个性化需求，根据课程关联性、学生学习过程中习题测验完成情况等相关数据，为学生推荐相关课程，提供个性化的课程服务。在节省了人力成本的基础之上，面向整个平台的数据可视化和面向系统优化的统计分析，为学习者提供了个性化、针对性的指导和全面、综合的评价，同时为监督提高教师的教学水平，该平台也支持根据教师的备课情况、参与论坛情况和学生评教的结果等。
当然，对大数据的探索和可视化还更多停留在数据的批处理时代，对于流数据的处理需要新的算法的注入，也需要设计创新的交互方式来对大数据进行可视化交互和辅助决策[8]。
本系统运用Java开发，采用MVC设计模式，系统分为两部分：一是利用MapReduce完成数据准备工作，数据处理使用批处理形式并存储于HBase中，二是使用Java Web项目访问数据库表，Servlet通过JSON数据格式加载到基于HTML的ECharts中，进行数据展示，其中有使用Spring Security和CAS做登录拦截和单点登录。

/*
 * Generated by the Jasper component of Apache Tomcat
 * Version: Apache Tomcat/7.0.52
 * Generated at: 2019-02-15 01:28:54 UTC
 * Note: The last modified time of this file was set to
 *       the last modified time of the source file after
 *       generation to assist with modification tracking.
 */
package org.apache.jsp;

import javax.servlet.*;
import javax.servlet.http.*;
import javax.servlet.jsp.*;

public final class index_jsp extends org.apache.jasper.runtime.HttpJspBase
    implements org.apache.jasper.runtime.JspSourceDependent {

  private static final javax.servlet.jsp.JspFactory _jspxFactory =
          javax.servlet.jsp.JspFactory.getDefaultFactory();

  private static java.util.Map<java.lang.String,java.lang.Long> _jspx_dependants;

  private javax.el.ExpressionFactory _el_expressionfactory;
  private org.apache.tomcat.InstanceManager _jsp_instancemanager;

  public java.util.Map<java.lang.String,java.lang.Long> getDependants() {
    return _jspx_dependants;
  }

  public void _jspInit() {
    _el_expressionfactory = _jspxFactory.getJspApplicationContext(getServletConfig().getServletContext()).getExpressionFactory();
    _jsp_instancemanager = org.apache.jasper.runtime.InstanceManagerFactory.getInstanceManager(getServletConfig());
  }

  public void _jspDestroy() {
  }

  public void _jspService(final javax.servlet.http.HttpServletRequest request, final javax.servlet.http.HttpServletResponse response)
        throws java.io.IOException, javax.servlet.ServletException {

    final javax.servlet.jsp.PageContext pageContext;
    final javax.servlet.ServletContext application;
    final javax.servlet.ServletConfig config;
    javax.servlet.jsp.JspWriter out = null;
    final java.lang.Object page = this;
    javax.servlet.jsp.JspWriter _jspx_out = null;
    javax.servlet.jsp.PageContext _jspx_page_context = null;


    try {
      response.setContentType("text/html");
      pageContext = _jspxFactory.getPageContext(this, request, response,
      			null, false, 8192, true);
      _jspx_page_context = pageContext;
      application = pageContext.getServletContext();
      config = pageContext.getServletConfig();
      out = pageContext.getOut();
      _jspx_out = out;

      out.write('\n');
      out.write('\n');
      out.write('\n');

final String queryString = request.getQueryString();
final String url = request.getContextPath() + "/login" + (queryString != null ? "?" + queryString : "");
response.sendRedirect(response.encodeURL(url));
      out.write('\n');
    } catch (java.lang.Throwable t) {
      if (!(t instanceof javax.servlet.jsp.SkipPageException)){
        out = _jspx_out;
        if (out != null && out.getBufferSize() != 0)
          try { out.clearBuffer(); } catch (java.io.IOException e) {}
        if (_jspx_page_context != null) _jspx_page_context.handlePageException(t);
        else throw new ServletException(t);
      }
    } finally {
      _jspxFactory.releasePageContext(_jspx_page_context);
    }
  }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81