大数据技术原理与应用课程建设经验分享

大数据技术原理与应用课程

建设经验分享

林子雨

厦门大学信息科学与技术学院, 福建 厦门 361005

 

摘要：大数据专业人才的培养是世界各国新一轮科技较量的基础，高等院校承担着大数据人才培养的重任。大数据专业作为典型的“新工科”专业，在课程体系建设方面还处于摸索阶段。首先剖析了大数据课程建设的难点，然后介绍了厦门大学建设的大数据课程体系，包括入门级课程、进阶级课程和实训课程，最后分享了大数据技术原理与应用课程建设的经验与方法，包括课程定位、培养目标、预备知识、大数据与云计算课程之间的知识切割、课程内容与学时安排、课程教材、实验环境搭建、配套资源建设、在线服务平台、线下培训与交流等。

关键词：课程体系；MOOC；公共服务平台

论文引用格式：

林子雨. 大数据技术原理与应用课程建设经验分享[J]. 大数据, 2018, 4(6):29-37
Zi Y L. Course construction experience sharing of the principles and applications of big data technology[J]. Big Data Research, 2018, 4(6): 29-37

1 引言

大数据带来了信息技术的巨大变革，对社会生产和人们生活的各个领域都产生着深刻的影响，所到之处，或是颠覆，或是提升，让人们深切感受到了大数据实实在在的威力。对于一个国家而言，能否紧紧抓住大数据发展机遇，快速形成核心技术和应用并参与新一轮的全球化竞争，将直接决定未来若干年世界范围内各国科技力量博弈的格局。大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任，因此，各高等院校非常重视大数据课程的开设，大数据课程已经成为信息相关专业的重要核心课程。北京大学、厦门大学、中国人民大学等一批高校在国内率先开设大数据课程。2016年，北京大学、中南大学、对外经贸大学3所高校成为国内首批获得教育部批准设立“数 据科学与大数据技术”专业的本科院校，此后，教育部又于2017年和2018年分别批准32所和248所本科院校设立数据科学与大数据技术专业。与此同时，根据教育部公布的“大数据技术与应用”专业备案和审批结果显示，截至目前，已经有累计208所职业院校获批“大数据技术与应用”专业。“数据科学与大数据技术”专业和“大数据技术与应用”专业一般被统称为“大数据专业”。随着大数据专业在国内众多高校中开设，大数据专业人才的培养迈入了全新的阶段。

大数据专业作为典型的“新工科”专业，在课程体系建设方面还处于摸索阶段，没有太多可供借鉴的现成经验，需要一大批热爱教学的高校教师积极投身课程体系和教材的建设工作中，共同推动全国高校大数据教学工作不断向前发展。厦门大学数据库实验室作为国内高校较早从事大数据教学资源建设的团队，从2013年开始，在大数据课程建设方面开展了很多有意义的尝试和探索，本文将分享笔者团队在这些方面的工作成果和经验做法。

2 大数据课程建设的难点

大数据专业课程涵盖范围较广，从学科角度而言，包括了数学（高等 数学、线性代数、离散数学、数学建模等）、计算机（算法、数据结构、程序设计、数据库、操作系统、数据挖掘等）、统计（概率论与数理统计、多元统计分析等）等多学科知识。从数据分析流程角度而言，大数据专业课程包含了数据分析全流程的各种技术，包括数据采集、数据存储与管理、数据处理与分析、数据可视化等各个环节的技术。

本文探讨的大数据课程是指数据分析全流程涉及的大数据技术类课程。需要强调指出的是，在这些大数据技术类课程中，并非所有课程都是大数据时代新生的课程，比如，数据采集课程主要讲解网络爬虫技术，这些技术在大数据时代到来之前就已经存在很多年了，并非到了大数据时代才诞生。同理，数据可视化也是经历了多年发展的“老课程”，知识内容并没有因为大数据的出现而发生本质的变化。实际上，大数据技术之所以受到热捧，主要在于