赞
踩
内容来自:大数据技术
视频
要求:对本课程教学目标、内容、方式做一个全面概要介绍
内容:了解数据科学的发展背景和要解决的问题,介绍大数据概念和再现代服务行业的应用情况。重点是大数据的概念和数据科学的发展史
要求:介绍大数据存储系统和数据处理平台
内容:让学生了解主要的大数据存储系统,包括数据的清洗、建模、分布式文件存储、NoSQL数据库、数据访问接口。向学生介绍目前数据工程界采用的主要数据处理平台,通过实例介绍各类数据分析算法的特点和功能,使学生初步了解计算处理模型和计算平台引擎。本章重点为大数据存储系统和数据处理平台。
大数据计算系统可归纳为3个基本层次:数据存储系统、数据处理系统、数据应用系统
提供大数据物理存储架构
主要技术:HDFS,GFS,…
传统数据块接口软件
ODBC
JDBC
数据读写接口
统一数据接口
各类算法实现、各类计算模型支撑、提供平台架构
理解计算模式
计算原理
IBM
ORACLE
Mcrosoft
要求:讲授数据的采集方法和数据接口
内容:讲授内容包括日志数据的采集、互联网数据的采集等,让学生掌握网络爬虫技术。本章重点为互联网数据采集。
根据既定目标抓取数据,选择性抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源
技术框架:控制器、解析器、资源库。
控制器:为各个现成分配工作任务,并调度爬虫的线性资源。
解析器:批量下载网页,并对页面的格式和内容进行处理
资源库:存储下载到的网页资源,通常采用大型的数据库存储模型
爬虫体系结构
要求:介绍数据预处理技术、数据清洗技术、数据规约技术的基本原理和方法
内容:讲授内容包括日志数据的采集、互联网数据的采集等,让学生掌握网络爬虫技术。本章重点为互联网数据采集。
要求:讲授常用的数据分析算法的原理
教学内容:讲授内容包括常用的数据分析算法的原理,并比较不同数据分析算法之间的区别,让学生掌握各种数据分析方法的原理,并能够选择适当的方法解决数据科学中的问题。本章重点为常用的数据分析算法的原理。
要求:讲授文本读写技术的工作原理及方法
教学内容:让学生掌握文本读写技术的组成特点,了解常见的文本读写技术的特点,掌握读取文件、写入文件、连接数据库的方法等。本章重点为文本读写技术的工作原理。
教学要求:介绍数据处理技术的基本原理及主要方法
内容:让学生了解数据处理技术的概念和特点,了解其基本原理、主要功能特点等,让学生对数据处理技术有一个初步理解。本章重点为数据处理技术的基本原理。
要求:介绍数据分析技术的概念.算法及应用场景
内容:让学生了解数据分析技术的概念和特点,了解其原理、算法、应用场景等,让学生对数据分析算法体系有一个初步理解。本章重点为数据分析算法的基本原理。
要求:讲解数据可视化技术的基本原理和主要功能
内容:讲授数据可视化技术的基本原理和主要功能,介绍数据可视化技术的应用场景。本章重点为数据可视化技术的基本原理。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。