零基础学习大数据的路线和方向_大数据 自研路线

大数据本质是：数据挖掘深度和应用广度的结合。对海量数据进行有效的分析和处理，而不单单是数据量大就叫大数据。

随着人们对大数据的认识越来越深入，很多零基础人员看到了大数据的未来，也想学习这个前沿技术，踏入时代的领军行业。但是一直没有一个很好的思路和方向，本文将详细的讲解零基础如何学习大数据。

 

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师

 

互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程，大数据学习群：199加上【427】最后加上210就可以找到组织学习  欢迎进阶中和进想深入大数据的小伙伴加入。
 

 

大数据开发师和大数据架构师必须熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

 

 

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。

 

大数据运维师只需了解Hadoop、Spark、Storm等主流大数据平台的核心框架，熟悉Hadoop的核心组件：HDFS、MapReduce、Yarn；具备大数据集群环境的资源配置，如网络要求、硬件配置、系统搭建。熟悉各种大数据平台的部署方式，集群搭建，故障诊断、日常维护、性能优化，同时负责平台上的数据采集、数据清洗、数据存储，数据维护及优化。熟练使用Flume、Sqoop等工具将外部数据加载进入大数据平台，通过管理工具分配集群资源实现多用户协同使用集群资源。通过灵活、易扩展的Hadoop平台转变了传统的数据库和数据仓库系统架构，从Hadoop部署实施到运行全程的状态监控，保证大数据业务应用的安全性、快速响应及扩展能力！

 

 

选择大数据不同阶段职位要求

 

数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。

 

数据挖掘 清洗 筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。

数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识；还有针对数据分析结论提出有指导意义的分析建议。

 

产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改（快消类进行商品的上下架调整）。

 

接着再来了解大数据需要掌握那些技术

 

Hadoop核心

 

(1) 分布式存储基石：HDFS

HDFS简介 入门演示 构成及工作原理解析：数据块，NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示

 

(2) 分布式计算基础：MapReduce

MapReduce简介、编程模型、Java API 介绍、编程案例介绍、MapReduce调优

 

(3) Hadoop集群资源管家：YARN

YARN基本架构 资源调度过程 调度算法 YARN上的计算框架

 

 

离线计算

 

(1) 离线日志收集利器：Flume

Flume简介 核心组件介绍 Flume实例：日志收集、适宜场景、常见问题。

 

(2) 离线批处理必备工具：Hive

Hive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML介绍 视图 函数（内置，窗口，自定义函数） 表的分区、分桶和抽样 优化。

 

(3) 速度更快的Hive：Impala

Impala在大数据架构中的角色 架构 数据处理过程 一般使用步骤：创建表，分区表，查询等 常用查询演示：统计，连接等、Impala与Hive的比较 常用配置与最佳使用建议（查错，调优等）。

 

(4) 更快更强更好用的MR：Spark

Scala&Spark简介 基础 Spark编程（计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引）Spark SQL和DataFrame 实例：使用Spark SQL统计页面PV和UV。

 

 

实时计算

 

(1) 流数据集成神器：Kafka

Kafka简介 构成及工作原理解析 4组核心API 生态圈 代码演示：生产并消费行为日志。

 

(2) 实时计算引擎：Spark Streaming

Spark Streaming简介 工作原理解剖 编写Streaming程序的一般过程 如何部署Streaming程序？ 如何监控Streaming程序？ 性能调优。

 

(3) 海量数据高速存取数据库：HBase

HBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式。

 

 

大数据ETL

 

(1) ETL神器：Sqoop，Kettle

数据同步ETL介绍 Kettle常用组件介绍 、抽取Mysql数据到Hive实战 Sqoop介绍、抽取Hive数据到Mysql实战。

 

(2) 任务调度双星：Oozie，Azkaban

ETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享。

 

 

大数据应用与数据挖掘

(1) 大数据全文检索引擎：Elasticsearch

全文检索基础知识，ES安装及初级介绍，ES深入理解，使用经验介绍。

 

(2) 数据仓库搭建

为什么要构建大数据平台大数据平台的的经典架构深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介。

 

(3) 数据可视化

什么是数据可视化，数据可视化常用工具与必备技能介，Tableau和ECharts实操讲解 ECharts介绍，知名互金公司可视化经验介绍。

 

(4) 算法介绍

介绍数据挖掘，机器学习，深度学习的区别，R语言和python的介绍，逻辑回归算法的介绍与应用，以及主要的推荐算法介绍。

 

最后了解大数据主要的三大就业方向和十大职位

 

就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

 

职位：1、ETL研发；2、Hadoop开发；3、可视化（前端展现）工具开发；4、信息架构开发；5、数据仓库研究；6、OLAP开发；7、数据科学研究；8、数据预测（数据挖掘）分析；9、企业数据管理；10、数据安全研究。

 

希望今天整理的这篇文章对于想学习大数据却不知从何入手的小伙伴有所帮助