2023-2024年最新大数据学习路线_2024大数据全流程

2023-2024年最新大数据学习路线

新路线图在Spark一章不再以Java，而把Python语言作为第一语言，更适应未来的发展趋势，路线图主要分为六大模块，根据以下内容对照自己掌握了多少大数据的知识，查缺补漏！文末送全套视频+源码资料。

​

• 大数据开发入门01

  Linux

  基本命令

  用户管理

  权限管理

  网络管理

  SSH

  VI

  MySQL

  DDL

  DML

  DQL

  多表查询

  分组查询

  约束

  Kettle

  数据转换脚本组件Job开发

  BI工具

  基本操作常用图表仪表板

  阶段案例实战

  * 传统数据仓库实战

  课程视频

  1、Linux零基础入门到进阶

  2、数据开发基础课程

• 大数据核心基础02

  Zookeeper

  架构原理

  存储模型

  ZK集群搭建

  选举机制

  Hadoop HDFS

  HDFS架构

  Block块存储

  读写流程

  NameNode

  DataNode

  高可用集群

  Hadoop MapReduce

  核心原理

  执行流程

  Shuffle机制

  Hadoop YARN

  YARN组件 架构原理 执行流程 调度器

  Hive

  HQL

  数据类型

  分区分桶

  拉链表

  元数据

  数据压缩

  存储格式

  原理架构

  性能优化

  阶段案例实战

  * 社交APP案例实战

  课程视频1、零基础快速入门大数据

• 千亿级数仓技术03

  CDH

  CM架构

  组件构建

  CM实操

  基于阿里数仓分层架构

  ODS DIM DWS DWD DM ADS

  Hive + Presto

  架构原理 SQL调优 集群构建

  Hive 性能调优

  数据倾斜 JOIN调优 HIVE索引

  调度

  DS Azkaban Oozie

  阶段项目实战

  * 在线教育大数据数仓*

  课程视频1、在线教育数仓实战

PB级内存计算04

Python编程

基本语法 数据结构 函数 面向对象 异常处理 模块与包 网络编程 多进程多线程 闭包 装饰器 迭代器

Spark

架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代 性能调优

任务调度 Pandas on Spark Spark on Hive Spark Shuffle

Spark 3.x 新特性

阶段项目实战

* 工业项目实战 保险大数据实战

课程视频

1、零基础快速入门Python编程

2、Python编程进阶

3、PySpark基础到精通

4、工业项目实战

• 亚秒级实时计算05

  Flink Core

  架构原理

  批流一体

  Window操作

  State操作

  DataStream

  Checkpoint

  Flink SQL

  任务调度

  负载均衡

  状态管理

  Runtime

  执行计划

  Flink性能监控与调优

  Flink + Elasticsearch

  Flink + KafkaFlink + Pulsar

  Flink + ClickHouseFlink + Doris

  阶段项目实战

  * 车联网项目实战* 金融证券项目实战

  课程视频

  1、中间件&存储框架

  2、Flink开发课程

  3、车联网实时计算项目

  4、金融证券项目实战

• 大厂面试06

  数据结构

  栈树图数组链表哈希表

  高频算法

  排序

  查找

  数组

  字符串

  链表

  栈

  队列

  二叉树

  回溯

  动态规划

  贪心

  复杂度

  面试真题

  编程语言

  SQL

  Hadoop生态

  Hive

  Spark

  Flink

  大厂架构

  美团点评数仓架构 小米大数据架构 平安大数据架构

  课程视频

  1、北大硕士算法专题课

视频资料点击卡片，关注后后台回复：‘大数据’ 获取即可。