当前位置:   article > 正文

2023-2024年最新大数据学习路线_2024大数据全流程

2024大数据全流程

2023-2024年最新大数据学习路线

新路线图在Spark一章不再以Java,而把Python语言作为第一语言,更适应未来的发展趋势,路线图主要分为六大模块,根据以下内容对照自己掌握了多少大数据的知识,查缺补漏!文末送全套视频+源码资料。

image-20230922111510425

  • 大数据开发入门01

    Linux

    基本命令

    用户管理

    权限管理

    网络管理

    SSH

    VI

    MySQL

    DDL

    DML

    DQL

    多表查询

    分组查询

    约束

    Kettle

    数据转换脚本组件Job开发

    BI工具

    基本操作常用图表仪表板

    阶段案例实战

    * 传统数据仓库实战

    课程视频

    1、Linux零基础入门到进阶

    2、数据开发基础课程

  • 大数据核心基础02

    Zookeeper

    架构原理

    存储模型

    ZK集群搭建

    选举机制

    Hadoop HDFS

    HDFS架构

    Block块存储

    读写流程

    NameNode

    DataNode

    高可用集群

    Hadoop MapReduce

    核心原理

    执行流程

    Shuffle机制

    Hadoop YARN

    YARN组件 架构原理 执行流程 调度器

    Hive

    HQL

    数据类型

    分区分桶

    拉链表

    元数据

    数据压缩

    存储格式

    原理架构

    性能优化

    阶段案例实战

    * 社交APP案例实战

    课程视频1、零基础快速入门大数据

  • 千亿级数仓技术03

    CDH

    CM架构

    组件构建

    CM实操

    基于阿里数仓分层架构

    ODS DIM DWS DWD DM ADS

    Hive + Presto

    架构原理 SQL调优 集群构建

    Hive 性能调优

    数据倾斜 JOIN调优 HIVE索引

    调度

    DS Azkaban Oozie

    阶段项目实战

    * 在线教育大数据数仓*

    课程视频1、在线教育数仓实战

PB级内存计算04

Python编程

基本语法 数据结构 函数 面向对象 异常处理 模块与包 网络编程 多进程多线程 闭包 装饰器 迭代器

Spark

架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代 性能调优

任务调度 Pandas on Spark Spark on Hive Spark Shuffle

Spark 3.x 新特性

阶段项目实战

* 工业项目实战 保险大数据实战

课程视频

1、零基础快速入门Python编程

2、Python编程进阶

3、PySpark基础到精通

4、工业项目实战

  • 亚秒级实时计算05

    Flink Core

    架构原理

    批流一体

    Window操作

    State操作

    DataStream

    Checkpoint

    Flink SQL

    任务调度

    负载均衡

    状态管理

    Runtime

    执行计划

    Flink性能监控与调优

    Flink + Elasticsearch

    Flink + KafkaFlink + Pulsar

    Flink + ClickHouseFlink + Doris

    阶段项目实战

    * 车联网项目实战* 金融证券项目实战

    课程视频

    1、中间件&存储框架

    2、Flink开发课程

    3、车联网实时计算项目

    4、金融证券项目实战

  • 大厂面试06

    数据结构

    栈树图数组链表哈希表

    高频算法

    排序

    查找

    数组

    字符串

    链表

    队列

    二叉树

    回溯

    动态规划

    贪心

    复杂度

    面试真题

    编程语言

    SQL

    Hadoop生态

    Hive

    Spark

    Flink

    大厂架构

    美团点评数仓架构 小米大数据架构 平安大数据架构

    课程视频

    1、北大硕士算法专题课

视频资料点击卡片,关注后后台回复:‘大数据’ 获取即可。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/656167
推荐阅读
相关标签
  

闽ICP备14008679号