2023-2024年最新大数据学习路线

2023-2024年最新大数据学习路线

新路线图在Spark一章不再以Java，而把Python语言作为第一语言，更适应未来的发展趋势，路线图主要分为六大模块，根据以下内容对照自己掌握了多少大数据的知识，查缺补漏！文末送全套视频+源码资料。

​

image-20230922111510425

• 大数据开发入门01 Linux 基本命令 用户管理 权限管理 网络管理 SSH VI MySQL DDL DML DQL 多表查询 分组查询 约束 Kettle 数据转换脚本组件Job开发 BI工具 基本操作常用图表仪表板 阶段案例实战 * 传统数据仓库实战 课程视频 1、Linux零基础入门到进阶 2、数据开发基础课程
• 大数据核心基础02 Zookeeper 架构原理 存储模型 ZK集群搭建 选举机制 Hadoop HDFS HDFS架构 Block块存储 读写流程 NameNode DataNode 高可用集群 Hadoop MapReduce 核心原理 执行流程 Shuffle机制 Hadoop YARN YARN组件 架构原理 执行流程 调度器 Hive HQL 数据类型 分区分桶 拉链表 元数据 数据压缩 存储格式 原理架构 性能优化 阶段案例实战 * 社交APP案例实战 课程视频1、零基础快速入门大数据
• 千亿级数仓技术03 CDH CM架构 组件构建 CM实操 基于阿里数仓分层架构 ODS DIM DWS DWD DM ADS Hive + Presto 架构原理 SQL调优 集群构建 Hive 性能调优 数据倾斜 JOIN调优 HIVE索引 调度 DS Azkaban Oozie 阶段项目实战 * 在线教育大数据数仓* 课程视频1、在线教育数仓实战

PB级内存计算04

Python编程

基本语法 数据结构 函数 面向对象 异常处理 模块与包 网络编程 多进程多线程 闭包 装饰器 迭代器

Spark

架构原理 Spark RDD Spark DF Spark DAG Spark SQL内存迭代 性能调优

任务调度 Pandas on Spark Spark on Hive Spark Shuffle

Spark 3.x 新特性

阶段项目实战

* 工业项目实战 保险大数据实战

课程视频

1、零基础快速入门Python编程

2、Python编程进阶

3、PySpark基础到精通

4、工业项目实战

• 亚秒级实时计算05 Flink Core 架构原理 批流一体 Window操作 State操作 DataStream Checkpoint Flink SQL 任务调度 负载均衡 状态管理 Runtime 执行计划 Flink性能监控与调优 Flink + Elasticsearch Flink + KafkaFlink + Pulsar Flink + ClickHouseFlink + Doris 阶段项目实战 * 车联网项目实战* 金融证券项目实战 课程视频 1、中间件&存储框架 2、Flink开发课程() 3、车联网实时计算项目 4、金融证券项目实战
• 大厂面试06 数据结构 栈树图数组链表哈希表 高频算法 排序 查找 数组 字符串 链表 栈 队列 二叉树 回溯 动态规划 贪心 复杂度 面试真题 编程语言 SQL Hadoop生态 Hive Spark Flink 大厂架构 美团点评数仓架构 小米大数据架构 平安大数据架构