Flink｜《Flink 官方文档》学习笔记目录_flink 文档

• Try Flink：本地模式安装；基于 DataStream API 实现欺诈检测；基于 Table API 实现实时报表；Flink 操作场景
• 实践练习：概览；DataStream API 简介；数据管道 & ETL；流式分析；事件驱动应用；容错管理
• 概念透析：概览；有状态流处理；及时流处理；Flink 架构；词汇表
• 应用开发
  • 项目配置：概览；使用 Maven；使用 Gradle；连接器和格式；测试的依赖项；高级配置
  • DataStream API
    • 概览
    • 执行模式（流 / 批）
    • 事件时间：生成 Watermark；内置 Watermark 生成器
    • 用户自定义 Functions
    • 状态与容错：Working with State；Broadcast State 模式；Checkpointing；[State Backends](Flink｜《Flink 官方文档 - DataStream API - 状态与容错 - State Backends》学习笔记)；数据类型以及序列化（概览，状态数据结构升级，Custom State Serialization，自定义序列化器）
    • 算子：概览；窗口；Joining；Process Function；异步 I/O
    • 数据源
    • 旁路输出
    • Handling Application Parameters
    • 测试
    • 实验功能
    • Scala API 扩展
    • Java Lambda Expressions
    • 管理执行：执行配置；程序打包；并行执行
    • How to Migrate from DataSet to DataStream
  • Table API & SQL
    • 概览
    • 概念与通用 API
    • DataStream API Integration
    • 流式概念：流式概念；动态表；流上的确定性；时间属性；时态表；Temporal Table Function
    • 流式聚合
    • 数据类型
    • 时区
    • Table API
    • SQL：概览；入门；Queries 查询；CREATE 语句；DROP 语句；ALTER 语句；INSERT 语句；ANALYZE 语句；DESCRIBE 语句；TRUNCATE 语句；EXPLAIN 语句；USE 语句；SHOW 语句；LOAD 语句；UNLOAD 语句；SET 语句；RESET 语句；JAR 语句；JOB 语句；UPDATE 语句；DELETE 语句；CALL 语句
    • 函数：函数；系统（内置）函数；自定义函数
    • 存储过程
    • 模块
    • Catalogs
    • SQL JDBC Driver
    • SQL 客户端
    • SQL Gateway：概览；REST Endpoint；HiveServer2 Endpoint
    • Hive 兼容性
      • Hive 方言
        • Queries（Overview，Sort / Cluster / Distributed By，Group By，Join，Set Operations，Lateral View Clause，Window Functions，Sub-Queries，CTE，Transform Clause，Table Sample）；概览；CREATE Statements；DROP Statements；ALTER Statements；INSERT Statements；Load Data Statements；SHOW Statements；ADD Statements；SET Statements
      • HiveServer2 Endpoint
    • 配置
    • User-defined Sources & Sinks
  • Python API
    • 概览 + 环境安装 + 调试 + 环境变量 + 常见问题
    • Table API 教程
    • DataStream API 教程
    • Table API：Python Table API 简介；TableEnvironment；Operators（OverView，Row-based Operations）；数据类型；系统内置函数；自定义函数（概览，普通自定义函数，向量化自定义函数）；PyFlink Table 和 Pandas DataFrame 互转；SQL；Catalogs；指标；连接器
    • DataStream API：Python DataStream API 简介；Operators（Overview，Windows，Process Function）；Data Types；State
    • 依赖管理
    • 执行模式
    • 配置
• Libraries：事件处理；State Processor API
• Connectors
  • DataStream Connectors：概览；Formats（Overview，Avro，Azure Table Storage，CSV，Hadoop，JSON，Parquet，Text files）；容错保证；DataGen；Kafka；Cassandra；DynamoDB；Elasticsearch；Firehose；Kinesis；MongoDB；Opensearch；文件系统；RabbitMQ；Google Cloud PubSub；Hybrid Source；Pulsar；JDBC
  • Table API Connectors：概览；Formats（Formats，CSV，JSON，Avro，Confluent Avro，Protobuf，Debezium，Canal，Maxwell，Ogg，Parquet，Orc，Raw）；Kafka；Upsert Kafka；DynamoDB；Firehose；Kinesis；MongoDB；JDBC；Elasticserach；Openserach；文件系统；HBase；DataGen；Print；BlackHole；Hive（Overview，Hive Catalog，Hive Read & Write，Hive Functions）；下载页面
• Deployment
  • 概览
  • Javba Compatibility
  • Resource Providers：Standalone（概览，Working Directory，Docker，Kubernetes 设置）；Native Kubernetes；YARN
  • 配置参数
  • 内存配置：配置 Flink 进程的内存；配置 TaskManager 内存；配置 JobManager 内存；调优指南 + 常见问题；升级指南；网络缓冲调优
  • 弹性扩缩容
  • 命令行界面
  • 细粒度资源管理
  • 预测执行
  • File Systems：通用配置；文件系统；Amazon S3；Google Cloud Storage；阿里云 OSS；Azure Blob 存储；Plugins
  • 高可用：概览；ZooKeeper 高可用服务；Kubernetes 高可用服务
  • Metric Reporters
  • Security：SSL 配置；Kerberos；Delegation tokens
  • REPLs：Python REPL
  • Advanced：扩展资源；History Server；日志；Failure Enrichers
• Operations
  • 状态与容错：Checkpoints + Checkpointing under backpressure；Savepoints + Checkpoints 与 Savepoints；State Backends；大状态与 Checkpoint 调优；Task 故障恢复
  • 指标
  • REST API
  • Batch：Batch Shuffle
  • Debugging：调试窗口与事件时间 + 调试类加载 + 火焰图 + 应用程序分析与调试
  • Monitoring：监控 Checkpoint + 监控反压
  • 升级应用程序和 Flink 版本
  • 生产就绪情况核对清单
• Flink 开发：导入 Flink 到 IDE 中；从源码构建 Flink
• 内幕：作业调度；Task 生命周期；文件系统

开发问题处理文档

• checkpoint 超时报错问题处理（FlinkRuntimeException）
• Flink｜提交 PyFlink 作业的踩坑记录