Spark Streaming和Kafka 参数调优

https://www.jianshu.com/p/5c20e5bc402c

---

再谈Spark Streaming Kafka反压

---

 

batchDuration     ：每隔batchDuration秒，切分成一个数据块(RDD) 

---

上图中数据流也可以抽象为DStream，其内部也是很多RDD的集合

---

注意batchDuration和批处理时间的差别

---

有几个问题：

batchDuration     <    批处理时间           喂的多，消化的慢，容易积食，时间长了，胃（内存）受不了
batchDuration     >    批处理时间           喂的少，消化的快，容易肚子饿，胃都是空的

---

如果batchDuration时间内，数据量过大，怎么处理，因此就有sparkStreaming的反压（Back Pressure）

---

反压： 只需要将 spark.streaming.backpressure.enabled 设置为 true 即可，这个参数的默认值为 false

---

 对于 Direct Approach 的数据接收，我们可以通过配置 spark.streaming.kafka.maxRatePerPartition 参数来限制每次作业中每个 Kafka 分区最多读取的记录条数

---

 

 

FR：徐海涛（hunk Xu)

QQ技术交流群：386476712