kafka生产调优 硬件配置选择_kafka服务器配置要求

1、100万日活 * 每人每天产生日志100条  =  1亿条 （中型公司）
	处理日志速度  1亿条 / (24 * 3600s ) = 1150条/s 
	1条日志 （0.5k - 2k 1k）
	1150条 * 1k /s  =  1m/s 
	
	高峰值 （中午小高峰 8 -12 ）： 1m/s  * 20倍 =  20m/s  -40m/s 
	
2、购买多少台服务器
	服务器台数= 2 * （生产者峰值生产速率 * 副本数 / 100） + 1 
			   =  2  * （20m/s * 2 /100） + 1
			   = 3 台
				
3、磁盘选择
	kafka 按照顺序读写   机械硬盘和固态硬盘 顺序读写速度差不多
	
	1亿条  *  1k = 100g 
	100g * 2个副本 * 3天 / 0.7 = 1t
	建议三台服务器总的磁盘大小  大于1t 
	
4、内存选择
	kafka  内存 = 堆内存（kafka 内部配置） + 页缓存（服务器内存）
	1）堆内存 10 -15g
	2）页缓存  segment (1g )  （分区数Leader（10） * 1g * 25%）/ 3 = 1g
	一台服务器 10g + 1g 
	
5、CPU选择	
	32cpu
6、网络选择

测试：
1、batch.size=16384 linger.ms=0      9.76 MB/sec
2、batch.size=32768 linger.ms=0     9.76 MB/sec
3、batch.size=4096 linger.ms=0      3.81 MB/sec
4、batch.size=4096 linger.ms=50	  3.83 MB/sec
5、batch.size=4096 linger.ms=50 compression.type=snappy   3.77 MB/sec
6、batch.size=4096 linger.ms=50 compression.type=zstd     5.68 MB/sec
7、batch.size=4096 linger.ms=50 compression.type=gzip      5.90 MB/sec
8、batch.size=4096 linger.ms=50 compression.type=lz4       3.72 MB/sec
9、batch.size=4096 linger.ms=50 buffer.memory=67108864   3.76 MB/sec


消费者  一次处理500条   81.2066m/s 
消费者  一次处理2000条  138.0992m/s 
消费者  一次处理2000条  fetch.max.bytes=104857600   145.2033m/s
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44