当前位置:   article > 正文

kafka生产调优 硬件配置选择_kafka服务器配置要求

kafka服务器配置要求
1、100万日活 * 每人每天产生日志100条  =  1亿条 (中型公司)
	处理日志速度  1亿条 / (24 * 3600s ) = 1150条/s 
	1条日志 (0.5k - 2k 1k)
	1150条 * 1k /s  =  1m/s 
	
	高峰值 (中午小高峰 8 -12 ): 1m/s  * 20倍 =  20m/s  -40m/s 
	
2、购买多少台服务器
	服务器台数= 2 * (生产者峰值生产速率 * 副本数 / 100) + 1 
			   =  2  * (20m/s * 2 /100) + 1
			   = 3 台
				
3、磁盘选择
	kafka 按照顺序读写   机械硬盘和固态硬盘 顺序读写速度差不多
	
	1亿条  *  1k = 100g 
	100g * 2个副本 * 3天 / 0.7 = 1t
	建议三台服务器总的磁盘大小  大于1t 
	
4、内存选择
	kafka  内存 = 堆内存(kafka 内部配置) + 页缓存(服务器内存)
	1)堆内存 10 -15g
	2)页缓存  segment (1g )  (分区数Leader(10) * 1g * 25%)/ 3 = 1g
	一台服务器 10g + 1g 
	
5、CPU选择	
	32cpu
6、网络选择

测试:
1、batch.size=16384 linger.ms=0      9.76 MB/sec
2、batch.size=32768 linger.ms=0     9.76 MB/sec
3、batch.size=4096 linger.ms=0      3.81 MB/sec
4、batch.size=4096 linger.ms=50	  3.83 MB/sec
5、batch.size=4096 linger.ms=50 compression.type=snappy   3.77 MB/sec
6、batch.size=4096 linger.ms=50 compression.type=zstd     5.68 MB/sec
7、batch.size=4096 linger.ms=50 compression.type=gzip      5.90 MB/sec
8、batch.size=4096 linger.ms=50 compression.type=lz4       3.72 MB/sec
9、batch.size=4096 linger.ms=50 buffer.memory=67108864   3.76 MB/sec


消费者  一次处理500条   81.2066m/s 
消费者  一次处理2000条  138.0992m/s 
消费者  一次处理2000条  fetch.max.bytes=104857600   145.2033m/s
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/428578
推荐阅读
相关标签
  

闽ICP备14008679号