当前位置:   article > 正文

kafka各种监控指标_responsequeuetimems

responsequeuetimems

kafka1.0.X 官网采集的监控指标:http://kafka.apache.org/0110/documentation.html#monitoring

  1. ### Kafka性能指标
  2. #### kafka.server
  3. BrokerTopicMetrics,name=MessagesInPerSec: 每秒消息量
  4. BrokerTopicMetrics,name=BytesInPerSec: 每秒输入字节数
  5. BrokerTopicMetrics,name=BytesOutPerSec: 每秒输出字节数
  6. ReplicaManager,name=UnderReplicatedPartitions: 复制分区的数量,默认0,|ISR|<|all replicas|
  7. ReplicaManager,name=PartitionCount: 分区数
  8. ReplicaManager,name=LeaderCount: Leader副本数
  9. ReplicaManager,name=IsrShrinksPerSec: ISR回退
  10. ReplicaManager,name=IsrExpandsPerSec: ISR超前 value is 0
  11. ReplicaFetcherManager,name=MaxLag,clientId=Replica: 滞后follower和leader的最大消息长度
  12. FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+): 滞后follower的消息长度
  13. DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=Produce: producer等待请求大小
  14. DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=Fetch: 获取等待请求大小
  15. KafkaRequestHandlerPool,name=RequestHandlerAvgIdlePercent: 平均处理线程空闲时间
  16. #### kafka.network
  17. kafka.network:type=RequestMetrics,name=$1,request={Produce|FetchConsumer|FetchFollower}
  18. RequestsPerSec: 每秒请求量
  19. TotalTimeMs: 请求总时间
  20. RequestQueueTimeMs: 请求队列等待时间
  21. LocalTimeMs: 请求leader处理时间
  22. RemoteTimeMs: 请求follower等待时间
  23. ResponseQueueTimeMs: 请求队列等待响应时间
  24. ResponseSendTimeMs: 请求响应发送时间
  25. kafka.network:type=SocketServer,name=NetworkProcessorAvgIdlePercent: 平均网络处理空闲时间
  26. #### kafka.controller
  27. KafkaController,name=ActiveControllerCount: 活跃broker数量
  28. ControllerStats,name=LeaderElectionRateAndTimeMs: leader选举率
  29. ControllerStats,name=UncleanLeaderElectionsPerSec: Unclean leader选举率
  30. #### common
  31. connection-close-rate: 每秒连接关闭率
  32. connection-creation-rate: 每秒新建连接率
  33. network-io-rate: 平均每秒IO次数(读取或写入)
  34. outgoing-byte-rat: 平均每秒向服务器发送的字节数
  35. request-rate: 平均每秒发送的请求数
  36. incoming-byte-rate: 每秒读取字节数
  37. response-rate: 每秒收到的回复
  38. select-rate: IO切换次数
  39. io-wait-ratio: IO线程等待时间
  40. connection-count: 当前活跃连接数
  41. #### broker
  42. outgoing-byte-rate: 平均每秒发送字节数
  43. request-rate: 平均每秒请求数
  44. request-size-avg: 所有请求的平均大小
  45. request-latency-avg: 平均请求时间(ms)
  46. response-rate: 每秒收到的响应数
  47. #### producer
  48. waiting-threads: 缓存区排队的用户阻塞线程数
  49. buffer-available-bytes: 可用内存字节数
  50. batch-size-avg: 每个分区每次请求发送的平均字节数
  51. compression-rate-avg: 批量记录平均压缩率
  52. record-queue-time-avg: 批量记录耗费的平均时间(ms)
  53. request-latency-avg: 平均请求时间(ms)
  54. record-send-rate: 每秒发送的平均次数
  55. record-retry-rate: 每秒重试发送次数
  56. record-error-rate: 每秒错误数量次数
  57. requests-in-flight: 目前等待响应的请求数量
  58. metadata-age: 当前生产者数据使用周期(s)
  59. #### consumer
  60. ##### Consumer Group
  61. commit-latency-avg: 提交请求所用的平均时间
  62. commit-rate: 每秒提交调用次数
  63. assigned-partitions: 当前分配给该消费者的分区数(可选)
  64. heartbeat-rate: 平均每秒心跳数
  65. join-time-avg: 群组重新加入的平均时间
  66. join-rate: 每秒连接组的数量
  67. sync-time-avg: 群组同步所需的平均时间
  68. sync-rate: 每秒同步的组数
  69. ##### consumer fetch
  70. fetch-size-avg: 每次请求获取的平均字节数
  71. bytes-consumed-rate: 每秒消耗的平均字节数
  72. fetch-latency-avg: 请求所用的平均时间
  73. fetch-rate: 每秒提取请求数
  74. records-lag-max: 分区中记录的最大滞后数量
  75. ##### topic-level fetch
  76. fetch-size-avg: topic请求的平均字节数
  77. bytes-consumed-rate: topic每秒平均消耗的字节数
  78. #### streams
  79. ##### Thread
  80. [commit|poll|process|punctuate]-latency-avg: 平均执行时间(ms)
  81. [commit|poll|process|punctuate]-rate: 平均每秒请求数
  82. task-created-rate: 每秒新建任务数
  83. task-closed-rate: 每秒关闭任务数
  84. skipped-records-rate: 每秒跳过记录数
  85. ##### Task
  86. commit-latency-avg: 平均执行时间(ms)
  87. commit-rate: 每秒提交的平均次数
  88. ##### Processor Node
  89. forward-rate: 每秒从源节点向下游转发的平均速率
  90. ##### State Store
  91. [put|put-if-absent|get|delete|put-all|all|range|flush|restore]-latency-avg: 平均执行时间(ns)
  92. [put|put-if-absent|get|delete|put-all|all|range|flush|restore]-rate: 每秒的平均运行速度
  93. #### others
  94. GC、CPU、IO等

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/952460
推荐阅读
相关标签
  

闽ICP备14008679号