大数据优化方向_大数据优化有哪些类别

作者：IT小白 | 2024-08-11 05:33:28

踩

大数据优化有哪些类别

系统监控
机器
CPU，内存，硬盘容量，磁盘间平衡，网卡出入流量
o 服务
消费延迟/积压，数据流量速率，数据压缩，consumer_group
注册报备
kafka二次开发
消费Consumer SDK封装，自动更新集群配置，系统迁移对用
户透明。
o Partition Migration Tool开发，避免大批量Partition迁移导致网
络风暴和服务波动。
o 数据流量波动监控
hadoop存在的问题
o HDFS单Namenode压力大，响应慢，Callqueuelength高 o 队列分配混乱，高优任务没有资源保障
o 系统监控报警不完善，被动解决事故，无法主动风险预警
o 计算引擎重依赖Hive，任务效率低
o 缺乏统一任务调度平台
o 小文件问题：监控fsimage

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/962511