当前位置:   article > 正文

压力测试工具_大数据测试 | 大数据压力测试工具HiBench

大数据测试工具

需求描述:需要测试cdh集群的组件的性能和稳定性。

压力测试工具选型:HiBench

HiBench测试工具说明:

HiBench是一套基准测试套件,用于帮助我们评估不同的大数据框架性能指标(包括处理速度、吞吐等)的负载指标,可以评估Hadoop、Spark和流式负载等

HiBench内置了若干主要的大数据计算程序作为基准测试的负载(workload)。

  • Sort,对数据进行排序大数据程序。
  • WordCount,前面多次提到过,词频统计大数据计算程序。
  • TeraSort,对1TB数据进行排序,最早是一项关于软件和硬件的计算力的竞赛,所以很多大数据平台和硬件厂商进行产品宣传的时候会用TeraSort成绩作为卖点。
  • Bayes分类,机器学习分类算法,用于数据分类和预测。
  • k-means聚类,对数据集合规律进行挖掘的算法。
  • 逻辑回归,数据进行预测和回归的算法。
  • SQL,包括全表扫描、聚合操作(group by)、连接操作(join)几种典型查询SQL。
  • PageRank,Web排序算法。
24efb6349b0dd6d6e0715530aa00066d.png

HiBench

一、安装Hibench

1、下载Hibench

wget https://github.com/intel-hadoop/HiBench/archive/HiBench-7.0.zip

2、编译所有模块(注意:编译前,确保系统中已经安装好了maven)

命令:mvn -Dspark=2.1 -Dscala=2.11 clean package

3、编译指定模块

可根据需求只编译你需要测试的模块

如:只编译hadoop benchmarks

mvn -Phadoopbench -Dspark=2.1 -Dscala=2.11 clean package

如:只编译hadoop 和 Spark benchmarks

mvn -Phadoopbench -Psparkbench -Dspark=2.1 -Dscala=2.11 clean package

注意:目前支持的框架,如下:

hadoopbench、sparkbench、flinkbench、stormbench、gearpumbench。

以上Hibench安装完成

更加详细安装说明参考官方文档: https://github.com/intel-hadoop/HiBench/blob/master/docs/build-hibench.md

二、Hibench的配置使用

1、前提条件

1)、需要python2.x(>=2.6)

2)、需要linux bc命令,用于生成Hibench 报告,

bc解释详见:

http://man.linuxde.net/bc

http://www.runoob.com/linux/linux-comm-bc.html

若没有,则安装:yum install bc

3)、支持的hadoop版本apache hadoop2.x(经实测hadoop3.x也支持)、CDH5.x、HDP

4)、已经编译好了Hibench

5)、启动好hdfs、yarn集群

2、配置hadoop.conf

创建并编辑{Hibench_HOME}/conf/hadoop.conf

命令: cp {Hibench_HOME}/ conf/hadoop.conf.template {Hibench_HOME}/ conf/hadoop.conf

配置项说明

hibench.hadoop.home:hadoop安装目录

hibench.hadoop.executable:你的bin/hadoop所在目录,一般是{HADOOP_HOME}/bin/hadoop

hibench.hadoop.configure.dir:hadoop配置文件所在目录,一般位于HADOOP_HOME}/etc/hadoop

hibench.hdfs.master:hdfs上存储Hibench数据的目录,如:hdfs://localhost:8020/user/hibench

hibench.hadoop.release:hadoop发行版提供者,支持value:apache, cdh5, hdp

以下是样例,vim hadoop.conf

# Hadoop home

hibench.hadoop.home /opt/hadoop-3.0.0

# The path of hadoop executable

hibench.hadoop.executable /opt/hadoop-3.0.0/bin/hadoop

# Hadoop configraution directory

hibench.hadoop.configure.dir /opt/hadoop-3.0.0/etc/hadoop

# The root HDFS path to store HiBench data

hibench.hdfs.master hdfs://hadoopmaster:9820

# Hadoop release provider. Supported value: apache, cdh5, hdp

hibench.hadoop.release apache

3、运行一个workload

以下是一个使用例子

bin/workloads/micro/wordcount/prepare/prepare.sh ---产生测试数据(数据位于配置的hibench.hdfs.master指定的目录里面)

bin/workloads/micro/wordcount/hadoop/run.sh ---运行例子

说明:bin/run_all.sh能够用来运行所有位于conf/benchmarks.lst 和 conf/frameworks.lst中的workloads。

4、查看运行结果报告

执行详情见:{ Hibench_HOME }/report/hibench.report

5、补充:配置生成数据的大小

要改变输入数据的大小,在conf/hibench.conf配置文件中hibench.scale.profile属性的值即可,该值可选为tiny, small, large, huge, gigantic and bigdata。

具体数字修改查看详见conf/workloads/micro/wordcount.conf

6、修改conf/hibench.conf可以控制mapreduce运行时的并行度

hibench.default.map.parallelism mapper的数量

hibench.default.shuffle.parallelism reducer的数量

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号