MySQL性能压测工具SysBench详解（非常详细）

概述

背景

最近需要给不同的客户部署数据库，各自的预算不一样，购买的服务器配置也不一样。那么我们就需要对其数据库的支撑能力进行一定测试，以保证满足业务真是的需要

数据库性能指标

sysbench简介

sysbench 支持以下几种测试模式：
1、CPU 运算性能
2、磁盘 IO 性能
3、调度程序性能
4、内存分配及传输速度
5、POSIX 线程性能–互斥基准测试
6、数据库性能(OLTP 基准测试)

安装

二进制方式

RHEL/CentOS:

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
sudo yum -y install sysbench

1
2
3
4

Debian/Ubuntu

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.deb.sh | sudo bash
sudo apt -y install sysbench

1
2
3
4

优化内核，提升SysBench Client

执行如下命令配置SysBench Client，使内核可以使用所有的CPU处理数据包（默认设置为使用2个CPU），同时减少CPU之间的上下文切换。

sudo sh -c 'for x in /sys/class/net/eth0/queues/rx-*; do echo ffffffff>$x/rps_cpus; done'
sudo sh -c "echo 32768 > /proc/sys/net/core/rps_sock_flow_entries"
sudo sh -c "echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt"
sudo sh -c "echo 4096 > /sys/class/net/eth0/queues/rx-1/rps_flow_cnt"

1
2
3
4
5
6

其中：ffffffff表示使用32个CPU（1个f表示4个CPU）。请根据实际配置修改，例如ECS为8核CPU，则输入ff。

快速体验

以下命令可以输出各个检测项的帮助文档

# IO
sysbench  --test=fileio help

# CPU
sysbench  --test=cpu help

# 内存
sysbench  --test=memory help

# 线程
sysbench  --test=threads help

# 互斥性能
sysbench  --test=mutex help

# 事务处理
sysbench --test=oltp help

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

格式

通用格式：
sysbench [options]... [testname] [command]

也可以使用sysbench --help 展示所有使用手册。

内置lua脚本

在/usr/share/sysbench目录下有常用操作的lua脚本，要自定义脚本实现特定功能时，可参考这些脚本。

bulk_insert.lua
oltp_common.lua
oltp_delete.lua
oltp_insert.lua
oltp_point_select.lua
oltp_read_only.lua
oltp_read_write.lua
oltp_update_index.lua
oltp_update_non_index.lua
oltp_write_only.lua
select_random_points.lua
select_random_ranges.lua

1
2
3
4
5
6
7
8
9
10
11
12
13
14

使用

文件IO

磁盘IO性能测试，主要查看请求数(request)和总体的吞吐量(total)。

预备测试

sysbench --test=fileio --file-num=2 --file-block-size=1024 --file-total-size=1G prepare

1
2
3

执行测试

1、测试顺序读写，请求10000次，如果不能在30秒内完成，测试结束

sysbench fileio \
--file-num=2 \
--file-block-size=1024 \
--file-total-size=1G \
--file-test-mode=seqrewr \
--time=30 \
--events=10000 \
--threads=4 \
--file-fsync-freq=200 \
--file-extra-flags=direct run

1
2
3
4
5
6
7
8
9
10
11
12

2、测试随机读写，请求10000次，如果不能在30秒内完成，测试结束

sysbench --test=fileio \
--file-num=2 \
--file-block-size=1024 \
--file-total-size=1G \
--file-test-mode=rndrw \
--time=30 \
--events=10000 \
--threads=4 \
--file-fsync-freq=200 \
--file-extra-flags=direct run

1
2
3
4
5
6
7
8
9
10
11
12

3、测试随机读，请求10000次，如果不能在30秒内完成，测试结束

sysbench --test=fileio \
--file-num=2 \
--file-block-size=1024 \
--file-total-size=1G \
--file-test-mode=rndrd \
--time=30 \
--events=10000 \
--threads=4 \
--file-fsync-freq=200 \
--file-extra-flags=direct run

1
2
3
4
5
6
7
8
9
10
11
12

清理文件

sysbench --test=fileio --num-threads=4  --file-total-size=1G --file-test-mode=rndrw cleanup

1
2
3

结果说明

### 版本说明
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
### 线程数
Number of threads: 4
Initializing random number generator from current time


Extra file open flags: directio
### 文件数、单个文件大小
2 files, 5GiB each
### 文件总大小
10GiB total file size
### 单次最大I/O操作block 10k
Block size 10KiB
### I/O读取请求次数
Number of IO requests: 10000
### 读写测试比例 3/2：1.5
Read/Write ratio for combined random IO test: 1.50
### 200次请求会执行记录数据
Periodic FSYNC enabled, calling fsync() each 200 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!

### 文件操作
File operations:
    reads/s:                      1411.72
    writes/s:                     941.22
    fsyncs/s:                     25.19
### 吞吐量
Throughput:
    read, MiB/s:                  13.79
    written, MiB/s:               9.19
### 总统计
General statistics:
    total time:                          4.2069s
    total number of events:              10000  
### fileio 磁盘测试，在4秒范围内进行随机读写这个行为一共进行了10000次，实际执行时间为4.2069秒

### 潜在数据
Latency (ms):
         min:                                    0.04
         avg:                                    1.68
         max:                                   45.76
         95th percentile:                        3.96
         sum:                                16810.76
### 这部分数据应该统计的是线程真正执行的时间，总共16810.76ms, 单次执行最少时间为0.04ms,
### 最多时间为45.76ms, 平均时间为1.68ms, 95%次的执行时间在3.96ms左右;

Threads fairness:
    events (avg/stddev):           2500.0000/26.24
    execution time (avg/stddev):   4.2027/0.00
### 归纳总结，线程执行时间为4.2027s, 执行平均次数为2500次,上下差为：26.24

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60

CPU测试

选项

sysbench的cpu测试是在指定时间内，循环进行素数计算。

素数（也叫质数）就是从1开始的自然数中，无法被整除的数，比如2、3、5、7、11、13、17等。编程公式：对正整数n，如果用2到根号n之间的所有整数去除，均无法整除，则n为素数。

测试

sysbench cpu --cpu-max-prime=20000 --threads=2 run

1
2
3

结果

[root@Reseach sysbench-test]# sysbench cpu --cpu-max-prime=20000 --threads=2 run
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2 // 指定线程数为2
Initializing random number generator from current time


Prime numbers limit: 20000 // 每个线程产生的素数上限均为2万个

Initializing worker threads...

Threads started!

CPU speed:
    events per second:  1955.47 // 所有线程每秒完成了650.74次event

General statistics:
    total time:                          10.0006s  // 共耗时10秒
    total number of events:              19559 // 10秒内所有线程一共完成了6510次event

Latency (ms):
         min:                                    0.87 // 完成1次event的最少耗时3.03秒
         avg:                                    1.02 // 所有event的平均耗时3.07毫秒
         max:                                    1.71 // 完成1次event的最多耗时3.27毫秒
         95th percentile:                        1.67 // 95%次event在3.13秒毫秒内完成
         sum:                                19995.36 // 每个线程耗时10秒，2个线程叠加耗时就是20秒

Threads fairness:
    events (avg/stddev):           9779.5000/6.50 // 平均每个线程完成3255次event，标准差为44
    execution time (avg/stddev):   9.9977/0.00 // 每个线程平均耗时10秒，标准差为0

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

如果有2台服务器进行CPU性能对比，当素数上限和线程数一致时：

• 相同时间，比较event
• 相同event，比较时间
• 时间和event都相同，比较stddev(标准差)

线程性能测试

选项

测试

sysbench --test=threads --num-threads=4 --thread-yields=12 --thread-locks=2 run

1
2
3
4

结果

General statistics:
    total time:                          10.0001s
    total number of events:              2357161

Latency (ms):
         min:                                    0.00
         avg:                                    0.02
         max:                                   18.44
         95th percentile:                        0.05
         sum:                                39356.63

Threads fairness:
    events (avg/stddev):           589290.2500/577.33
    execution time (avg/stddev):   9.8392/0.00

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

互斥性能测试

Mutex请求的性能与CPU主频及物理CPU个数有关

选项

测试

sysbench mutex --mutex-num=2048  --mutex-locks=5000 --mutex-loops=5000 run

1
2
3

结果

General statistics:
    total time:                          0.0075s
    total number of events:              1

Latency (ms):
         min:                                    7.48
         avg:                                    7.48
         max:                                    7.48
         95th percentile:                        7.43
         sum:                                    7.48

Threads fairness:
    events (avg/stddev):           1.0000/0.00
    execution time (avg/stddev):   0.0075/0.00

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

内存性能测试

选项

测试

sysbench --test=memory \
--threads=2 \
--events=10000 \
--memory-total-size=1G \
--memory-block-size=8K \
--memory-oper=read run

1
2
3
4
5
6
7
8

sysbench --test=memory \
--threads=2 \
--events=100000 \
--memory-total-size=50G \
--memory-block-size=8K \
--memory-oper=write run

1
2
3
4
5
6
7
8

数据库OLTP

选项说明

随机数生成算法

支持的lua脚本

脚本参数

测试

OLTP读写混合场景

表结构

执行以下sysbench命令可以创建，sysbench的内置表。

sysbench --db-driver=mysql \
--mysql-host=127.0.0.1 \
--mysql-port=33106 \
--mysql-user=root \
--mysql-password=Abc123456 \
--mysql-db=test_db \
--table_size=25000 \
--tables=250 \
--events=0 \
--time=600 \
oltp_read_write prepare

1
2
3
4
5
6
7
8
9
10
11
12
13

可以生成如下表结构

mysql> show create table sbtest168;
+-----------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table     | Create Table                                                                                                                                                                                                                                                                                                                                                      |
+-----------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sbtest168 | CREATE TABLE `sbtest168` (
  `id` int NOT NULL AUTO_INCREMENT,
  `k` int NOT NULL DEFAULT '0',
  `c` char(120) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  `pad` char(60) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `k_168` (`k`)
) ENGINE=InnoDB AUTO_INCREMENT=25001 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci |

1
2
3
4
5
6
7
8
9
10
11
12
13
14

只写

##准备数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_write_only run


##运行 workload
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
--events=0 \
--time=600 \
--threads=192 \
--percentile=95 \
--report-interval=1 \
oltp_write_only run

##清理数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \ 
oltp_write_only cleanup


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

只读（point select）

##准备数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_only prepare

##运行 workload
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
--events=0 \
--time=600 \
--threads=512 \
--percentile=95 \
--range_selects=0 \
--skip-trx=1 \
--report-interval=1 \
oltp_read_only run

##清理数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_only cleanup

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

只读（range select）

##准备数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_only prepare

##运行 workload
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
--events=0 \
--time=600 \
--threads=512 \
--percentile=95 \
--skip-trx=1 \
--report-interval=1 \
oltp_read_only run

##清理数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_only cleanup


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

混合读写（point select）

##准备数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_write run

##运行 workload
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
--events=0 \
--time=600 \
--range_selects=0 \
--threads=XXX \
--percentile=95 \
--report-interval=1 \
oltp_read_write run

##清理数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_write cleanup

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

混合读写（range select）

##准备数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_write run

##运行 workload
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
--events=0 \
--time=600 \
--threads=XXX \
--percentile=95 \
--report-interval=1 \
oltp_read_write run

##清理数据
sysbench --db-driver=mysql \
--mysql-host=XXX \
--mysql-port=XXX \
--mysql-user=XXX \
--mysql-password=XXX \
--mysql-db=XXX \
--table_size=XXX \
--tables=XXX \
oltp_read_write cleanup

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

本文内容到此结束了，
如有收获欢迎点赞
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/519016