热门标签
热门文章
- 1jupyter notebook在Linux服务器后台保持运行_jupyter中断后能继续运行吗
- 2uni-app 开发app打测试包等流程_uniapp打小程序测试包
- 3Linux--ServerProgramming--（3）详解高性能服务器程序框架_服务器程序列
- 4Django计算机毕业设计健康饮食推荐系统（程序+lw）Python_根据体重推荐食物python
- 5AndroidStudio实现用户登录注册界面代码（二）_andriod studio 登录系统 cadn
- 6nginx配置IPV6
- 7textView属性全解，自动换行_android中textview的换行机制
- 8Linux USB 驱动实验_linux otg功能
- 9ClickHouse 安装部署
- 10AntDB用户手册——登录数据库之adb登录_antdb 带密码登陆
当前位置: article > 正文
多线程与高并发(六) 单机压测工具JMH，Disruptor原理解析_idea 多线程压测插件
作者：我家小花儿 | 2024-03-17 08:10:07
赞
踩
idea 多线程压测插件
一，JMH
Java Microbenchmark Harness，是Java用来做基准测试的工具，测试结果可信度高，用于测试某个方法的性能。13年首发，由JIT开发人员开发，后归于OpenJDK。
官网：OpenJDK: jmh
官方样例： code-tools/jmh: 2be2df7dbaf8 /jmh-samples/src/main/java/org/openjdk/jmh/samples/
（一）创建JMH测试
需要准确的效果，建议是用命令行的方式，并独一代码单独打包进行测试。
如果想边开发边测试（我是懒得重弄项目了），可以使用JMH的插件。
1，idea安装JMH插件 idea18 版本，装的这个
2，MAVEN
- <!--jmh-->
- <!-- https://mvnrepository.com/artifact/org.openjdk.jmh/jmh-core -->
- <dependency>
- <groupId>org.openjdk.jmh</groupId>
- <artifactId>jmh-core</artifactId>
- <version>1.21</version>
- </dependency>
-
- <!-- https://mvnrepository.com/artifact/org.openjdk.jmh/jmh-generator-annprocess -->
- <dependency>
- <groupId>org.openjdk.jmh</groupId>
- <artifactId>jmh-generator-annprocess</artifactId>
- <version>1.21</version>
- <scope>test</scope>
- </dependency>
3，由于用到了注解，打开运行程序注解配置
compiler -> Annotation Processors -> Enable Annotation Processing
5，测试类
- package com.example.demo.jmh;
-
- import java.util.ArrayList;
- import java.util.List;
- import java.util.Random;
-
- public class PS {
-
- static List<Integer> nums = new ArrayList<>();
- static {
- Random r = new Random();
- for (int i = 0; i < 10000; i++) nums.add(1000000 + r.nextInt(1000000));
- }
-
- static void foreach() {
- nums.forEach(v->isPrime(v));
- }
-
- static void parallel() {
- nums.parallelStream().forEach(PS::isPrime);
- }
-
- static boolean isPrime(int num) {
- for(int i=2; i<=num/2; i++) {
- if(num % i == 0) return false;
- }
- return true;
- }
- }
6，单元测试
- package com.example.demo.jmh;
-
- import org.openjdk.jmh.annotations.Benchmark;
-
- public class PSTest {
- @Benchmark
- public void testForEach() {
- PS.foreach();
- }
- }
7，运行测试类，如果遇到下面的错误：
- ERROR: org.openjdk.jmh.runner.RunnerException: ERROR: Exception while trying to acquire the JMH lock (C:\WINDOWS\/jmh.lock): C:\WINDOWS\jmh.lock (拒绝访问。), exiting. Use -Djmh.ignoreLock=true to forcefully continue.
- at org.openjdk.jmh.runner.Runner.run(Runner.java:216)
- at org.openjdk.jmh.Main.main(Main.java:71)
这个错误是因为JMH运行需要访问系统的TMP目录，解决办法是：
打开RunConfiguration -> Environment Variables -> include system environment viables
8，阅读测试报告
（二）JMH中的基本概念
-
Warmup 预热，由于JVM中对于特定代码会存在优化（本地化），预热对于测试结果很重要
-
Mesurement 总共执行多少次测试
-
Timeout
-
Threads 线程数，由fork指定
-
Benchmark mode 基准测试的模式
-
Benchmark 测试哪一段代码
二，Disruptor
（一）介绍
源码：https://github.com/LMAX-Exchange/disruptor
GettingStarted: Getting Started · LMAX-Exchange/disruptor Wiki · GitHub
api: http://lmax-exchange.github.io/disruptor/docs/index.html
maven: https://mvnrepository.com/artifact/com.lmax/disruptor
一个线程中每秒处理600万订单，是金融机构开发的用于交易的。
2011年获得Duke奖项
单机速度最快的MQ
性能极高，无锁CAS，单机支持高并发
内存中用于存储的高效队列。
（二）Disruptor的特点
对比ConcurrentLinkedQueue : 链表实现
JDK中没有ConcurrentArrayQueue ，是因为数组是固定长度的，那么每次扩展都需要复制+1，效率低
Disruptor是数组实现的
数组是实现的ConcurrentArrayQueue 且头尾相连，
为什么效率比链表快，第一，链表没有数组遍历快；第二，链表需要维护头尾两个指针，数组只需维护一个sequence序列（下个元素的位置）；
怎么计算加在环形数组的位置？ 添加元素的第几个元素 / 数组容量 求余
无锁，高并发，使用环形Buffer，直接覆盖（不用清除）旧的数据，降低GC频率
实现了基于事件的生产者消费者模式（观察者模式）
（三）RingBuffer
环形队列
RingBuffer的序号，指向下一个可用的元素
采用数组实现，没有首尾指针
对比ConcurrentLinkedQueue，用数组实现的速度更快
假如长度为8，当添加到第12个元素的时候在哪个序号上呢？用12%8决定
当Buffer被填满的时候到底是覆盖还是等待，由Producer决定
长度设为2的n次幂，利于二进制计算，例如：12%8 = 12 & (8 - 1) pos = num & (size -1)
01：14“09
（四）Disruptor开发步骤
-
定义Event - 队列中需要处理的元素
-
定义Event工厂，用于填充队列
这里牵扯到效率问题：disruptor初始化的时候，会调用Event工厂，对ringBuffer进行内存的提前分配
GC产频率会降低
-
定义EventHandler（消费者），处理容器中的元素
1，事件发布模板
long sequence = ringBuffer.next(); // Grab the next sequence
try {
LongEvent event = ringBuffer.get(sequence); // Get the entry in the Disruptor
// for the sequence
event.set(8888L); // Fill with data
} finally {
ringBuffer.publish(sequence);
}
2，使用EventTranslator发布事件
//===============================================================
EventTranslator<LongEvent> translator1 = new EventTranslator<LongEvent>() {
@Override
public void translateTo(LongEvent event, long sequence) {
event.set(8888L);
}
};
ringBuffer.publishEvent(translator1);
//===============================================================
EventTranslatorOneArg<LongEvent, Long> translator2 = new EventTranslatorOneArg<LongEvent, Long>() {
@Override
public void translateTo(LongEvent event, long sequence, Long l) {
event.set(l);
}
};
ringBuffer.publishEvent(translator2, 7777L);
//===============================================================
EventTranslatorTwoArg<LongEvent, Long, Long> translator3 = new EventTranslatorTwoArg<LongEvent, Long, Long>() {
@Override
public void translateTo(LongEvent event, long sequence, Long l1, Long l2) {
event.set(l1 + l2);
}
};
ringBuffer.publishEvent(translator3, 10000L, 10000L);
//===============================================================
EventTranslatorThreeArg<LongEvent, Long, Long, Long> translator4 = new EventTranslatorThreeArg<LongEvent, Long, Long, Long>() {
@Override
public void translateTo(LongEvent event, long sequence, Long l1, Long l2, Long l3) {
event.set(l1 + l2 + l3);
}
};
ringBuffer.publishEvent(translator4, 10000L, 10000L, 1000L);
//===============================================================
EventTranslatorVararg<LongEvent> translator5 = new EventTranslatorVararg<LongEvent>() {
@Override
public void translateTo(LongEvent event, long sequence, Object... objects) {
long result = 0;
for(Object o : objects) {
long l = (Long)o;
result += l;
}
event.set(result);
}
};
ringBuffer.publishEvent(translator5, 10000L, 10000L, 10000L, 10000L);
3，使用Lamda表达式
package com.mashibing.disruptor;
import com.lmax.disruptor.RingBuffer;
import com.lmax.disruptor.dsl.Disruptor;
import com.lmax.disruptor.util.DaemonThreadFactory;
public class Main03
{
public static void main(String[] args) throws Exception
{
// Specify the size of the ring buffer, must be power of 2.
int bufferSize = 1024;
// Construct the Disruptor
Disruptor<LongEvent> disruptor = new Disruptor<>(LongEvent::new, bufferSize, DaemonThreadFactory.INSTANCE);
// Connect the handler
disruptor.handleEventsWith((event, sequence, endOfBatch) -> System.out.println("Event: " + event));
// Start the Disruptor, starts all threads running
disruptor.start();
// Get the ring buffer from the Disruptor to be used for publishing.
RingBuffer<LongEvent> ringBuffer = disruptor.getRingBuffer();
ringBuffer.publishEvent((event, sequence) -> event.set(10000L));
System.in.read();
}
}
4，ProducerType生产者线程模式
ProducerType有两种模式 Producer.MULTI和Producer.SINGLE
默认是MULTI，表示在多线程模式下产生sequence
如果确认是单线程生产者，那么可以指定SINGLE，效率会提升
如果是多个生产者（多线程），但模式指定为SINGLE，会出什么问题呢？
5，等待策略
如果来不及消费，会被覆盖怎么办？这就引出了等待策略
1，(常用）BlockingWaitStrategy：通过线程阻塞的方式，等待生产者唤醒，被唤醒后，再循环检查依赖的sequence是否已经消费。
2，BusySpinWaitStrategy：线程一直自旋等待，可能比较耗cpu
3，LiteBlockingWaitStrategy：线程阻塞等待生产者唤醒，与BlockingWaitStrategy相比，区别在signalNeeded.getAndSet,如果两个线程同时访问一个访问waitfor,一个访问signalAll时，可以减少lock加锁次数.
4，LiteTimeoutBlockingWaitStrategy：与LiteBlockingWaitStrategy相比，设置了阻塞时间，超过时间后抛异常。
5，PhasedBackoffWaitStrategy：根据时间参数和传入的等待策略来决定使用哪种等待策略
6，TimeoutBlockingWaitStrategy：相对于BlockingWaitStrategy来说，设置了等待时间，超过后抛异常
7，（常用）YieldingWaitStrategy：尝试100次，然后Thread.yield()让出cpu
8，（常用）SleepingWaitStrategy : sleep
6，消费者异常处理
默认：disruptor.setDefaultExceptionHandler()
覆盖：disruptor.handleExceptionFor().with()
7，依赖处理
- <!-- https://mvnrepository.com/artifact/com.lmax/disruptor -->
- <dependency>
- <groupId>com.lmax</groupId>
- <artifactId>disruptor</artifactId>
- <version>3.4.2</version>
- </dependency>
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/255020?site
推荐阅读
相关标签
