不靠谱的benchmark测试，关于Gatling和JMeter的测试结果验证_benchmark 和 jmeter

Gatliing 是最近比较火的开源测试工具，借鉴了很多开源测试工具优点，社区也很活跃，个人比较看好。第一次了解这个工具后，就注意到主页的一个和JMeter性能相关评测:

"Gatling has much better performances than JMeter, See for yourself!" and the following 2 graphs are shown":

心想，这是立flag 的节奏，估计有人喷吧，结果今天居然看到有人写了详细的对比评测，Gatling 果然是在对比测试做了点小手脚，原文在blogspot, 天朝需翻墙，总结下。

主要的存疑点

Gatling 测试的时候用的是老版本，中间有个重要的点 ‘connections are shared amongst users’ ，而这显然不符合真实的浏览器行为。

作者抓住这点，随后自己做了新的对比测试，换了JMeter和Gatling 最新的版本，保持了一样的测试环境，和脚本，当然Gatling 针对存疑的地方，脚本做了更改，注意红框部分

事实是：

好了，大概也看出来两者结果很接近，至少证明Gatling 没有像他自己测试那样完美。

Gatling 在测试的时候耍了小聪明，但从这个事上我们也可以总结下

1. 对于任何宣称疗效显著的工具始终要存疑
2. 对于看着漂亮的报告也要持怀疑的态度
3. 自己测试更靠谱