阿里智能化接口测试平台--暴雪

简介：

郑红(佚葭)，阿里巴巴资深测试开发专家，2009年从上海交大研究生毕业后，一直专注从事测试开发工作。早期主要在百度和一淘从事搜索领域相关测试，2012年加入天猫技术部负责核心交易链路相关测试，目前主要负责盒马、天猫超市和新零售终端的测试团队。致力于推动测试团队从工具化、自动化往平台化、智能化思维转变，通过技术手段赋能开发和测试，做最高效的用户体验的捍卫者。 

暴雪的起源

2016年11月30日，暴雪起源于天猫技术质量部的第一次核心成员脑暴会，此次头脑风暴奠定了团队后面几年的转型方向，即智能化方向。智能化是极具有前瞻性的，当时质量部的远大目标就是要搞好智能化。当时我们有几千个自动化测试用例，但还是有漏测，跟不上开发的节奏。要解决这个问题就要搞好智能化，智能化要干什么呢？团队当时决定搞大数据方向，将线上数据引流下来就可以覆盖原来覆盖不到的用例，而且引流也稳定，维护成本也会下降，所以，在智能化中我们确定了最接地气的大数据测试方向。 

针对大数据测试方向，团队用一周时间制定了规划，在规划的三个方向中，如今依然没有完全落地，其中的怎么用线上东西去mock环境不稳定的问题在今天依然被拿出来讨论，这值得反思，当我们回头看自己做的事情时，有时候会发现很多东西值得思考。确定了目标之后，我们就要为之努力，在规划的过程中，我们分析智能化到底要做什么，当时的doom已经有强大的线上采集和回放能力，那么，我们的定位是什么呢？通过与doom的沟通，我们希望doom与暴雪是中间件与业务系统之间的关系，前者提供能力，后者提供更上层的解决方案，在这个过程中，我们可以提供什么解决方案呢？在规划中逐步对目标更加清晰，提出了“让天下没有难写的接口测试”的梦想，这个梦想的实质有三点，一是指不难写，二是指接口测试，三是指能够实现页面的交互、可视化、有输入输出。 项目取名为“智能接口测试3.0”，寓意我们是接口测试发展里程中的第三代，同时我们想把一代的自动化理念表达进去。Itest、testNG为接口测试1.0版本，接口测试2.0实现了可视化，提供了各种校验的页面式的交互，使写脚本的成本变低。如果我们可以通过大数据变得具有学习能力，不需人为设计，我们称之为“智能接⼝测试3.0”。在接口的测试过程中有三大痛点：环境、场景、数据。

在2017年3月，接口测试3.0第一版正式发布，此时还没有真正的落地，并不能真正的使用。2017年4月，第二期体验优化完成。2017年6月，第三期易用性优化完成，这一版更倾向于测试视角的用法。在这过程中，业务线同学兼顾开发，迭代速度低于预期速度，这时也有了天启和青龙，让团队更坚定了研究方向是正确的方向，但同时也有了危机感。有梦才有远方，回首三年，我们庆幸当初定下了长远的目标，使我们能够持之以恒。

暴雪的转变

在2017年7月，我们开始有专人投入开发，需求迭代速度加快。2017年8月，我们开始尝试探索智能化，如用例智能推荐、无脑回归。2017年11月，我们终于实现了从内往外走，开始加大运营投入，且取得了非常好的效果，慢慢的拥有了两个金牌用户：B2B团队和闲鱼团队。2018年1月，“智能接⼝测试3.0”正式更名为“暴雪”。我们针对重点应用和非核心应用的运营思路是不同的。

 那么，转变的背后我们有哪些思考？具体包括以下几方面：

• 效能目标设定：更贴近用户价值的量化目标。看到有专人投入，刚开始的迭代速度很快，定什么样的目标才是合理的？因为投入专人后一直在开发，但是价值在哪里，效能目标怎么设定？我们要设定更贴近用户价值的量化目标，即要完成多少个应用接入，要完成多少个case业务落地等，这才是暴雪存在的意义。

• 智能化初探：由于算法大赛的刺激，每个小组自我报名参赛，敢想敢做，一切皆有可能。

• 能力综合体：如果真的要做一个效能的平台，就必须成为一个能力综合体，不是说技术好就一定有更大的价值，产品能力+技术能力+运营能力都不可或缺。 

  

当时的产品很烂，我们做各种交互，产品有很多层，要做一个好的产品，需要具备交互优化的能力，在决策某些功能时，什么该第一优先，什么该次级优先，既要了解用户需求，又不能被用户牵着鼻子走，如果没有自己的思考，就不会提供更强大的价值，这是效能产品同学需要重点去思考的。在这个转变阶段，形成了产品的价值定位，或者说能力节点，包括以下几部分： 

大数据、高效、通用、闭环、智能，在这个阶段有流量测试的提效，测试覆盖更全面，研发流程全面升级，AI测试也得到了改革。此时，暴雪已经具备了一定的价值，用户数开始攀升，处于几十个应用接入的阶段。

暴雪的破局

2018.04 爱迪生赛后，团队士气一时陷入低迷，得奖的前三名全部是大数据采集回放领域的，暴雪并不在其中。那么，我们的竞争力是什么？我们是不是在重复造轮？ 这时我们思考了以下三个问题：

1. 用户市场很广，虽然TMF有天启，但当前产品有差异化，服务好非TMF，价值空间依旧在。

2. 用户痛点还很多，应该共建互通，攻坚技术难题，聚焦用户价值。

3. 智能化探索之路还很远，创新力才是竞争力，不一定拘泥于当下几个点。 

我们得出以下结论：

• 核心价值：广大非TMF应用的技术同学的测试赋能，解决质量和效率问题。

• 竞争力：不断的用创新探索智能化测试。

• 方向决策：进一步开放共赢，包括与AE、蚂蚁合作等，大家会有各种各样的想法，最后都能在平台上一起合作，最后形成各种解决方案，服务相同的自动化和接口测试。

重新扬帆起航

那么，在这一年多的时间里，我们做了哪三个重大的事情呢？

1. 更优的架构：一旦用户体量上去后，架构的好坏就会决定未来的发展，新暴雪平台，与DOOM解耦，跑得更快，创造更多可能性。

2. 更丰富的产品：无脑回归加强，增加了业务维度，可以自动识别业务规则，根据流量告诉你哪些规则组合还没有生成用例；异常接口测试，读接口链路测试，写接口链路测试、测试度量(灰度发布度量，慢sql预测)。

3. 更开放的思想：适配蚂蚁用暴雪，与AE共建精准回归，与蚂蚁compass合作，支持供应链-氢气球端式录制，更多open api的开放。 

   

破局之后，现在的暴雪有40多个BU的用户，接入应用数达700多个，周活跃用户接近200个，以前我们追求的指标是多少应用的接入，随着不断的深化，就会发现这个指标是不对的，可能接入后就死掉了，全部是非活跃用户，还是不能说自己有价值，所以从2018年开始，我们开始追求活跃用户数，活跃用户多，说明真正为用户创造了价值。 

目标暴雪的产品能力树如图所示，读接口实时对比、异常测试等都是今年刚release出去的版本。

暴雪的展望

暴雪的产品展望如图所示，最上面的产品层就是我们要创造的价值，往下的业务层、基础层是必须具备的能力，暴雪的价值表达更多的是在产品层，未来我们希望能够通过自己的流量的智能转化生成出新的东西。如果暴雪等产品拥有懂代码的能力，就可以智能的覆盖更多的东西。未来智能化就是一是往底层修炼到更懂代码，一是更懂业务，暴雪目前还是依赖人去录入，未来可能没有人自己也可以探索到。 整个产品，更多还是在代码质量的领域，未来暴雪要保持三个方向，一是还要在这个领域做深耕，不是在功能点做深耕；二是智能化；三是开放，做到业务线和效能组的共赢，谁是主引擎并没有那么重要。