技术分享 | 大数据自动化测试之工具链平台

2024软件测试面试刷题，这个小程序（永久刷题），靠它快速找到工作了！（刷题APP的天花板）_软件测试刷题小程序-CSDN博客文章浏览阅读3.4k次，点赞86次，收藏15次。你知不知道有这么一个软件测试面试的刷题小程序。里面包含了面试常问的软件测试基础题，web自动化测试、app自动化测试、接口测试、性能测试、自动化测试、安全测试及一些常问到的人力资源题目。最主要的是他还收集了像阿里、华为这样的大厂面试真题，还有互动交流板块……_软件测试刷题小程序​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502​编辑https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502https://blog.csdn.net/AI_Green/article/details/134931243?spm=1001.2014.3001.5502

提到自动化测试，人们往往会首先想到UI和接口自动化测试。然而，在大数据测试领域，我们的自动化测试又是怎么开展的呢？除了UI和接口自动化测试，是否还有其他的自动化方法呢？接下来，本文将向您介绍数据平台测试团队在大数据自动化测试领域取得的工作成果——自动化工具链平台。

一、工具链平台

数据领域的测试核心在于对海量数据的业务加工逻辑进行系统验证，从规范性、准确性和稳定性三个方面提升测试效率，规范测试过程。因此我们主要设计了以下几类常用功能：

1、SQL扫描

通过SQL扫描工具能提前识别SQL脚本中潜在问题，甚至一些性能问题。以这种发现问题和解决问题前置的方式降低修复成本，提高测试工作效率和SQL代码质量。工具链平台目前支持Hive、TeraData、Greenplum、Gauss四种数据库类型的SQL扫描，并提供了通用的扫描规则供项目组复用，同时也支持自定义扫描规则以适应不同数据库的特性和项目组个性化需求。此外，还支持生成自动化扫描结果和自动化扫描测试案例。

2、数据比对工具

在ETL功能测试过程中，测试人员需跟随数据流转过程，手工介入到整个ETL过程中，这里存在大量的手动工作量。针对以上的痛点和难点，结合数据测试流程，形成了数据比对工具。把共性和重复性的测试工作自动化，简化了ETL测试过程，从而提升测试效率和质量。

3、数据迁移比对

随着大量信创项目的逐步启动，数据迁移测试工作日益增多，如果手工进行迁移前后数据一一比对，需要投入大量人力资源，数据迁移比对工具应运而生。目前平台已支持Mysql、Oracle、GP、GS、Hive五种类型数据库以及定长双文件之间的比对，实现字段类型和数据两方面的比对。通过迁移对比工具，大幅度提高了数据迁移测试工作的验证效率。

4、工具链平台架构

工具链平台从平台管理的角度集成了SQL扫描、数据比对、数据迁移比对工具，通过页面操作即可实现ETL测试的自动化和数据库迁移自动化测试。工具链平台具体框架如下图所示：

二、应用实践

SQL扫描工具在大数据基础平台和企业级数据仓库等系统得到了广泛应用。在功能测试准入方面，能够迅速识别SQL规范等问题。遵循统一的SQL编写规范，有助于血缘分析过程中SQL脚本的成功解析。

数据比对工具能够提高ETL测试效率，简化了铺数和验数过程。目前，工具上线近半年，数据比对工具已使用近四千次，成功发现SQL脚本中的若干问题。通过数据比对工具平台化，不仅实现了测试过程的集中管理，还让测试人员能更专注于复杂字段的验证过程中。

迁移比对工具也已在多个系统中得到应用，包括审计署数据分析系统、零售报表系统等。其中，在审计署数据分析系统应用架构升级项目中，利用迁移比对工具，不仅能够快速完成所有迁移表字段和数据的比对，还能有效发现迁移过程中的缺陷。

至此，相信大家对大数据自动化测试的工具链平台有了初步了解。在后续的工作中，我们团队将持续优化和完善平台的相关功能。欢迎对相关功能感兴趣的同学给我们提出改进建议或者一起探索交流，让我们共同攻克大数据类系统自动化测试这个领域难题！

行动吧，在路上总比一直观望的要好，未来的你肯定会感谢现在拼搏的自己！如果想学习提升找不到资料，没人答疑解惑时，请及时加入群： 759968159，里面有各种测试开发资料和技术可以一起交流哦。

最后： 下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】

​​​软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。