背景
美丽川航,美好出行。四川航空作为中国最具特色的航空公司之一,始终以安全为品牌核心价值,持续安全飞行34年,现运营中国国内最大的全空客机队超过190架飞机,执飞国内外航线500余条。而微信小程序是四川航空用户订票的最重要的入口之一,对小程序质量要求也非常高。
每次新版本发布时,需要对会员、机票、行程、服务大厅等业务重点模块进行回归测试。每次上线前,靠人工进行完整测试的难度大,时间紧,易遗漏。
云测实践
为了提升测试效率,解决人工回归容易遗漏的了问题,从23年3月开始,四川航空向自动化测试方向转型。
首先四川航空的测试同学,对150+个功能点,按照业务重要程度,用户访问量等维度进行排序,对重要的、变更较少的业务先开展自动化测试。
在自动化测试选型中,组内测试同学有一定的Python基础,选择了Minium框架来编写自动化测试用例,并且采用了PageObject设计模式,将用例逻辑和底层操作分离,降低了Case的维护成本。
为了方便大家快速上手,我们开放了具体实践的示例代码,方便大家一起学习交流。
在具体实践过程中,发现随着用例数量增加,自动化测试耗时也增加很快。
例如在某次发版时,在开发者工具上,全量执行85个Case时需要2小时!执行时长过长很影响回归测试效率。
为了解决这个问题,四川航空的测试同学,将用例放在小程序云测服务中执行,首先利用多机协同执行用例的方案,将case分散给多台机器同时执行,大大提升了执行效率。
在此基础上,四川航空采用了小程序云测服务的快速测试机器,节省了真机安装和初始化微信的时间,进一步提升了真机执行速度
经过优化后,现在全量执行85个自动化用例,只需要40分钟即可完成,大大提升了回归测试效率
使用效果
●截止到目前已有85个自动化用例,占总测试用例的的60%,后续将持续提升自动化测试用例占比。自动化测试明显缩短测试时间,节约了人力成本。
●大部分测试用例采用自动化方式覆盖后,测试同学可以专注其他较复杂的业务场景,提升了测试覆盖率。
●目前已帮助产品发现8个缺陷,且云测服务提供的详细的测试报告,包括小程序日志,网络请求日志,运行截图等信息,帮助研发同学快速定位问题,提升修复效率。