当前位置:首页 > 公众号精选 > 架构师社区
[导读]来自:DBAplus社群 作者介绍 刘华(Kenneth),就职于世界500强银行,负责基金服务业务软件开发与交付,DevOps团队负责人。敏捷、精益、DevOps领域专家,精通极限编程、Scrum、看板方法、测试驱动开发、持续集成、行为驱动开发、DevOps工具栈。著有《猎豹行动


来自:DBAplus社群

作者介绍

刘华(Kenneth),就职于世界500强银行,负责基金服务业务软件开发与交付,DevOps团队负责人。敏捷、精益、DevOps领域专家,精通极限编程、Scrum、看板方法、测试驱动开发、持续集成、行为驱动开发、DevOps工具栈。著有《猎豹行动:硝烟中的敏捷转型之旅》一书。


我们的核心系统是一个单体系统,支撑全球多个国家和地区的业务。同时,业务部门近年生意红火,接了几个大客户,针对这些大客户的大型项目也在如火如荼地进行中。


由于生产环境只有一套,而且已经有业务在生产环境上跑,这些大项目最终也要在这套生产环境上上线。这套系统是糅合了各地、各不同业务的复杂系统。


之前,为了满足各个客户交付时间,每个项目都拉了一个独立的分支进行开发,减少各项目之间的依赖,但这也导致了每个项目各自为政,互不交流。一旦这些项目开发完成,要和生产环境的版本进行合并。这种巨型合并势必带来巨大风险,相互隔绝的开发模式也将带来大量的合并冲突。


我们一直在思考如何降低这种合并风险,以及如何打破各大型项目各自为政的困局,实现产品化的敏捷交付。回归测试成为实现这些使命的基础。


使命——实现敏捷交付


前面提到,目前的开发模式是针对不同的大客户,分别设立了不同的大型项目进行开发。这些项目的交付周期往往数以年计,交付周期长,风险大。


生产环境又只有一套,而且已经有业务在生产环境上跑,代码合并困难,上线风险巨大。


我们希望能打破这种大型项目的交付形式,以产品化的思维进行管理。


具体实施的思路是:


  1. 合并——对各大型项目的现有代码与生产环境的版本进行一次性的合并;

  2. 统一Backlog——各类需求(包括现在以大型项目形式服务的大客户的需求)以用户故事的形式进入到同一个Backlog;

  3. Scrum——建立以Scrum为形式的持续交付机制,以一个月作为Sprint的周期,通过Sprint计划会议敲定Sprint的交付计划;

  4. 持续交付——每个Sprint完成计划内各用户故事的交付全流程,包括回归测试和上线到生产环境。


要实现以上模式,上线前的回归测试至关重要。而且由于一个Sprint内,也就是一个月内,要完成Sprint交付计划内所有用户故事的需求澄清、设计、开发、测试、用户验收和上线,时间非常紧,回归测试也必须在一、两天内完成。


如何实现既能充分保护生产环境,又能实现快速反馈的回归测试,成为一个重要议题。


自动化大量功能测试不可行


对于如何设计和实施覆盖率高、执行稳定而且快速的自动化回归测试,一直是一个难题。


我们曾经的一个思路是把现有的功能测试用例进行自动化,但很快发现这个思路不可行,主要原因如下:


  1. 只能依赖UI测试——由于核心系统是供应商产品,开发是由供应商负责的,对我们来说就是个黑盒子,我们只能通过UI进行测试。众所周知,UI的自动化测试,开发、维护成本高,脆弱而且执行时间长;


  2. 无法快速反馈——通过功能进行覆盖,要求不断增加测试用例来提高覆盖率,由于UI测试的执行时间长,用例越多,整体执行时间越长,如果执行周期要数以天计,则无法达到快速反馈的目的;


  3. 性价比低——功能测试用例的覆盖率其实是不可见的,即使把所有功能测试都自动化了,其实际覆盖率依然不高,也就是说这个投入的性价比很低。


我们必须要寻找一种方法,以最小的投入获取最大的保障。


我们对回归测试自动化的预期进行了重新定位。我们进行回归测试,就是要保护生产环境的关键业务可以照常进行。我们要防止的,是新的特性发布造成生产环境灾难,也就是导致关键业务无法进行的大面积故障。对于非灾难性的小故障,完全可以通过运维手段来处理。


因此,我们不应该把回归测试定位为防止一切问题。


以不变应万变


基于以上对回归测试预期的重新定位,我们和业务部门协商,请他们列举出当前在生产环境上最关键的业务过程有哪些。我们要保证的是,当新的特性上线后的首个交易日,原有的最关键的业务过程不会受到严重影响。


基于这个预期,我们以业务部门提供的关键业务过程作为测试用例,并形成以下的回归测试思路:


准备阶段:


  1. 在某个测试环境里,系统版本与生产环境版本相同;

  2. 备份环境数据;

  3. 以某个交易日为基准,执行相应的测试用例;

  4. 备份输入、输出数据(包括生成的接口文件和报表)。


执行阶段:


  1. 在该测试环境里,导入在准备阶段备份的环境数据;

  2. 升级系统到目标版本;

  3. 以准备阶段相同的交易日和相同的输入数据(在准备阶段已备份)执行相同的测试用例,生成相应的接口文件和报表;

  4. 与准备阶段的输出(接口文件和报表)进行比对;

  5. 如果目标版本的输出与原版本的对比没有非预期的差异,视为通过。


简单总结,就是对比两个系统版本在相同测试环境、相同环境数据、相同交易日、相同输入的情况下,输出是否有非预期的差异。


这个思路的最大特点是,以不变应万变。生产环境的关键业务过程不会经常变化,也就是说测试用例基本上比较固定。通过反复运行固定的测试用例实现回归测试的目标,保护生产环境上的关键业务过程,避免灾难。以最少的用例实现最大的保护。


而且测试的结果验证是通过比对不同版本的输出,我们不必在乎具体的输出内容,只需要关注输出是否有非预期差异。


当然,一旦有新的大客户上线,也就是有新的关键业务过程,这些过程也应该放入到回归测试用例中,当然,用例的选择还是以避免灾难为准则。


在前面提到的功能测试思路里,我们需要不断增加测试用例以增加测试覆盖率,但是由于测试只能在UI进行,这样无限增加功能测试用例是不可持续的。


通过实践,我们发现要充分发挥这个新思路的价值,要注意以下几点:


  1. 专属环境——由于这套环境需要反复整理环境数据和升级,一定要为这个回归测试准备一套专属的测试环境,不要在共享的环境里进行;


  2. 明确检查点——由于执行测试输出的接口文件、报表里一定有时间戳、自增ID等每次执行都会变化的信息,不能简单通过文件来比对。在拟定测试用例时,就应该明确这些接口文件、报表里的有哪些数据需要检查。在每个版本交付时,开发人员也应该明确告知哪些数据检查点会有预期差异。否则对比工作将耗费大量的时间和精力;


  3. 变更范围要小——如果对比的两个系统版本的变更范围太大,会导致输出有大量差异,比对意义不大。因此这个方法不太适合大的合并,比较适合落实了敏捷交付后,由于每个Sprint的变更范围较小,两个系统版本间的输出差异不多,比对较容易。


以这个思路建立了回归测试框架,我们便可以着手执行过程的自动化,从而提升其执行的效率。


总结


我们的核心系统是一套单体复杂系统,支撑全球多个国家和地区不同的业务。


为了实现敏捷交付,我们希望打破目前以大型项目为形式的各自为政,把各项目的所有需求放在统一的Backlog通过Scrum的方法进行持续交付。


要实现这一点,我们需要在每个Sprint都进行有效的回归测试,以保护生产环境的关键业务在新特性上线后不会有灾难性的故障。


通过对比两个系统版本在相同测试环境、相同环境数据、相同交易日、相同输入的情况下,执行关键业务过程的有限的测试用例,输出是否有非预期的差异的回归测试方法,以少胜多,以不变应万变,持续保护生产环境的核心业务,为持续交付保驾护航。




特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下:

长按订阅更多精彩▼

如有收获,点个在看,诚挚感谢


免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

随着科技的飞速发展,电子产品在我们日常生活中扮演着越来越重要的角色。而在这些电子产品中,接口作为连接设备与外部设备的桥梁,其重要性不言而喻。其中,Type-C接口作为一种新型的接口标准,因其独特的优势,逐渐成为了众多电子...

关键字: 电子产品 Type-C 接口

随着电动汽车的普及,充电桩作为电动汽车的重要基础设施,越来越受到人们的关注。然而,对于许多电动汽车用户来说,直流充电桩和交流充电桩的接口和区别仍然是一个令人困惑的问题。本文将从接口和区别两个方面,详细探讨直流充电桩和交流...

关键字: 电动汽车 接口 充电桩

武汉2023年9月19日 /美通社/ -- 目前,在国家政策和市场需求双重驱动下,国内数据库行业呈现出百花齐放的态势。充分竞争的市场环境下,达梦数据连续数年保持中国数据库管理系统市场占有率前列地位,成为当之无愧的国产数据...

关键字: DM DSC 国家电网 接口

深圳2023年9月15日 /美通社/ -- 9月14-15日,2023全球AI芯片峰会(GACS 2023)在深圳正式举行。峰会以【AI 大时代 逐鹿芯世界】为主题,共探AI芯片的产学研用,邀请了清华大学教授、中国半导体...

关键字: 接口 芯科 内存 AC

广州2023年8月29日 /美通社/ --  8月28日,保健食品行业迎来新规,国家市场监管总局正式发布《保健食品新功能及产品技术评价实施细则(试行)》(简称《实施...

关键字: UI BSP JOURNAL 检测方法

Type-C接口已经成为当今市场上备受青睐的接口之一。它以其小巧轻便、高速传输、支持多种协议等特点,吸引了越来越多的关注。

关键字: Type-C 接口 USB

USB-C和Type-C是两种不同的USB接口类型,它们在外观、结构和功能上有一些区别。下面将详细介绍这两种接口类型的区别和特点,帮助大家更好地了解和认识它们。

关键字: usb-c type-c 接口

USB接口是现代电子设备中常用的接口之一,它具有通用性强、传输速度快、易于使用等特点。USB接口的应用范围非常广泛,从智能手机、笔记本电脑到电脑外设、智能家居等都可以看到它的身影。在USB接口的发展历程中,出现了多种不同...

关键字: USB 接口

USB接口是一种常见的串行接口,它的全称是Universal Serial Bus,由USB Implementers Forum制定。USB接口具有通用性强、传输速度快、支持多种设备同时连接等优点,因此在现代电子设备中...

关键字: USB 接口 串行接口

总线(Bus)是计算机各种功能部件之间传送信息的公共通信干线,它是由导线组成的传输线束, 按照计算机所传输的信息种类,计算机的总线可以划分为数据总线、地址总线和控制总线,分别用来传输数据、数据地址和控制信号。

关键字: 总线 计算机 接口
关闭
关闭