我把整个数据模型层和数据应用层都放到一起了,统称为数据逻辑计算。逻辑计算是数据按照一定的业务规则或者计算逻辑整合、汇总的过程。
我们一起了解一下逻辑计算我们要测试哪些东西,第一个我们要看一下数据量,我们要判断一下哪些因素会影响到数据的总量。
首先是过滤条件,条件不多不少,再就是值域的开闭区间。影响数据总量的第二点是关联方式,通常常用的关联方式有三种,left join、inner join、full join,需要理解每一种数据关联方式对数据有什么影响。
再就是关联条件,关联条件一定是唯一的,再者不能存在失效的关联条件。还有数据的日期范围、逻辑关系的检查、去重的方式、去重的阶段和分组、排序的方式都会影响整个数据量。
第二部分是数据的指标,包括字段来源、字段处理、特殊字段、条件判断、聚合、排序以及计算方式是否正确、数据的波动是否合理。
第三部分是整个的调度测试,主要是任务和配置的测试,主要关注任务的运行时长和参数的配置方面。
这边也给大家举了一个例子。数据逻辑测试是整个数据仓库测试中最复杂的,它涉及到很多颗粒度的转化,以及业务逻辑的计算和整合。所以这里给大家放了一个测试脚本,主要做了数据的计算。
下面这两个截图是测试的步骤,先开始测试数据总量。数据总量没有问题的情况下,第二步开始对每一个字段具体的业务指标进行测试。我们要保证我们的测试要覆盖到开发表的每一条数据里的每一个字段的值,这样测试才会覆盖的比较全面。
接下来的文章会继续为大家介绍数据加载测试和数据监控怎么做,欢迎大家继续关注。