电力营销管理系统数据迁移与清理研究

1术语定义

1.1数据清理

数据清理是指包括数据收集以及数据核查、检验、整改、迁移到营销管理系统,并完成业务验证的工作过程。

1.2当前数据

当前数据是指系统正常运行的必要档案、参数代码以及确定优先导入的近几个月电量电费数据,包括与营销相关的主数据,如客户信息、计量点信息、客户供用电合同协议、计量表箱、供应商、物资合同、站/线/变等资产信息,具有支持业务运转、数据更新快、使用频度高等特点。数据迁移的成功与否直接影响系统能否正常使用。当前数据主要存放在营销管理系统的生产库中。

1.3历史数据

历史数据是指非当前业务需要使用的数据,按先近后远的次序导入,优先导入存在于原有营销管理系统的生产数据库中的近几个月电量电费数据,具有数据稳定、使用频度低等特点。在系统切换上线初期,对系统正常运行的影响很小。历史数据主要存放在营销管理系统的管理库中。

1.4源数据

源数据是指原有营销管理系统生产数据库导入到营销管理系统的数据库源数据用户。

1.5目标数据

目标数据是指营销管理系统的数据库(包括生产数据库、管理数据库等）中的数据。

2数据迁移和清理研究

2.1适用范围

营销管理系统数据工作包含了数据质量持续提升,数据收集、核查、检验、整改以及迁移,参数代码的数据梳理和转化,专项数据清理,系统数据和协同数据初始化五大方面。建议迁移的数据范围如表1所示。

2.2数据迁移方法

2.2.1数据质量提升

数据质量提升工作需要结合系统上线工作准备合理安排,确保上线后数据准确、完整。

在系统中固化数据校验规则,建立中间库。系统各环节数据校验,分类管理重要、一般字段的动态更新数据校验规则。按月开展营销数据质量自查,定期输出数据质量报告。每月对各分子营销数据自核查结果和整改提升工作进行考评。

2.2.2库表数据清理

梳理迁移的库表、营销系统功能与库表UC关系,确定需要清理的数据项目,采用"原系统一中间表一新系统"的迁移方法,每一次迁移到中间表都需要进行数据的质量检查,达标后才允许迁入新系统,并经过业务验证。

(1）确定需要迁移的数据范围,制定数据模型差异分析及处理建议,代码编码映射关系确认以及需手工收集的数据及模板。

(2）各单位按要求收集、整理完善数据,并提交生产数据库导出文件和手工收集的文件。

(3）把收集的文件(包括源营销管理系统数据文件）导入、转化、迁移到中间库。

(4）建立信息分类和编码规范、原系统参数的映射关系,根据一体化营销管理系统模型,按照营销数据质量管理要求以及协同数据质量管理要求,对中间表数据进行核查,做到可量化、可追溯。

(5）通过数据质量验证、主外键验证、数据迁移的关键验证后,中间表中的"当前数据"迁移到新营销系统的生产数据库(生产库、管理库）。抽查比例如表2所示。

(6）对全部用户的试算费进行验证,在原系统已经计算完成的用户电量电费基础上,在新系统重新计算后,比对电量电费是否一致。将原系统的抄表档案、电量电费档案等导入到新系统中,在新系统中计算电量电费,计算完毕后,把新系统计算的电费与从原系统提取的电费进行对比,形成新原系统电费差异清单,逐条分析清单中差异的具体原因。

(7）比对新原系统数据模型差异,分析差异类型、产生差异的原因、影响等,给出处理建议,并完善数据模型差异分析及处理建议,确认代码编码映射关系。

2.2.3参数代码的数据梳理和转化

根据信息分类和编码规范,建立新旧系统代码编码的映射关系,并对代码映射关系进行确认,确认内容包括能够建立映射关系和不能建立映射关系的代码编码。

2.2.4专项数据清理

(1）工作单数据迁移工作内容如下:1）对传递中的工作单进行清理,尽可能归档。2）把五大类(业扩、计量、稽查、停电、客服）工作单查询数据进行迁移,完成后在系统做查询功能和数据验证。3）转化迁移业扩、计量、用检传递中工作单数据,完成后由业务小组检查验证数据和测试办理。(2）历史数据迁移。历史数据可以根据服务器运行压力安排合适的执行时间。1）把源数据库的历史数据转化迁移到中间表。2）把中间表中的历史数据做主外键验证和问题整改后,迁移到营销的管理数据库。3）数据迁移后,对数据进行自动校验,对问题数据进行整改。4）对历史数据进行抽查验证。

2.2.5系统数据和D协数据同初化

(1）组始织构数据同始化。对编码不符合规范的按信息分类和编码重新编码,由业务部门确认后于双轨前导入新系统。双轨、单轨运行期间不再处理。组始织构需以人力资源管理为准,并和4A平台保持一致。(2）人员帐号、系统角色(岗位）、角色对应菜单、业务流程设置。本项内容由业务部门梳理,以4A平台数据以人力资源管理系统确认后的数据为准进行初始化,营销系统从4A平台获取组始机构数据、人员账号等数据,系统角色、岗位等权限数据按照4A平台模板整理后导入至4A平台于双轨前进行初始化。双轨运行期间,在新系统中可对上述内容进行调整,单轨运行沿用双轨的设置。(3）综合技术平台数据初始化。1）数据资源管理平台主数据初始化,从数据资源管理平台核对并获取供应商信息、物资合协信息、资产信息、馈线信息、交流线段信息、变电站信息、变压器信息、断路器信息、低压用户电源点信息等:并推送客户信息、计量点信息、客户供用电合协D议、表计资产信息、计量表箱信息。2）GⅠS平台数据数据初始化协步包括站、线、变、户等GⅠSⅠ一、电网拓扑信息。(4）D协应用系统数据初始化。做好和资产管理、财务管理、调度管理等应用系统的D协数据初始化,如计量采购需求、停电计划、购电档案、电价信息、电厂调度管辖范围信息等。由业务小组梳理,和D协应用系统达成一致,并根据D协数据模型及数据质量标准,通过数据质量核查,数据迁移小组于双轨前、单轨前分别导入新系统。

2.3数据验证条件

所有需迁移的库表数据正确转入一体化营销管理系统,数据质量达到营销数据质量提升要求,并且通过数据验证、业务流程运转、D协业务场景的验证,包括档案数据(如重要客户档案、站/线/变基础信息等）、欠费数据、核销坏账、预收费用,周期性试算费验证数据准确,业务专家对迁移数据的业务验证等。

2.3.1数据迁移方法

数据迁移采用"原系统二中间库二新系统"的迁移方法,即将数据由原系统数据迁移到中间库,然后由中间库迁移到新系统中,如图1所示。

(1）明确新原系统交接界面,统一管理,分工明晰,确保迁移工作安全、有序开展:(2）省地联动,确保对日常业务无影响,迁移过程、内容有据可查:(3）数据精细化处理,按业务和数据特性,分别制定迁移策略,提高数据精细化处理程度。

迁移流程如图2所示。

流程说明如表3所示。

迁移环境要求:(1）备份文件及时送至分子数据库,保障网络畅通可用:(2）备份文件可及时导入分子数据库服务器:(3）分子数据库服务器有足够的空间:(4）数据迁移小组在数据迁移期间,具有相应的数据库权限,包括创建、删除、访问(用户、表、视图、序列、函数、过程、索引等）等数据库权限。

2.3.2数据迁移原则

各地市单位原系统建设情况复杂、特殊业务多、新原系统差异大,对数据迁移工作提出很高的要求。整个迁移过程需遵循如下原则:

(1）准确。通过严格充分核对及校验保证新原系统数据的一致性。通过数据普查、自查等手段,保证应用数据的完整性、业务数据的准确性。

(2）有序。依据营销管理系统应用的逻辑关系与重要程度,规划数据迁移内容的先后顺序,对迁移数据进行分类,基础数据类和档案类数据优先,维护量大的数据优先,不变更、使用率低的历史数据空闲时迁移。

(3）高效。利用前期数据调研,获取数据库类型、数据分布情况以及数据量情况,针对不同的数据对象,通过严格测试,选择执行效率高、安全性高的数据处理方法,保证数据迁移过程所占用资源少、时间短,最大限度减少迁移过程的人工参与程度。

2.3.3数据迁移策略

(1）根据数据属性、特性对周期类、台账类、参数类等数据分类处理:

(2）采用分期分批迁移方式,历史数据提前迁移:

(3）制定数据迁移预案,明确各类场景下数据处理方式方法:

(4）全过程监控校验,确保新系统数据完整、准确:

(5）对预迁移过程性能进行评估,改进迁移过程,优化迁移工具,将迁移工作造成的业务影响度降到最低。

2.4数据验证

制定数据验证规则,开发数据校验工具,验证数据迁出工具、迁入工具的安全性和可靠性,保证迁移数据的完整性、业务逻辑的准确性和迁移前后数据的一致性。

(1）省地联动,使用系统工具进行全业务数据验证,地市局进行人工抽样核查:

(2）动态数据,如工作单、欠费、预收结余等数据进行专项验证:

(3）验证新原系统文档附件匹配的准确性:

(4）重要客户档案数据逐条确认:

(5）在预迁移过程中,周期性试算费验证数据准确性:

(6）在预迁移过程中,配合业务专家验证迁移数据的准确性。

迁移测试验证流程图如图3所示。

数据迁移测试流程说明如表4所示。

3结语

按照电力营销管理系统确定的实施范围,将系统上线后需要在系统中应用的数据通过一系列规范的工作步骤,完成数据核查、检验、整改、补全和同步工作,使业务数据达到高质量标准,再利用标准化工具,确保数据迁移工作安全、正确、有序开展,使系统上线后的数据质量满足系统应用要求。