供电企业数据盘点与数据目录构建研究

引言

数据管理贯穿于泛在电力物联网建设应用的各个环节,是泛在电力物联网建设的重要内容,数据管理的价值也相当显著,数据不仅能够反映表面现状,也能够揭示发展的基本规律。做好数据管理,总结数据表面现状和深层的变化趋势,可以为企业发展提供指导和参考。

1供电企业数据管理开展背景及现状

经过多年的信息化建设,供电企业积累了海量的数据资源。目前,供电企业已经建立了专门的组织机构和大数据中心来负责管理数据,通过统一数据中心部署实施,形成了"模型规范统一、数据干净透明、分析灵活智能"的数据服务能力。但相较于互联网、电子商务等领域,供电企业的数据管理仍处于刚起步阶段,跨专业、跨层级的数据共享困难,数据"看不到、读不懂、应用难"等问题凸显,主要体现在以下三个方面:

一是缺乏一套完整的数据台账清单或目录体系,来整体呈现企业数据资产的规模、分布等状况。

二是数据字典是"读懂"业务系统数据库、表和字段的重要基础资料,主要面向技术开发人员,同时业务系统运行态和设计态数据库表不一致、不完整,维护和更新不及时,不能很好地支撑各个部门之间业务上的关联,数据共享和业务协同困难。

三是缺乏统一的数据语言平台 ,业务人员、数据人员以及技术人员对同一数据的理解存在差异,需要多方的翻译和解读。

导致当前供电企业数据管理水平相对较低的原因很多,归纳起来主要包括以下几点:

一是供电企业相对互联网、电子商务等行业缺乏原生的数据基因。作为传统产业,早已形成了一整套成熟的管理模式,信息化发展只是进一步提升这套管理模式的效率和效果。

二是供电企业开展数据应用的驱动力不够强烈。公用事业行业的特性使其对利润的敏感性与纯商业公司相比较低,导致供电企业对引入新的数据方法、开展大规模的数据应用动力不足而且相对保守。

三是供电企业专业化的管理模式也在一定程度上限制了数据的应用。不同专业条线数据的采集逻辑、统计口径具有独立性,数据应用往往局限在某一专业内,导致不同来源数据间缺乏关联,无法实现跨专业的综合分析,限制了数据价值的发挥。

四是各专业"烟囱式"的信息化发展导致数据管理部门对企业数据的规模、分布和内容等状况没有很好的掌握 ,统一的数据管理方式无法有效实施,导致企业数据文化的建设缓慢。

2 数据管理的内容、根基及意义

广义的数据管理一般包括两个层面的内容:一是对数据的管控,先管起来并管好,让企业数据更加准确、一致、完整、透明、安全,没有歧义,方便获得,来源统一,降低采集、开发、管理、沟通和使用中的成本;二是数据资产的应用,目的是使企业数据的使用更为人性化、易用、快捷、智能 ,从而提升企业管理层和业务人员根据数据促进管理、进行业务决策的水平。

业界对数据管理理论方面的研究,比较成熟的包括DAMA数据管理职能框架 、DG1数据管控框架 、CMM1数据管理成熟度模型(DMM）、1BM企业数据管理能力成熟度模型以及毕马威、普华永道等国际大型咨询公司发布的细分行业数据管理体系架构,我国还有全国信标委大数据标准工作组发布的数据管理能力成熟度评价模型(DCMM）等。虽然数据管理方面的理论研究已经比较充分,但如何从理论走向实践却是一个不小的挑战。

任何高楼大厦的建立,都离不开坚实的地基,同理,数据管理无论运用何种理论落地开展,都必须先掌握数据,了解数据的全貌,这样才能选择合适的方法进行有效的管理。而要了解并掌握数据全貌,就必须对业务、数据以及系统等情况进行全面梳理和盘点,掌握数据资源的状况和特点,构建企业数据资源目录,面向业务人员、技术人员和管理人员,统一数据语言,支撑泛在电力物联网建设。

3数据盘点的做法

通过开展数据盘点 ,厘清、补充和完善业务系统数据库、数据表、字段等数据对象,提升数据库表、字段信息的可读性和可用性;再构建数据目录,支撑数据的快捷查询、定位、应用,统一形成企业数据共享应用、质量安全等管理的基石,为业务人员、技术人员、管理人员及领导层提供数据服务。

围绕数据采集、标识、完善等要素,结合数据盘点工具总结提炼形成一套成熟做法 ,即"数据盘点八步法",用于实现数据盘点、目录构建的落地实施。数据盘点八步法如图1所示。

第一步:信息收集。

系统实际运行态数据是数据盘点的基础,在技术实现方面,需要通过工具与各个业务系统进行对接,以实现元数据的自动采集。因此 ,需要明确采集业务系统范围 ,为了保障工作的顺利进行,先行选取营销、设备等不同典型代表专业的信息系统做试点。

通过制定模板,编制《数据盘点信息收集模板》,明确业务系统的部署方式、系统规范名称、所属业务部门等基本信息,以及数据库类型、数据运行版本、数据1P地址等数据库信息作为采集内容,下发至业务部门。业务部门配合填写"数据盘点信息收集模板",指定数据盘点部门接口人员、技术支撑人员,填写系统基本信息、数据库信息、工具配置信息等内容并反馈。

第二步:资源获取。

依据数据盘点信息收集表,配置数据盘点工具与业务系统链接,通过工具对各个系统进行元数据采集配置,业务部门技术支撑人员配合,主要采集对象包括系统数据库、数据表、字段以及报表等,采集结果作为后续有效数据表识别、核心数据筛选、业务信息补充以及数据目录建立的基础元数据信息。数据资源获取如图2所示。

第三步:有效表识别。

元数据采集信息为系统全量数据,其中包含大量的无业务含义的数据表及空表等,统称为"无效表"。通过工具建立空表、备份表、临时表等无效表过滤规则,对系统全量数据进行自动筛选和过滤,识别结果支持查看表字段详情和调整标记,通过人工校核的方式防止工具误判,最终准确识别业务系统中的有效表和无效表。

第四步:核心数据识别。

核心数据包括标准数据模型所包含的数据表、跨系统共享的数据表、系统所涉及上下游的数据表、人工补充确认的数据表等。核心数据对公司的业务支撑和运营管理有重要的作用,是公司数据管理的重点范围,通过业务部门参与,利用工具配置过滤规则,利用工具基于标准数据模型的模型文件和过滤规则识别业务场景中关联的数据字段,剔除系统表中的维度信息、注释信息等,保留具有业务含义的数据,聚焦核心数据。核心数据项识别图如图3所示。

第五步:三态分析。

三态分析是通过数据盘点工具 , 实现 盘点结果 、运行态 、设计态等三态数据信 息的比对 ,针对发现的问题 , 协同业务部 门进行整改 ,推动源头系统与数据字典持 续完善 ,实现三态一致。

设计态数据与运行态数据比对 ,主要是分析盘点结果与源系统信息匹配情况 , 识别线上线下数据内容差距。

盘点结果与运行态数据比对 ,主要有两种比对方式:一是 同一 时点相似数据表之间的信息比对 ,判断相似运行态数据 之间的属性差异 ,通过血缘分析、影响分析 ,进 一 步明确数据 表逻辑加工过程及对下游数据影响的差异 。二是不同时点同 一数据表信息比对 ,判断表结构变更情况 ,进而通过血缘影 响分析 , 分析比对源系统表结构变更情况 ,识别表结构变更 对下游数据带来的影响。

第六步:信息补充。

数据盘点工具自动采集数据字典描述实现部分信息自动 补充 ,需要人工对工具自动补充内容进行确认。对于无法自动 完善的数据字段由业务部门制定工作模板组织责任部门在线 对业务产生数据项进行梳理并对数据项进行完善 , 同时对有 效数据表关联关系 、数据生成方式 、数据字段的准确性 、一 致性等要求进行维护。

第七步:业务标签。

数据标签是指基于数据的各类元数据信息和数据内容的 剖析来标识数据的各类特征 ,例如数据的业务属性 、安全等 级、数据热度等等 ,通过数据标签可以帮助各类用户从业务视 角 、技术视角以及管理视角等维度立体化理解数据 , 从而促 进数据在组织内部的应用。

通过工具利用算法自动标识以及人工标记数据的业务特 征 ,与已有元数据信息进行关联匹配 ,形成标签化数据资源 , 通过数据标签可以帮助各类用户从业务视角、管理视角等多 维度理解和管理数据。

第八步:库表目录构建。

基于标签后的数据盘点成果 , 结合业务信息系统功能菜 单 ,从系统的视角建立数据资产目录的结构体系:依据各个数 据的业务标签对数据进行分类 ,把业务系统中的有效表分配 到各个目录结构下:通过数据盘点工具发布形成系统级数据 库表目录 ,各业务部门依照权限进行访问。系统库表目录构建如图4所示。

4构建数据资源目录

数据资源目录是指对数据资源分类后,按照一定的次序编排而成的数据资源列表,便于数据资源共享开放检索、定位和发现。数据盘点形成的数据库表目录对技术人员使用来说较为方便和顺手,但对于公司业务人员和管理人员来说就不够友好。供电企业内部均以业务的语言进行沟通协作,库表目录难以反映数据与业务的关系。

数据管理应当转变思路和视角,不能简单地以信息化建设管理的思路进行数据管理,而是应该以开放的态度,引入各业务部门深度参与公司数据的维护和管理。因此,需要以业务分类构建公司级数据资产目录。

针对完善后的数据信息,通过融合业务数据项、数据标准模型等 ,建立业务数据项一物理模型—逻辑模型—概念模型以及业务数据项—物理模型—数据表的关联链路,实现与业务、模型、源系统三者贯通 ,为技术人员、业务人员和管理人员搭建统一数据语言的桥梁,促进公司数据文化的发展。图5是公司级数据资源目录构建路径图。

5实施效果

5. 1统一公司业务系统规范名称

供电企业信息化经过多年高速发展,各专业建设了大量的信息系统,运维管理单位与业务部门使用的系统名称存在差异,一定程度上影响了企业内部的数据共享使用。通过数据盘点,统一了管理部门、运维部门和业务部门的系统台账信息,解决了公司系统名称不对应等问题,为后续的数据共享应用打下了良好基础。

5.2 厘清公司业务系 统库表状况

系统的数据库表随 着信息系统建设的不断 完善,与设计之初发生了 较大变化,后续的数据字 典完善由于缺乏有效管 控,未能准确反映当前在 运系统数据库表结构的 实际情况 。 通过数据盘 点和库表 目录构建 , 不仅能够清晰地掌握当前在运系统的数据库表现状 ,还能准确 地发现运行态与设计态的数据结构差异 。 一是能夯实数据管 理基础 ,提升数据库表、字段信息的可读性和可用性:二是能 推动源头系统与数据字段的持续完善。

5.3 构建基于业务的数据资源目录

以业务分类构建数据目录 ,打通"业务一数据一模型"路 径 ,实现业务与标准数据模型的有机结合 ,更便于业务人员 、 数据人员以及技术人员进行沟通协作 。 基于数据模型构建数 据目录 ,将进一步推进标准数据模型的落地应用和迭代完善。 通过构建业务数据目录 ,能促使供电企业转变数据管理思路 , 从业务管理视角 ,将数据从业务系统中解析和沉淀出来 ,探索 推进数据资产化管理。

6 结语

综上所述 ,本文围绕供电企业中跨专业、跨层级的数据共 享困难 ,数据"看不到、读不懂、应用难"等问题 ,运用"数据盘点八步法"对业务 、数据以及系统等情况进行全面梳理和盘 点 ,构建了公司级数据资源目录 ,面 向业务人员、技术人员、管理人员及 领导层 ,提供统一语言的数据服务 , 支撑数据的快捷查询、定位 ,推动公 司数据汇集融合共享 ,有效支撑了 泛在电力物联网建设。