基于电力大数据的用户用电行为分析

1大数据技术

大数据的处理过程比较复杂,需要从不同类型的数据中"去粗存精""去冗分类",最终获得有价值的信息,整个过程需要经过多个处理阶段。如今大数据处理模型中比较经典的是UsamaFayyad等设计的多阶段处理模型,其中包含了数据采集、预处理、数据管理与存储以及数据分析等各个环节步骤。通常情况下,可以将大数据采集分为基础支撑层以及智能感知层。大数据采集技术主要包含感知技术、智能识别技术、大数据接入和传输技术以及大数据压缩技术等。

所谓的大数据预处理是指对大数据进行抽取、分辨并予以清洗等操作。因得到的数据可能类型以及结构比较多,所以抽取数据的过程是将复杂的数据转化成便于处理的或者是单一的结构,以便对其快速地进行分析处理,对于大数据中没有利用价值的内容,需要对其进行"去噪"处理。对大数据进行存储及处理时,需要用到储存器将采集所得的数据存储起来,并建立对应的数据库,同时开展管理以及调用工作,解决大数据可表示、可存储等方面的问题。大数据的存储及管理技术包含了大数据的数据组织技术、存储技术、数据库技术和可视化技术等方面的关键技术。

目前比较常用的大数据存储和管理方法主要有Tachyon、OFs(Ouant二castFilesystem)、HDFs(HadoopDistributedFilesystem)和ClusterFs等,其中HDFs是一种能够支持Hadoop计算框架的分布式大数据存储系统,具备可扩展性、容错性以及高并发性,同时能够在廉价的服务器设备上运行,是目前使用比较广泛的大数据存储系统。所谓数据挖掘是指"数据库中的知识发现(KDD)",在此过程中,前面的几个步骤都是为开展数据分析工作做好相应的准备。而数据挖掘过程是提取隐藏其中的潜在知识以及信息的过程。以往所用到的数据分析方法主要分为统计法、机器学习法、数据库法以及神经网络法等。尽管可以将以往的分析方法应用到大数据领域,但是在集合规模比较大的数据时具有一定的局限性,这时候就需要使用云计算技术,在多台计算机上分解大数据的挖掘任务,以此有效增强数据的挖掘效率。大数据处理的最后一个环节是知识成果的展示和使用。如果难以正确显示数据分析所得的结果,就会对决策者产生误导。作为大数据最有力的展示方式,数据可视化技术可以分为基于图像的可视化技术和基于集合、图标的可视化技术等。目前大数据技术正逐渐广泛应用于智慧城市建设、在线社交网络、智慧医疗健康以及智能电网等各个方面。

2基于电力大数据的用户用电行为分析

目前,比较常用的用户用电行为分析方法是聚类分析

法。行业中普遍使用的聚类分析方法为基于k二means的聚类算法。k二means算法有效解决了经典的聚类问题,处理问题快速、简单,这种方法虽然具有一定的高效性以及伸缩性,但是用这种方法所得的聚类结果对初值的敏感度比较高,初值不同所产生的结果也不同,如果初值选择不合理,就会导致聚类结果出现偏差,因此面对用电数据比较大的电力用户时,这种方法并不适用。

模糊聚类算法中使用比较广泛的是模糊C均值聚类算法,这种方法能够通过对目标函数予以优化获取每个样本点对不同类中心的隶属度,样本点隶属的判断需要以实现样本数据分类为目标。但是,使用模糊C均值类算法对离散数据点集合进行处理时,无法处理类型比较特殊的数据,无法对数据是否具备聚类结构进行判断,并且在选择初始值时具有较强的依赖性。一些学者提出了以云计算为基础的电力大数据聚类问题的计算方法,这种方法能够同时处理大量数据,并且速度也比较快,但是在具体使用过程中,因Hadoop读写比较频繁,而且包含的数据量比较大,很容易产生性能方面的问题。对于大数据用户用电行为,使用经典聚类算法进行分析的时候存在问题,因此出现了很多改进算法,比如,以云计算为基础的k二means算法、以sparkR为基础的并行化k二means算法等。对电力大数据用户的用电行为进行分析的时候,使用云计算k二means算法有利于开发大规模的数据并对其进行处理,还能够显著提升处理能力,使数据处理更加高效。运用云计算,能够在数据库中存储海量的电力大数据,并且借助k二means计算模型高效分析数据。图1为基于云计算k二means聚类算法的用户用电行为分析框架图。

目前,在电力大数据平台中比较常用的电力大数据用户用电行为分析方法是以云计算为基础的k二means算法。以sparkR为基础的并行化k二means算法能够有效解决设备性能问题以及频繁读写可能存在的错误情况,其将Hadoop的电力大数据群作为数据引擎,再运用k二means算法充分发挥了大数据R语言以及大数据内存计算的特征,有效提升了数据分析能力。图2为基于SparkR并行化k二means算法的用户行为分析框架图,可以将整个过程大体分为数据计算、清洗以及用户用电行为的聚类分析。

和传统的用户用电行为分析相比较,以电力大数据为基础的用户用电行为分析的准确性更高,且能够有效提升用户用电设备的使用效率。图3为两种用户用电行为分析方式的对比图。

由图3可知,以电力大数据为基础的用户用电行为分析的理论支持更加科学,可以更加准确地预测各种行为,能够有效提升设备的使用效率,并且降低不必要的电力消耗。

3结语

总而言之,电力行业的数据价值高且数据量比较大,提高数据的利用率能够有效提升电力企业的营利水平,无论将其应用于行业内还是行业外,都会带来新的发展机遇。与此同时,这在一定程度上挑战了大数据的认知水平,如何有效处理这些数据,并从中获取更有价值的信息,最终将其转化成优化的服务决策以及管理模式是决定大数据价值能否得以体现的关键。