当前位置:首页 > 数据集成
  • 全国首条5G快速公交广州开跑 :仿如“精算师”?

    全国首条5G快速公交广州开跑 :仿如“精算师”?

    近日,广州市交通运输局统筹组织相关单位,在广州中山大道BRT系统中选取试点线路B27路,创新打造了全国首条5G快速公交智能调度试点线。,作为试点的22台B27路车安装了5GCPE设备、客流检测、智能调度、辅助安全驾驶设备以及176路高清车载视频监控设备,在强大的硬件支持下,首次打通5G数据集成传输通道。 通过5G高速网络统一将车辆客流、视频、调度、安全等信息实时传输至后台分析应用,据介绍,借助5G高速传输和计算,“广州交通·行讯通”APP可以根据市民的位置提供最优子站位置、距离、车辆到站预测信息和导航提示。 通过客流检测设备、高清视频、车辆实时位置的分析可以快速计算出车内拥挤度,乘客可以实时获得出行建议,提前规划乘车方案。仿如“精算师”,能校验客流与运力相匹配的最优排班方案。

    时间:2020-06-22 关键词: 5G 数据集成 快速公交

  • 物联网数据集成为什么很难实现

    物联网数据集成为什么很难实现

    随着物联网技术的不断推广,数据集成问题成为物联网采用面临的最大障碍之一。解决这一挑战可能需要技术领导者重新思考和改造他们的传统IT基础架构。 物联网(IoT)正迅速成为现代企业的技术必需品。意识到这一点,企业正加紧努力实施和扩展物联网网络。然而,尽管企业越来越多地投资于物联网计划,但它们也面临着与采用该技术相关的多重挑战。物联网采用的最重要问题包括对高容量通信网络的需求、使用大量智能设备的安全影响以及物联网中的数据集成问题。5G通信等技术的出现有可能解决高带宽通信需求的问题,这将实现物联网网络上的大容量数据传输。同样,区块链等技术的使用可能有助于确保物联网网络的安全。然而,物联网数据集成需求带来的挑战目前尚未得到明确的解决方案。 了解物联网数据集成的需求 自从物联网出现以来,它的主要吸引力之一就是能够提供远程控制和对企业业务流程的可见性。物联网还被视为有助于各种业务单元和流程的端到端集成,这可以改善这些实体之间的协调,从而提高业务绩效。然而,商业和技术领导者越来越强调这样一个事实,即物联网的真正价值在于其生成的数据。为了将数据用于任何实际目的,对不同来源的数据进行整理非常重要。众所周知,在物联网中整理数据或数据集成可能比早期的大数据分析更具挑战性。 你可能会问,为什么要整理或集成物联网数据?简单来说,数据集成对于企业和企业的主要决策者来说非常有必要,这样做可以全面了解整个组织及其环境中正在发生的事情。企业的不同部分——通过物联网传感器和其他数据采集设备——以不同的形式、前所未有的规模不断收集业务方面的宝贵数据。这些数据可以用于决策制定,进而推动日常运营。简而言之,收集的数据可以用来使企业更好地响应紧急情况。此外,通过将传感设备网络收集的所有信息汇集成一个单一的信息体,可以使企业能够对整个组织及其在既定长期目标方面的表现有一个大致的了解。拥有这样的洞察力可以让商业领袖更准确、更有效地制定业务战略。这种分析也有助于设定更现实的长期目标,并有助于主动解决迫在眉睫的问题。集成物联网数据也有助于追溯活动,如报告和审计。 探索物联网数据集成挑战 物联网数据集成的效用主要来源于所收集到的海量数据、数据的多样性以及收集数据的精确度。然而,不断增加的连网设备数量,使得企业很难跟踪从不同方向流入的所有数据。 此外,从端点收集的所有数据也会带来大量的杂质、重复信息和其他类型问题,使数据难以使用。因此,在将所有数据编译到单个存储库(如数据仓库)中之前,清理数据并使其可用是至关重要的。这增加了对执行数据清理和结构化的专门工具、流程和人员的投资需要。 此外,物联网设备供应商的多样性及其产品与其他供应商的潜在不兼容性也令人担忧。由于需要大量和多种终端设备来完成物联网网络,因此企业最终会使用不同供应商生产的设备,从而导致不兼容和安全问题。因此,将不同设备收集的数据标准化也成为一个挑战。由于不同传感器设备可以进行不同的校准,因此不同传感器(厂商)收集的结果准确性会有所不同。这可能会损害数据分析的可靠性。 为了克服物联网中数据集成的这些和其他挑战,企业必须主动识别它们及其影响。然后,他们应该通过使用多种方法来设计解决方案,即通过正确的策略、实践和技术。 克服物联网数据集成挑战 通过结合新的策略、实践和工具,企业可以解决物联网中的数据集成问题。他们应该设计一个可扩展的物联网集成系统,并将其嵌入到他们的物联网采用计划中。以下是企业克服物联网数据集成挑战的几种方法: ▲拥有清晰的物联网数据集成策略 如前所述,企业应该在开始物联网之旅之前,为物联网数据集成制定策略。为此,他们必须了解其物联网项目的范围、影响、预期的挑战和机遇以及潜在的解决方案。在早期阶段预测挑战并为数据集成挑战做好准备,将防止数据孤岛的产生,这些数据孤岛可能会导致数字在未来错失机会。为物联网项目设定目标和一致的策略将使企业能够将数据集成纳入核心物联网架构中。数据集成策略有助于制定一致的步骤,例如制定通信要求,即物联网网络不同设备和组件之间所需的通信模式。它还有助于确定物联网环境中不同部分对边缘计算的需求。这可以确保中央数据仓库不会被不必要的、几乎没有或根本没有战略效用的数据所淹没。 ▲利用API进行物联网通信 物联网网络主要由需要相互通信的智能设备组成。使用应用程序编程接口(API)是实现设备到设备通信以及整个网络和数据集成的最简单但最有效的解决方案。当数据从边缘传输到数据中心时,使用应用编程接口和其他广泛兼容的中间件有助于识别数据质量中的任何差异。企业应将API作为物联网数据集成的主要工具。 ▲使用集成平台 企业可以使用云平台,将整个网络的操作统一到一个平台上。有许多平台即服务(PaaS)供应商为大规模物联网实施提供解决方案。企业也可以从集成平台的新兴服务细分市场中获益,这是一种专门从事大规模集成的服务。寻求利用物联网数据的企业不应忽视数据集成在物联网中的重要性。这是因为,尽管物联网技术提供的自动化、可见性和控制无疑可以在短期内改善业务运营,但真正获得竞争优势意味着要利用物联网产生的数据集来创造真正的影响力。

    时间:2020-05-26 关键词: 物联网 5G 数据集成

  • 哈尔滨构建“城市交通运输大脑”

    哈尔滨构建“城市交通运输大脑”

     “公交101路车队,在文昌街附近车辆拥堵,注意发车间隔。” 近日,在哈尔滨智能交通指挥中心,调度人员根据智能指挥平台实时显示的线路运营信息,即时下达运营指令,避免运营车辆产生大间隔,致使部分站点乘客候车时间过长。借助“交通运输云”服务体系,哈市交通局建立了智能交通指挥中心,搭建起数据集成与可视化平台,通过组建智能公交调度系统、哈市巡游出租汽车行业管理平台、网约车行业管理平台,将全市所有营运车辆纳入平台监管,打造出更加人性化、科学化、可持续的交通运输生态系统。记者通过指挥中心大屏幕看到,在智能调度系统中,每台运营车辆由一个绿色的圆点表示,在车辆进站时绿点变成蓝点以示区别。把鼠标停在某个点上,能看到车辆驾驶员、发车时间等信息。如果在某个站点附近车辆扎堆,就代表附近路段发生拥堵。   现场工作人员告诉记者,路面发生严重拥堵,智能调度员会即时通知车队,临时加发大站快车,绕过堵点,拉载堵点之外线路上的乘客,减少乘客候车时间。在网约车监管平台记者看到,全市所有网约车企业的车辆数据,已全部纳入平台,做到了实时监管。“该平台具备实时订单查询、轨迹查询、综合数据分析等功能,特别是订单比对功能,可以依据由平台转发的企业订单数据,与本地企业注册数据进行比对,及时发现违规运营车辆。”现场工作人员告诉记者。   记者采访中了解到,为了从真正意义上打造城市“智慧交通运输大脑”,哈市交通运输局不断提升新技术应用,引进创新机制,打通传统交通运输信息孤岛壁垒,将公交、出租、网约、公路、客运、长途运输、稽查等部门数据融合共享,将监测管理、分析研判、信息协同全流程职能,集于一体纳入综合指挥监管平台,满足多种出行方式的需求。   远程监控助力百姓安全出行 出租车拒载非法营运、私家车违规在公交站点乱停乱放,这样的问题时有发生,百姓安全出行得不到保障。对此,哈市通过搭建公交站点及出租车停靠站智慧管理系统,逐步杜绝此类问题发生。近日,记者在哈市友谊路百盛商场一处出租车停靠站看到,该停靠站一个全景视频监控十分醒目。“这里黑出租车和拒载现象时有发生,现在有了这个高点监控系统,黑车及拒载现象少多了。”市民孙女士告诉记者。“哈市在道里百盛、南岗远大、南岗松雷等7个繁华地段的出租车停车场站,安装了远程监控设备,实现对出租场站停车秩序的监控。    同时,在哈市交通运输局信息中心部署监控平台,对出租车场站的360度全景视频监控数据实时更新,全天候抓拍违法违规出租车和非法营运车辆,行业管理部门也可以掌握乘客实时用车需求,及时调配出租车运力。”哈市交通局相关负责人告诉记者。对于在公交站点乱停乱放,严重影响公交车进出站的私家车,在“交通运输云”服务体系中建立了公交站点停车管理系统,通过在25处主要公交站点建设远程视频监控设备,及时获取违停、侵占公交站台社会车辆的数据,并将信息传至交管部门给予处罚。   记者采访中了解到,目前,“城市交通运输大脑”已实现对地面常规公交统一协调管理、实时运行监测、车辆实时定位、车厢站点视频监控,建立了运营企业和行业主管部门互联互通的信息化监管体系,实现了信息化、动态化的监测、监管、指挥和评价,有效减少了交通事故发生,提高了交通肇事案件的侦破率,以及应急响应能力。同时,出租车“乱停、乱放、拒载、挑客”的问题得到遏制。 构建“城市交通运输大脑”智慧交通渐行渐近便利百姓出行 隆冬时节,出门上班前打开“哈尔滨公交行”APP,将要乘坐的公交车运行到哪一站,一目了然,避免了长时间的室外等候。这是哈尔滨“智慧交通”一个普通应用场景。依托世界银行贷款高寒城市智能公交系统建设项目,哈尔滨市利用三年时间,构建起“城市交通运输大脑”,建成了面向全行业的“交通运输云”服务体系,综合交通运输管理和协同指挥实现“智能化”,渐行渐近的智慧交通,让百姓出行越来越快捷便利。   5大金融产品破解中小企业融资难 为有效破解科创企业融资难题,营造科技创新创业良好生态环境,在5日召开的哈尔滨市科技金融产品发布会上,科技风险投资、科技融资担保、科技贷款风险补偿资金池、科技贷款贴息、科技保险保费补贴等五个科技金融基础产品正式发布。据了解,五个科技金融基础产品主要支持电子信息、生物医药、智能制造、航空航天、新能源、资源与环境、农业与绿色食品、高技术服务和新材料等领域。其中,科技担保首期资金2亿元,服务对象是初创期和成长期的科技型企业。科技担保主要开展专利权、股权、应收账款、流动资产质押担保,以解决科技企业轻资产、抵押物不足等融资难题,拓宽企业融资渠道,同时探索开展综合信用担保业务。 “科技金融是科技创新的助推器,是改善营商环境,打造创新创业生态体系的重要内容。”哈尔滨市科技局局长李志杰告诉记者,今年初,哈尔滨市政府启动了“雏鹰计划”,在打造“固巢留凤”的“事业留人”平台的基础上,又恢复启动了科技金融服务体系的建设,投入资金3.5亿元,搭建科技金融基础产品体系,沿着科创企业从无到有,从小到大,从弱到强的创新链,配置完整的金融产品链,搭建协同的金融服务链,建立完善的金融服务体系。 此外,为适应企业全生命周期的融资需求,哈市将依托市科技金融服务中心设立哈尔滨市科技金融服务平台,进而搭建全方位“一站式”科技金融服务体系,为创新创业者提供企业培育计划、上市路演、投融资培训等增值服务。 智能终端让乘客“掐点儿”乘车 近日,记者在道里区西七道街公交站台看到,这里的电子站牌安装了一个LED显示屏,上面显示公交23路、74路、53路等线路信息,包括沿途站点名称等。乘客所在站点为红色,非常醒目。有绿色的标识显示即将到站的公交车位置。在线路名称下方,则显示车辆还需几站到达本站。记者看到,电子站牌显示公交74路还有一站即将到站,两三分钟后,74路公交车进站了。今年,哈市“哈尔滨交通出行”APP及微信公众号正式上线,乘客可以及时收到车辆实时位置、到站情况、车厢拥挤度、公交线路沿途路况等信息推送,让市民体会到了智慧交通的便利。   “为破解冰城市民在高寒天气下等车之痛,哈市借助“交通运输云”服务体系建设,统筹规划了2200余块电子站牌,并开发了“哈尔滨交通出行”APP,注册了微信公众号,实时推送公交车信息,市民可以“掐点儿”等车,在手机端和电子站牌上共享交通信息。   数据显示,目前“哈尔滨交通出行”APP已经为近50万市民提供实时交通出行服务,公交电子站牌每天为380余万人次的乘客提供公共交通工具的动态运营信息服务。哈市交通局信息中心主任张东告诉记者,APP和公众号设置了查询、投诉、评价体系及增值服务,可以多角度为百姓出行提供智慧交通带来的方便快捷。百姓对公交线路、公交车辆、驾驶员等有任何意见和建议,在公交车厢内扫描哈尔滨交通出行微信公众号二维码,就可以通过文字或上传实景照片,进行便捷投诉,而且,依托智慧交通体系,投诉反馈效率也大幅提升了。

    时间:2019-12-08 关键词: 智能交通 智慧交通 可视化平台 数据集成

  • 流水线处理技术在数据集成中的应用

    流水线处理技术在数据集成中的应用

    随着个人计算机和计算机网络的飞速发展,以及信息化的高速推进,互联网提供的信息总量也在迅猛增长。如果企业和社会组织实现数据共享,可以使更多的人更充分地利用已有的数据资源。可是为不同应用服务的信息都存储在许多不同的数据源之中,数据内容以及数据格式千差万别,且其管理系统也各不相同。如何对这些数据进行有效的集成管理,屏蔽这些信息的异构,并提供一个统一的访问接口以透明地访问各信息源,成为一些大型企业或社会组织关心的事情。数据集成正是在这一背景下提出的。1 基于数据复制方法的集成模式数据复制方法[1]是当前比较常用的数据集成模式,该方法将各个数据源的数据复制到与其相关的其他数据源上,并维护数据源整体上的数据一致性、提高信息共享利用的效率。这种方式可以复制信息源的整个数据,也可以是信息源的部分信息。数据复制方法在用户使用某个数据源之前,将用户可能用到的其他数据源的数据预先复制过来,如果用户要使用的数据已经被复制,则只需要查询该集成信息源,并与中介器/包装器的虚拟数据集成[2]相比,大大提高了系统处理用户请求的效率。基于数据复制方式最常见的一种方法是数据仓库方法[1]。该方法将各个数据的全部或者部分数据复制到数据仓库,用户像访问普通数据库一样直接访问数据仓库。该方式实现了对物理数据库语义异构的屏蔽和数据访问的控制,提供了一个统一的数据逻辑视图来隐藏底层的数据细节。图1所示为一个典型的数据仓库体系结构图[3]。在该集成模型中,每一个数据源对应一个监视器(Monitor),监视器负责收集所需要集成的信息源中数据的变化以便上报给集成端(收集的方式有如下类别:针对信息源有日志的情况,可以通过日志分析提取要上报的增量;对于没有日志情况可以通过触发器方式或者快照差分方式获取信息源的增量),同时监视器还具有一个包装器的功能,提供信息源的数据查询提取以及类型转化功能。当作为数据查询功能的时候,不仅将数据初始化同步到数据仓库中,同时也相当于一个服务器,不断侦听来自于集成器的命令查询请求,当有请求到达时,执行查询,并将该监视器对应的数据源的数据包装成基于公共类型的数据,或以XML文件的方式和固定大小对象数据块的方式传递给集成器,然后集成器负责将提取后的数据进行合成。其中监视器与集成器中的通信流程如图2所示。2 基于内存控制的流水线处理方法从上面的数据仓库体系结构可知,监视器必须具备一个包装器(wrapper)的功能。数据仓库端保存的数据是各底层信息源的部分副本(一般情况为访问非常频繁),但是不是很频繁的访问数据还是保持在底层信息源端,当一个OLAP查询(如下钻)经过查询分解后,不能在数据仓库端获取,而必须通过一个甚至几个底层信息源端的查询,然后在集成器端进行结果的合并(如要通过两个底层数据库中表的连接操作)才能获取查询结果。在实化视图初始化时,提高查询的效率以及提高实化视图初始化的时间,是非常重要的。本文关注的便是如何提高查询效率、响应速度、集成端的处理效率,以及在提交查询后,如何减少集成端的空闲等待时间,并且在大数据量的情况下同时做到内存控制,以防止在大数据量的情况下查询导致内存溢出。在解决提高查询效率、响应速度、集成端的插入效率的同时,防止内存溢出以及在减少集成端的空闲等待时间方面,利用了基于生产者/消费者的流水线处理方法,该方式主要思想是实现服务器与客户端的流水并行[4],查询的结果以固定大小数据块的形式分块组装,并在监视器端与集成端都使用一定大小的缓冲队列来暂存这些数据块,以有效防止内存溢出。以一次实化视图的初始化过程为例,描述该方式的算法流程为:(1)集成端发送带全局查询QID(该查询QID为全局唯一的,通过客户端API自动生成)的SQL查询命令(结果查询重写),并通过通信平台将该查询命令放入服务器端执行队列中,同时预设一个数据块计数为sum(该计数为服务器端初始要发送的数据块个数),然后集成端监听接收队列;(2)监视器端从命令队列中取出查询命令,创建查询管理器(Data Query Manager),并将该查询管理器与查询QID作为一个键值对放入进程全局的哈希表(Concurrent Hash Map)中,然后通过该查询管理器中的excuteQurey()方法启动查询线程,该查询线程将获得的记录组织成数据块(Data Object Block),放入固定大小的数据块缓冲队列中,并在该队列满时,查询线程暂停,不满时继续查询,直到最后一块为止。同时启动发送固定大小的数据块的线程,该发送线程从缓冲队列中取出数据块,发送给客户端,直到发送的最后一块,该发送线程终止;(3)当有数据块到达客户端的数据块接收队列时,判断该块是否为最后一块,如果是,则设置所有块是否到达的标志“flag=true”,并通知客户端进行处理,客户端处理线程从队列中取出一个数据块进行处理(对实化视图初始化,处理的方式就是将该数据块插入到数据仓库的实化视图中),并将数据块计数n减1,再判断该数据块计数是否小于客户端要缓冲的个数N,并同时判断flag的值,如果sum<N,且flag= =false,则发送从服务器端调取固定数目K数据块的命令(该命令带QID,以便到服务器端时找到之前的查询管理器),同时设置sum=sum+K;(4)服务器端接收到客户端的数据块调取命令,分离出里面的QID,从进程全局的哈希表中找到与该QID对应的查询管理器,并调用里面的发送固定数据块的方法以启动发送固定数目数据块的线程,该线程与步骤(2)中发送线程相同;(5)重复步骤(3)、步骤(4),直到查询的最后一块到达客户端,与此同时,服务器端的查询管理器也从全局的哈希表中移除。3 性能测试与分析与流水线处理方法相对应的一种方法为同步方法,即通过查询先将底层信息源的结果组装在一起,一次传给集成端处理。由于采用的都是对象数据块的形式,因此用于与流水线对比的同步方法的算法思想为:(1)客户端发送带全局查询QID(该查询QID为全局唯一的,通过客户端API自动生成)的SQL查询命令(结果查询重写),并通过通信平台将该查询命令放入服务器端执行队列中;(2)服务器端接收到查询命令,执行查询,将所得的结果存放于文件中,然后一次发送给客户端;(3)客户端接收到关于本次查询结果集的文件,然后处理该结果集文件。将基于内存控制的流水线处理方法与同步方法在以下实验环境下进行测试对比,为减少误差,多次测试得出平均值,有如下数据:监视器端与集成端采用相同配置环境,相关配置为:CPU:Intel(R) Core(TM)2 Duo CPU E4500 @ 2.2 GHz;操作系统:Windows XP;内存:2.0 GB;数据库:Oracle 9i;JDK版本:1.6.0_07;开发工具:Myeclipse6.5。本实验性能测试如图3所示,可以看出,与传统的同步方法相比,采用本文算法具有较好的性能特性,主要在于基于内存控制的流水线处理过程是一个监视器端与集成器端并行流水线运行的过程,并充分应用了现在多处理器多线程处理的技术,减少了集成端空闲等待的时间。设查询信息源并包装所有数据成公共类型数据块的时间代价为Cost(Q),传输放入文件中的所有数据块到集成端的时间为Cost(T),集成端将传输过来的数据解析并初始化到数据仓库的时间为Cost(P),则基于同步方法的时间代价为:Cost(Q)+Cost(T)+Cost(P)。设查询信息源并包装查询的数据成公共类型数据块为一块的时间代价为:Cost(Q1),传输其中一块数据块到集成端的时间为Cost(T1),集成端将传输过来的一块数据块解析并初始化到数据仓库的时间为Cost(P1),因为这里数据块是个固定的常数,则基于本文的算法的时间代价为:Cost(Q1)+Cost(T1)+Cost(P1)+max(Cost(Q)-Cost(Q1),Cost(T)-Cost(T1),Cost(P)-Cost(P1)),其中max为各处理逻辑减去初始处理的最大时间。从上面理论上可以分析得出,基于内存控制的流水线处理技术较同步技术可以更好地提高效率。同时还存在几个问题:(1)当集成端需要OLAP查询或实化视图初始化比较多时,仍然会出现内存溢出的问题,这时可以应用线程池技术[4],有效控制这类线程运行的数量,同样,监视器端也使用这种方案。(2)当集成端与监视器端进行流水线处理时,如果监视器端与集成端出现网络中断,或者其中一个出现突发事件(如断电)时,之前的一些过程就需要重做,并回滚。特别是针对网络中断的情况,容易造成监视器端查询线程的线程泄漏,即集成端认为之前的操作没成功,然后重新进行操作,然而监视器端的处理线程却还没完。避免这些情况出现的解决方案为:设置一个超时,当达到设定时间而这一流水处理过程未进行时,自动中断这些处理流程,或者可以在监视器端对查询组装后数据块分块存储在硬盘上,然后进行文件数据块的发送,这样减少了块之间的命令的交互逻辑,而且有效地控制了线程泄漏,但是也增加了文件的读写与控制,增加了I/O开销。数据集成仍然是一个比较热门的研究点,在基于数据仓库方法的数据集成中,分析了实化视图初始化以及OLAP查询中面对大数据量处理的问题,应用了基于内存控制的流水线处理方法,充分利用了Java的多线程处理技术,并从实验和理论上分析了该方法较同步方法的优点。

    时间:2018-08-30 关键词: 流水线 技术教程 内存控制 数据集成

  • 流程工业MES中的数据集成研究及应用

     目前,流程工业综合自动化系统是由企业资源计划系统(ERP)、制造执行系统(MES)和过程控制系统(PCS)             3个支撑系统构成的体系结构。ERP负责企业的经营决定和生产规划;MES负责企业生产调度和系统过程优化;PCS负责生产过程控制。大部分的流程工业都拥有底层的控制系统,不少企业也实施了ERP系统。但是管理层和控制层之间仍缺乏有效联系。MES是流程工业综合自动化系统的关键环节,在整个流程工业综合自动化系统中起承上启下的作用,是企业生产与管理活动的信息集成桥梁,非常有必要从企业全局的角度统一规划面向整个生产执行过程的的数据。数据集成是MES的功能子系统中的基础。根据数据集成模块的特点及重要性,本文提出了一种基于数据平台的数据集成方法。                            一 MES中数据集成重要性及难点            1 MES数据集成的重要性                            MES采集生产运行数据、集成原料和产品的存储数据、集成设备状态信息,并将这些信息进行合并、汇总、规范、比较、分析等综合处理,一方面为生产计划与排产提供依据,另一方面也为ERP提供及时、可靠、准确的生产经营决策参考信息。            数据集成是实施MES的基础,将PCs层的生产运行、产品质量、原料和产品输送、动力能耗等数据进行汇总和处理,使下层生产过程的实时信息和上层企业资源管理等的各类信息都在MES层中融合,并通过信息集成形成优化控制、优化调度和优化决策等调度或指令。同时,数据集成模块也负责将上层系统中的一些数据(如优化值、设定值等)传送到PCS。            2 MES数据集成的难点                            流程企业生产流程复杂,数据来源广,数据采集、存储方式多样,且底层各控制系统彼此封闭,所采用的网络、系统、数据库也存在很大的差异,如何实现异构网络、异构系统和异构数据库的数据综合集成是MES数据集成中最大的难点。            二 数据平台特点及功能            1  数据平台的提出                            传统的计算机应用系统的开发与运行是直接建立在操作系统、网络和数据库系统之上的。由于上面的应用系统对底层的支撑环境依赖性较强,使得应用系统与集成环境缺乏良好的开放性和可移植性,同时也很难解决异构信息和异构环境的集成问题,影响应用系统的整体效益。因此提出了基于数据平台的集成。            2  数据平台的结构                            实时数据平台RTDP(即实时数据库)实现了现场实时数据的采集、管理、历史归档、维护、下写和报警生成、事件记录、时间同步等功能。同时,它作为运行平台,为运行在它之上的各种应用软件提供实时/历史数据服务。它的总体结构如图I所示。            3  数据平台的主要功能                                         (1)数据的通信功能:主要是通过OPC,DDE,ODBC接口与监控软件、应用程序和各种数据库进行通信,把下层的数据读到实时数据平台中;把上层的命令信息通过这些接口回送到相应的系统去。                            (2)数据的输入和输出处理:对进入到实时数据平台的数据进行处理。如数据格式的转换、量程转换、报警的设定、数据的统计、历史数据的归档等。                            (3)网络监控及重连:为保证数据的正常传输,实时数据平台应具备网络易监控及自动重连的功能。当网络出现故障时,能够及时提示或报警。当网络恢复时,能够检测到并自动重连。                (4)在线维护、组态及查询:为保证数据的连续性,实时数据平台应提供在线维护功能;根据用户的不同要求可以进行组态;提供查询的功能。                            (5)数据的安全保证:因为数据平台涉及到与下层控制系统相连,关系到企业的生产信息,同时由于还可能要与Internet相连,因此必须设立安全机制,绝对防止未经授权的操作,保证整个信息系统的安全。            三 基于实时数据平台数据集成的结构模型                考虑到实际数据集成的特点,提出了如图2所示的数据集成模型。右边为集成模型的3个层次划分,左边为与企业信息集成3层模型的对应关系。                 整个结构主要分为3个层次:                            (1)底层是环境层,是指基于各种现场总线、DCS的各种专用控制网络及工业以太网网络环境、各种不同操作系统、以及多种的数据库系统。它可为上层提供实时和非实时的数据服务,提供各种数据接口(如OPC,             ODBC, DDE, CORBA等),是数据平台和最底层设备进行信息交互的中介。                            (2)中间层是数据平台层,它一方面根据下层提供的接口用相应的方法与其进行通信,完成数据集成和管理、数据服务和网络通信等服务功能。当有来自上层的调度、优化等指令时,又将其转化为对应数据,发送给相应的系统;另一方面为上层的应用提供一些公用的集成支持服务,把下层来的数据,形成统一的格式,为MES层的其它模块(如实时数据监控、流程模拟、生产调度、数据分析、设备管理、库存跟踪、质量控制、优化控制等)及上层的ERP提供实时的和非实时的信息。                (3)上层是应用层,它包括MES中除数据采集功能外的其它功能,以及与ERP相关的一些功能。                                基于数据平台的数据集成的特点如下:                            (1)通过数据平台可以实现不同应用系统之间的数据共享和应用集成。数据平台为MES中其它模块及上层的ERP提供了统一的集成环境,便于应用开发与集成。                            (2)开放性。DDE,ODBC,Web,OPC等标准接F1实现了MES与其它应用程序、Internet/Intranet的连接,为应用开发提供了统一的系统资源和共享资源。                            (3)透明性。基于平台数据集成简化开发工作,开发人员可以直接面向平台进行开发,而不必考虑下层数据的结构或通信模式,这些工作全部由数据平台负责完成。                            (4)数据平台提供了共享的数据管理、数据服务和网络通信等功能,并同时支持多种应用服务,可缩短信息系统的开发周期,提高开发效率,更有效地实现企业三层结构的集成。            四 集成实例分析                以下从某焦化制气厂的现状出发,分析如何利用实时数据平台到达集成目的。            1 现有系统的状况                            全厂有全自动备煤系统、炼焦生产监控系统、煤气压送站生产监控系统、锅炉和汽轮发电机生产监控系统、气源调峰站生产监控系统、生化站生产监控系统、煤气鼓风机生产监控系统、供配电综合自动化系统等8个车间级的生产监控系统(以下简称子系统);有汽车衡、轨道衡及煤塔秤等3个称重系统;有推焦车炉号识别、焦炉炉温测量2个非连续的系统。为了充分利用现有资源,实现资源共享,要实现对13个子系统的信息集成,建立覆盖全厂各个监控系统的生产管理网络,完成生产管理调度系统(以下简称调度系统)的建设开发,实现调度中心对全厂生产数据的集中监视、集中管理。                由于整个工厂的发展经历了几十年,从旧到新各个系统存在着较大的差异,主要体现在以下几个方面。                (1)硬件平台。有工作站、个人计算机、工控机和服务器几种计算机类型;从通信网络来看有串口、现场总线、工业控制网、局域网等。                (2)操作系统。有Windows98,WindowsNT,Windows2000,WindowsXP共4种。                (3)数据库。有文本数据库(Axt),Access,SQLServer7.0、SQLServer2000,             paradox5.0, excel表格等。                (4)开发工具:汇编语言,TurboC,VC,VB,Delphi等。                因此,本系统集成中的难点就是如何将基于各种异构环境(异构网络、异构操作系统、异构数据库等)的信息统一起来,达到集成的要求。            2 系统集成的方法                根据要集成的系统的特点,我们采用了基于上面集成模型的集成方法。网络结构采用了以交换机为中心的局域网。具体各部分的信息交换如下:                            (1)全自动备煤系统、炼焦生产监控系统、煤气压送站生产监控系统、锅炉和汽轮发电机生产监控系统、气源调峰站生产监控系统、生化站生产监控系统、煤气鼓风机生产监控系统、供配电综合自动化系统等这8个监控系统由于都提供了OPC服务器,有标准的OPC接口,采用OPC接口与实时数据平台进行通信。                            (2)汽车衡、轨道衡及煤塔秤等3个称重系统以及推焦炉号识别、焦炉炉温测量2个系统,没有连续的数据,而且都提供了数据库,可以通过ODBC接口将相应的数据送到数据平台上。

    时间:2009-08-17 关键词: 流程工业 mes 数据集成

发布文章

技术子站

更多

项目外包