当前位置:首页 > 存储技术
  • 视频监控存储技术及数据恢复

      存储发展与常用技术:90年代末,基于数字信号处理(DSP)的数字化视频监控逐渐开始普及,各类编解码技术在图像处理方面获得了广泛应用,经过处理后的图像也可以以数字码流的方式进行传输,图像的存储也开始进入数字化时期。最典型的应用是数字硬盘录像机(DVR),采用在内置硬盘的方式进行图像存储。   这种存储方式在保存时间、图像检索、系统维护以及远程调用方面都有了根本性的变化。但是,由于这一阶段的数字化视频监控系统大多带有明显的本地化特征,规模也相对比较小,所以存储也表现出明显的前端化和单机化特征。   近年来,随着信息网络技术的快速发展,通过中心业务平台进行集中管理和控制、以网络视频服务器和IPCamera为前端的网络化视频监控系统开始得到广泛部署。由于架构合理、扩展灵活、层次清晰,网络视频监控能够给用户带来全新的安防应用体验,从而迅速成为构建新一代视频监控系统的主要形式。   分布式的前端和平台架构、集中化的管理和控制以及灵活便捷的用户访问,使得网络视频监控系统的存储部分也开始走向网络化。网络化存储给视频监控带来了全新的存储架构,一方面,用户在存储的部署上更加灵活,访问也更简单,另一方面,构建需要实现大容量存储的视频监控系统也更为便捷。   DVR存储:编解码器内部存储--DVR存储是目前最常见的一种存储模式,编解码器设备直接挂接硬盘,目前最多可带8盘硬盘。但由于编解码设备性能的限制,一般采用硬盘顺序写入的模式,没有应用RAID冗余技术来实现对数据的保护。随着硬盘容量的不断增大,单片硬盘故障导致关键数据丢失的几率在同步增长,且DVR性能上的局限性也影响了图像数据的共享及分析。   这种方式的特点是:价格便宜,使用起来方便,通过遥控器和键盘就可以操作;DVR方式适合于小规模、分布式的部署。国产DVR产品例如海康、大华的产品,都已经十分成熟。   编解码器 存储:编解码器外挂存储设备,通过编解码器的外部存储接口连接,主要采用SATA、USB、iSCSI和NAS等存储协议扩展。   这种方式可以实现编解码器容量的再扩展,适合于中小规模的部署,监控视频数据通过RAID技术在可靠性上得到了一定保证。其中SATA/USB模式采用的直连方式,不能共享并且扩展能力较低;IP网络(iSCSI和NAS)方式下具有更好的扩展能力和共享能力。海康的DS系列监控NAS存储产品,邦诺存储的SMI系列存储产品在监控行业的应用都已十分成熟。   集中存储:服务器连接前端编解码器,通过流媒体协议下载数据,然后存放到存储设备上。服务器和存储设备之间可以通过SCSI、iSCSI、NAS、FC协议连接。集中存储方式适合于大中型平台的部署。   集中存储方式中,IP连接模式(iSCSI、NAS)有良好的扩展能力和可管理性,具备高性能价格比。   数据恢复方面:监控设备往往在连接至普通的计算机后,出现被初始化,再次接入监控机却无法播放,出现问题后,可以联系广州拓飞数据恢复中心进行视频的抓取。

    时间:2020-09-09 关键词: 视频监控 存储技术 数据恢复

  • 存储虚拟化技术的几种层面实现

    存储虚拟化技术将底层存储设备进行抽象化统一管理,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,从而实现了存储系统集中、统一而又方便的管理。对比一个计算机系统来说,整个存储系统中的虚拟存储部分就像计算机系统中的操作系统,对下层管理着各种特殊而具体的设备,而对上层则提供相对统一的运行环境和资源使用方式。 SNIA(Storage Networking Industry AssociaTIon,存储网络工业协会)对存储虚拟化技术是这样定义的:通过将一个或多个目标(Target)服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。 存储的虚拟化可以在三个不同的层面上实现,包括了基于专用卷管理软件在主机服务器上实现,或者利用阵列控制器的固件(Firmware)在磁盘阵列上实现,再或者是利用专用的虚拟化引擎在存储网络上实现。 1 基于主机的存储虚拟化技术 基于主机的存储虚拟化技术由主机操作系统下的逻辑卷管理软件在服务器上完成(安装客户端软件Agent),经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。 这种类型的虚拟化通常由主机操作系统下的逻辑卷管理软件(logical volume manager)来实现。它们在主机系统和Unix服务器上已经有多年的广泛应用,目前在Windows操作系统上也提供类似的卷管理器。 政府行业信息系统规模较大,所使用的主机类型和应用软件种类较多,而且对系统性能和稳定性要求比较高,因而不适合使用基于主机的存储虚拟化技术。 2 基于存储设备的存储虚拟化技术 当有多个主机服务器需要访问同一个磁盘阵列的时候,可以采用基于存储设备的存储虚拟化技术。此时虚拟化的工作是在存储设备的控制器上完成,通过在存储设备控制器中添加虚拟化功能,将一个存储设备(如磁盘阵列)上的存储容量划分为多个存储空间(LUN),供不同的主机系统访问。 智能的存储设备控制器提供数据块级别的整合,同时还提供一些附加的功能,例如:LUN Masking、缓存、即时快照、数据复制等。 对于市、县级政府部门,数据量较小,存储设备单一,适合使用基于存储设备的存储虚拟化技术。部、省级政府部门数据量大,往往采用多种存储设备,并要求能进行跨设备、跨地域的数据共享和整合,因而不适合采用基于存储设备的存储虚拟化技术。 3 基于存储网络的存储虚拟化技术 基于存储网络的存储虚拟化技术通过在存储域网(SAN)中添加虚拟化引擎实现。虚拟化引擎是一个或多个独立的设备,对多个存储设备和数据进行管理,并向多台主机提供数据存储和访问的界面。 基于存储网络的虚拟化是近年存储行业的一个发展方向。与基于主机和存储设备的虚拟化不同,基于存储网络的虚拟化功能是在存储局域网络(SAN)内部完成的,基于存储和基于主机的两种虚拟化方法的优点都可以在存储网络虚拟化上同时体现,它支持数据中心级的存储管理以及异构的主机系统和存储系统。 对于部、省级政府部门,数据量大,往往采用多种类型的主机和存储设备,并往往要求对下辖的省、市级系统进行数据共享和整合,因而适合采用基于存储网络的存储虚拟化技术。

    时间:2020-09-08 关键词: 存储虚拟化 存储技术

  • 存储技术和视频监控的发展前景分析预测

    存储技术和视频监控的发展前景分析预测

      智慧城市发展有目共睹,作为一个生态系统,感知是重要一部,通过以视频监控等为基础搭建的感知物联网是数据收集的重要环节,而对数据进行存储、分析则成为重中之重。那么在万物联网的世界,视频监控编码分析、存储有何挑战?   存储技术领域   1、无人驾驶和人工智能:存储将直线增长并走向智能   到2020年,路上的数亿辆汽车都将有无人驾驶功能[1],这是迈向物联网世界的趋势,也是人工智能(AI)领域的进步。要想设计无人驾驶车辆,就必须能够驾驭海量摄像头和传感器的数据,分析这些数据并运用人工智能技术。   数据越多越智能!过去,人工智能最大的一个障碍就是处理能力,但是现在,存储日益成为一大限制因素。传统的专用存储解决方案无法跟上性能要求,或者以可负担得起的价格长期保留数据并使用所需功能。因此,更多企业转向能够解决这些挑战的专用存储和数据解决方案。   2、企业视频:一段视频抵得上千言万语   视频将在越来越多企业机构的活动和流程中发挥更大的作用,例如:在医院中加强教学并防范医疗事故索赔,在制造工厂中加强质量控制,或在零售商店中分析买家行为。企业也能够让视频在其培训和服务计划中发挥更大作用,类似呼应消费类产品领域中视频代替文字说明书的发展趋势。   事实上,虽然文字远未过时,但视频在许多领域日益成为实际传播平台。所有这些都需要IT与业务线负责人之间更好的协作,才能确保他们拥有必要的存储和数据管理基础设施,能够尽可能高效、高性价比地支持以视频主导的世界。   3、依然闪亮的对象存储   基于高可扩展性和高耐久性的功能,对象存储让用户能够以低于主磁盘存储的价位来访问海量数据,同时避免增加与高容量磁盘相关的RAID重建时间。一段时间以来,对象存储在公有云的服务中发挥基础作用,但是它将成为大规模数据保留的主导技术的预测还未被证实。      许多情况下,用户意识到,智能文件系统和最新磁带存储技术能够以更低的成本提供旗鼓相当、甚至更好的性能。因此,企业未来将主要部署对象存储作为其私有云的基础,而磁带仍然保持其作为大规模非结构化数据长期低成本归档最优技术的角色。   4、磁带:一个远远没有完结的故事   毫无疑问,磁带在备份中所发挥的作用将持续下降,但是磁带作为存储介质还远远没有走向消亡。非结构化数据与日俱增的数量和价值让人们更加关注在一个稳健、低成本归档中保留,并保护这些数据的重要性。如前所述,磁带仍然是长期保留数据的最佳技术,每隔几年,其性能、功能和生态系统都会进行重大改进。   这就是为何应对海量非结构化数据的企业机构,包括基因组学、学术研究、视频监控和娱乐等领域,将继续把磁带作为其存储基础设施中的一个关键组成部分。也是为何那些发誓要远离磁带的企业将走上回头路的原因所在。与此同时,随着大型私有云提供商扩大其作为主要存储厂商的作用,并在竞争中压低价格,他们将更加依赖磁带才能使业务模式正常运转。   尽管隐藏在云背后,但是由于其经济效益无法被击败,磁带长期以来一直用于该领域。   5、避免云孤岛   行业分析公司IDC预测,2015年到2020年,公有云和私有云环境的IT基础设施支出的年复合增长率分别为19%和10%。随着更多数据迁移到公有云中,我们预测会看到更多用户采用双云厂商策略。企业至少得为关键基础设施组件保留两个来源,才能避免厂商锁定,以及灵活性的损失。   同样,企业也意识到必须把这种方式扩展到购买云服务中。然而,一个关键挑战就是把公有云和私有云连接到一起,以便它们能够无缝地配置云资源,并在云中迁移负载。没有人希望回到存储孤岛的世界,并面对存储孤岛所带来的管理问题。企业将越来越多地寻求多站点,而且多云的存储与数据管理解决方案。此外,企业也将开始把云作为能够为多站点环境托管其数据管理工具。   6、新一年的视频分辨率   4K视频并不新鲜。电影院从2011年开始放映4K内容,Netflix在2年前开始以4K视频来直播一些节目。然而,尽管媒体娱乐行业中的许多厂商已迁移到4K,甚至开始着眼于实现分辨率更高的视频,但是其它市场中4K的采用却相对较慢。其中一个主要原因就是:企业仍然努力想方设法管理这类数据。   4K视频的挑战不仅在于大得多的文件,也在于高得多的数据速率:在平滑、可预测的直播中能够采集并交付4K数据,并且不会丢帧或造成其它失真扭曲,这种能力往往超越了现有存储基础设施的功能。随着视频在企业中发挥更大作用,企业机构将日益需要弥合这一差距。   要想在不替换整个存储基础设施的前提下实现这一目标,关键就是要充分利用专为视频而优化、能够集成到现有基础设施中的高性能解决方案。   6、高性能计算(HPC):适应新需求   随着新出现的集群计算几乎在每个企业中普及,企业机构迅速创建更多数据,他们希望富有战略性地利用这些数据,以便做出更好更快的业务决策——例如,关于新投资、更高效地运营、更高的产品质量或改进的客户服务等。因此,越来越多的企业寻求高性能计算行业的最佳实践和技术,以期提供这一新规模所需的性能、容量和数据管理功能。   高性能计算提供商可帮助企业集成开源计划、确定如何以最佳方式充分利用低成本硬件平台,并通过简单分层在单一命名空间内简化数据管理。然而,最重要的是,高性能计算行业不再只关注传统的二进制数据,并且导致更加丰富的非结构化数据的巨大增长。   视频监控领域   1、更多视频数据来支持视频分析   企业必须更加善于利用非结构化数据来识别模式和趋势。监控数据,或者更准确的说是“视频数据”将越来越多地用于商业目的。不仅仅是用于保护人民和财产安全,视频监控还将产生更大的经济回报。高度复杂的视频分析应用将更加普及,帮助决策者做出更明智的业务决策。现在,50%的分析都不仅是为了安全。为了支持这些分析功能,视频必须保留更长时间。   2、嵌入智能的监控摄像头   2016年摄像头,特别是产生更多需要管理的数据的高清摄像头的数量激增。我们预计,拥有更广阔全景、更高分辨率以及更多传感器的摄像头在2017年将会加速普及。更多项目从模拟过渡到SD摄像头,需要把更多监控功能,例如:压缩、流媒体、存储和分析,捆绑到摄像头中,以实现更大价值。   大量涌入的数据将为存储带来压力,并让智能、多层存储战略变得比以往更加重要。随着摄像头中智能不断提高,有效管理大量涌入数据的存储管理软件将变得更加重要。      3、医疗让视频监控升温   医疗机构面对的挑战:医疗场所暴力、药品相关犯罪、婴幼儿绑架威胁、自然灾害、恐怖主义等等,要求医疗机构进行重大监控升级或者全面的系统改造。80%的医院都需要升级接入控制系统和闭路电视监控系统(IAHSS)。例如,为了防止滑倒引起的诉讼,建议医疗结构至少保留两年视频数据。   此外,可控观察室的数量可能很快超过安全摄像头的数量,需要扩大护理人员监测患者并改进整体护理质量的能力。应对这些变化和挑战,需要一个现代视频监控解决方案来提高整体设施的安全性,同时提高运营效率。   4、生物识别技术的兴起   现在,面部识别用来确认犯罪嫌疑人。医疗机构也将越来越多地把面部识别加入其安全设施。我们预计,计算人数的应用将被更广泛地采用,以便帮助交通机构减少拥堵并改进服务。越来越多的生物识别技术正在帮助防止已成为普遍现象的数据泄露。   公有和私有机构将采用更加复杂的网络安全。面部识别是另一个增长领域,在此,生物识别技术现已用于穿戴式摄像头。这两种技术都有很大的潜力,并需要智能多层存储来控制所需数据的成本。   5、物联网传感器和视频管理   把物联网的兴起作为数据增长的“罪魁祸首”。IT经理的真正挑战将是把这些数据与大型、多样化的文件类型(例如视频监控)融合到一起,从而实现整合的商业智能。这将为IT部门的数据管理带来挑战,这些IT部门负责创建基础设施来安置、保护并分析大量视频数据集,以及数百万物联网传感器文件。   除此之外,视频数据与来自“智能”设备的数据、存储需求,以及存储集成所实现的越来越长的好处清单将爆表。嵌入式传感器技术将让城市变得更加智能,来自传感器的数据将与视频数据相集成,并进行分析,以帮助城市社区变得更加吸引人。   更加积极地采集车辆和行人交通数据,并与火车、公交车和地铁的传感器数据相集成,以便减少交通拥堵。停车场可被监测,视频再加上来自智能咪表的数据将减少瓶颈并提高消费者满意度。   6、视频监控即服务的兴起   随着我们看到更加智能的摄像头以及更多种类的传感器集成到摄像头中,逐渐转向带内分析。这些因素的融合为视频监控即服务奠定了基础。更小的部署将聚合到这种服务模式中。商业园区可以集中处理监控服务,他们使用的是带有带内分析和其它传感器的智能摄像头,能够自动处理需要多位工作人员的功能,并实现更加积极主动地监控方式,弥合起诉模式和预防系统之间的差距。   2017年,无论视频监控领域还是存储领域其发展都是客观的,各强企业与设备厂商你准备好了吗?

    时间:2020-08-13 关键词: 智慧城市 视频监控 存储技术

  • 存储部署的创新之举

    存储部署的创新之举

    在当前数字化时代,数据是维系企业生存的“血液”。从企业数据中心角度来看,要想充分利用数据,并实现数据价值最大化,提供庞大处理能力的计算硬件、能够保留数据的存储设备以及能够保持数据迅捷传输的网络设备缺一不可。不论哪一个部分在技术上有所突破,随之都将带来一连串变化,就像“多米诺骨牌”一样。在计算机计算能力日新月异的今天,存储技术也得到突飞猛进的发展,如闪存、软件定义存储、融合存储等。那么作为数据中心的“三驾马车”之一的网络,也要能够有与之匹配的提升,才能实现整个系统性能质的飞跃。 在网络领域, QLogic 一直是当之无愧的佼佼者,也一直致力于网络技术的开发和革新。近期,QLogic与博科紧密合作,演示了业内首款使用FC作为传输网络的NVMe over Fabrics解决方案。该方案基于NVM Express, Inc.组织定义下“NVMe over Fabrics规范草案和T11的“基于NVMe的光纤通道”(FC-NVMe)的标准草案。 NVMe作为一个高效的存储协议已经得到了众多闪存、服务器及存储厂商的支持,其生态圈已经日趋成熟。NVMe提供了访问PCI Express(PCIe)SSD访问标准方式,以此能够减少延迟和简化命令集,从而显著提高性能,同时提供安全、端到端的数据保护支持。而随着闪存技术的演进,更为高效的网络存储协议应运而生,这就是NVMe Over Fabrics。 NVMe over Fabrics 并不是一个新鲜的话题。早在2014年下半年,FCIA就曾宣布与INCITS T11委员会成立新工作组,以建立传输NVMe over Fabrics的标准。这也为NVMe over Fabrics的发展开启了一个很好的开端。同时在刚过去的FMS2015大会上就有厂商已经在展示NVMe over Fabrics方案。而QLogic和博科的NVMe over Fabrics,则定义了一种有效的机制来充分利用PCIe SSD进行大规模的存储部署,并允许在成熟的FC架构上使用低延迟SSD闪存,从而提供投资保护。这样一来,用户能够更为高效地共享NVMe存储设备,并对NVMe存储进行池化和管理。QLogic和博科对于FC-NVMe的概念验证(POC),旨在实现更低的延迟和更高的性能,同时为闪存存储提供更为强健的架构。 QLogic的产品、营销与策划副总裁Vikram Karvat表示:“下一代数据密集型工作负载正在充分利用低延迟的NVMe闪存存储,以满足不断增长的用户需求。在这一方面,QLogic结合光纤通道的无损、高可确定性优势,与NVMe进行整合后,FC-NVMe将显著提升下一代数据中心的性能和可扩展性,并缩短应用响应时间,同时还充分利用了现有的光纤通道基础设施。 QLogic正在与行业领导者一起进行这方面的开拓努力,假以时日,必将给数据中心运营商和IT管理人员带来显著的运营效益。” 博科的存储网络副总裁Jack Rondoni说道:“FC-NVMe的推出对于数据中心的发展至关重要,作为T11 FC-NVMe体系架构的关键贡献者和编辑者,博科已经走在了前列。随着数据中心的不断发展,基于光纤通道的技术也会不断发展。光纤通道在连接基于闪存的设备方面起着至关重要的作用,FC-NVMe将会进一步推动这一发展。” NVM Express, Inc.的总裁Amber Huffman表示:“NVM Express公司很高兴能够看到利用光纤通道的NVMe over Fabrics演示。我们很高兴能与T11标准组织合作,开发一个健全的标准,它非常适用于基于光纤通道的存储环境。” Crehan Research的总裁Seamus Crehan表示:“FC-NVMe扩展了现有的光纤通道投资的范畴,使数据中心能够继续利用价值数百亿美元的现有FC设备。随着FC连接的闪存存储的持续强势增长,未来数据中心FC连通性的寿命和可持续性也将得到保障。”

    时间:2020-07-28 关键词: 光纤 存储技术

  • 浅谈存储领域区块链技术的应用

    浅谈存储领域区块链技术的应用

    让区块链技术未来真正能够应用到互联网的各个方面,必须在存储和计算上有些突破,这已经是业界的共识了。几年来,无论是Filecoin还是Dfinity都朝着这个方面做突破,一些新兴项目比如DxChain也加入了这个队伍,带来了新的技术视角。 如果说过去的亚马逊、谷歌微软之间是第一次存储和计算的竞争,而在现在,区块链领域的存储和计算上,已经发生了技术路线的争战。 1、存储“Airbnb” 提到区块链领域的存储和应用,没有人能够忽略IPFS,2017年,这个项目在区块链资本市场上创造了史上最强募资记录,募到了2.52亿美元。 你可以把 IPFS理解为一种数据的Airbnb,Juan Benet创造这个项目最根本的想法就是把千千万万个个人用户的闲置存储空间利用起来,这样就会带来无限大的存储空间,IPFS正是(InterPlanetary File System)的缩写,“星际文件系统“也代表了Benet对于这个体系的宏伟构想。 Benet还创建了一个名为 Filecoin的系统,鼓励用户出租未使用的硬盘空间。“现在,地球上有无数待机或闲置的硬盘驱动器,以至于它们的所有者只是在赔钱,”Benet 说,“因此,你可以将大量的供应带上线,这将降低存储成本。” IPFS最根本的构想是文件的分布式存储——比如当前的HTTP协议是将网页从一个单一的位置下载下来,并且没有内置的机制来归档在线页面,而 IPFS文件系统允许用户从多个位置同时下载一个页面,并包括程序员所称的“历史版本控制”,这样过去的迭代就不会从历史记录中消失。 IPFS从2014年启动,2017年完成融资之后,目前还在开发中,而除了Filecoin,还有许多项目都遵循了把数据存储到多个网络节点的概念,比如Siacoin和Storj。 Siacoin会把上传的用户数据被打散,并且复制多份打撒存储在网络上,当用户要读取时,这些数据“重新组合”送达给用户。理论上,文件碎片来源于不同存储节点,这种多条链并行使去中心化存储的速度远大于中心化存储的速度。 存储中另一个重要的项目就是Storj,也是利用文件分片打散存储数据,并通过端到端加密进行保护,相比Sia,Storj更倾向于去中心化,它能够使一群互不信任的计算机节点联合起来成为一种有统一允许逻辑和程序的云存储平台。 无论是IPFS还是Storj,都是利用了鼓励用户出租闲置存储空间的概念,即一半所说的共享经济,在计算领域,也有一批项目利用了这一模型,比如Golme,鼓励用户把空闲的算力出租。基于这一模型,Glome创造一个去中心化的算力网络,用户可以通过该网络该买卖算力。 这意味着用户可以在其他人的计算机上完成需要算力的工作,或者将自己空闲的算力出售给需要的人——用户设定好算力任务后,Golem将会自动向网络节点分配任务,用户可以选择他们能够提供多少RAM、磁盘容量和CPU核数目。算力任务运行在虚拟机上以确保不会对节点的计算机造成破坏,无论算力任务是什么。这就创建了一个全新的计算市场,在这个市场中的云算力将会更加便宜和高效。 说到区块链的计算,不能忽略Dfinity,尤其是以太坊在计算上显示出巨大的瓶颈时,致力于突破这一瓶颈的Dfinity被人关注。 Dfinity设计了一个去中心化的网络,其协议能够生成一个可靠的“虚拟计算机”,运行在对等网络之上,可以安装软件,并且可以在智能合约的防篡改模式下运行,最终目的是使公共分散网络能够容纳无限容量的虚拟计算机。 但实际上,存储和计算难以分家,以现在中心化的云存储巨头亚马逊的AWS来说,在提供存储服务的同时,也在提供高性能计算服务,一些新兴的有野心的项目试图同时突破这二者,比如DxChain。 实际上是,只要涉及到存储和计算,即便是以作为区块链最成功的应用比特币来和以太坊来说都显示出巨大的瓶颈,比特币最主要的功能是金融转账,存储和计算问题远没有涉及到,以太坊的出现部分地解决了计算的问题,但是它的计算量仍然非常有限——每个区块只有三百万个Gas,也就是说它只能做非常小量的计算,这也是为什么目前的智能合约都是只能执行一些非常非常简单的功能。 而DxChain希望能同时解决存储和计算双重问题,在存储上借鉴了IPFS存储机制——把文件打撒存储在不同的文件节点上,同时DxChain认为单靠一条主链,很难同时满足数据的存储、计算和隐私需求,借鉴了闪电网络多条链的思路,添加了存储链、计算链两条侧链,让主链只负责记录事件(如交易),从而提升整体网络性能,以支撑大数据存储与高速计算,DxChain把这种架构称为“三链合一”模式。 除此之外,DxChain参考了Hadoop架构。Hadoop在以往中心式存储中被视为最佳的分布式存储架构,但Hadoop解决的是同一机构、公司内部的数据分布式存储问题,但如何在不同的机构和参与者之间达成信任、从而实现多中心化分布式存储,区块链恰好给出了答案。DxChain正在将Hadoop在过去沉淀下的优点与区块链特有机制相结合,解决了多中心化环境下的分布式存储计算的问题。 2、第一次存储计算争战 时间拨回到到2006年,AWS向外界推出自己的产品。当时适逢社交媒体和移动创业公司的兴起,节俭的应用开发创业者很喜欢将包括运行服务器和数据存储系统在内的诸多麻烦事交由其它公司处理的概念,AWS因而很快就成了他们的头号选择。AWS最初只有三项服务,如今已经拥有超过70项不同的功能。AWS的运营由亚马逊的数据中心驱动,它在整个互联网上有着巨大的影响力。亚马逊常常说,得益于AWS,创建科技公司就像拼凑乐高积木那么简单。 然而,正当亚马逊巩固其在快速增长的云计算行业的领先地位,它也开始面临巨大成功必会带来的挑战。由于担心最终可能会被死死锁在贝索斯的世界当中,部分企业不愿意使用太多的AWS产品。有人认为,如依靠亚马逊来提供太多的服务,最终你会变得难以离开它。 在曾经领导云计算业务的CEO萨蒂亚·纳德拉(Satya Nadella)的驱动下,呈现复苏的微软大力投资云业务,凭借Azure云服务确立行业第二的地位,仅次于亚马逊。还有谷歌以及IBM,都想要从这一市场分得一杯羹,几家之间在2015年左右掀起了激烈的价格战。就在几家公司之间打得不可开交时,区块链的诞生直指这些大公司命脉。 实际上,亚马逊这样的中心化存储和计算的确有其弊端,比如隐私泄露问题——网盘的管理员可以从服务端的平台中直接查看和删除用户上传的文件;又比如安全问题,云存储的服务器上面,存在着大量的用户数据,这俨然成为了黑客入侵的目标。 但最重要的是数据被私有化,去中心化的云存储里存储的大量数据,个人用户是没办法直接拿来使用的。关于数据私有化的问题极端案例虽然不是发生在云储存计算几家公司上,而是Facebook上,但让大家极大的认识到了数据私有的严重后果——比如Facebook作弊操纵数据,给一部分人带来了他们不想要的总统。 去中心化的存储和计算展现了它的优势,比如能够降低成本,这种利用空闲的存储和算力的网络能够极大降低成本,使存储资源的拥有者获得收益的同时,也节省了中心化存储的建设成本;又比如数据被分割成小块,经过加密后才会分散存储在众多结点上,能够避免中心化存储的集中式风险,即便某一块数据被泄露,也只是部分而非全部数据。 更重要的是,去中心化存储提出数据不被某一个巨头私有,区块链的拥趸们认为互联网通过区块链技术能够重新回到开放的状态去。 3、新争夺战 即便是比特币和以太坊,这两个区块链领域最成功的应用也面临诸如不能提供通用计算、只能做交易相关计算、只能存储小账本数据等存储和计算问题。 但无论如何,比特币把激励机制PoW带给了这个行业——维持分布式账本的工作本身就能得到比特币奖励,许多基于PoW概念的衍生算法也不断涌现。虽然有很多公有链试图解决一系列问题,但却仍然没有一个较好的路径能够在分布式数据存储和计算的环境下,提供大数据和机器学习的相关计算服务,也就是同时解决存储和计算问题。 对照传统互联网,同时解决存储和计算的重要性不言而喻——云存储是在云计算概念上延伸和发展出来的,AWS同时向外界提供存储和计算服务,到区块链领域也是一样,最终大家一定需要一个同时解决二者的平台,DxChain就是在这个方向有野心的项目。 比特币存储计算瓶颈的根源出在了共识机制的设计层面上——中本聪的共识协议占据了大量的算力去维护区块链本身,但却并没有为社区带来更多额外的贡献。 为此,DxChain采用了“三链合一”的系统架构来解决数据的计算、存储问题,所谓“三链”,即一条“主链”和两条分别以“计算”和“存储”为主的侧链。 在存储上,DxChain借鉴了IPFS和Storj等的P2P存储网络——一个文件上传后打散成小块,随机分布在不同的矿机上,至于随机分布在哪些矿机上,这些数据就存储在区块链上。通过分布式的文件系统,把闲散的硬盘资源利用起来,而链上的数据保证经济模型能够成立,闲散硬盘拥有者愿意加入这个经济模型,把他们的资源贡献出来。 相比Filecoin,DxChain有计算。 比特币使用区块链来存储网络中所有交易记录以达成共识,而这一共识需要超过半数的活跃节点同意。为了保证计算共识,在区块链中存储所有计算状态是不可能的;但DxChain因为有了三链合一的架构,有一条主链和两条侧链,能够把每笔细分的交易,即细分的存储和计算需求都写在了侧链上,主链执行完整计算和存储和任务,这样DxChain的每笔交易都可追踪,但由于有侧链分担细分存储和计算任务,主链性能得到了保证。 相比计算领域的其他项目,DxChain有自己的努力方向。 现有的项目如Golem,作为一个超算平台,它能够提供比如3D渲染这样的技术解决方案。又比如Dfinity,可以理解为区块链领域的云计算,但是它没有解决数据从哪里来的问题,DxChain的视角是希望提供存储方案的同时,也解决平台本身数据从哪里来的问题。DxChain能够对存储的数据做到细颗粒操作,而这种细颗粒的存储计算,让数据有了商业模式。 举个例子,比如一名做研究的学者希望购买“加州、35岁以下的男性的运动数据”——这种数据交易只有在平台有数据,而且能够做到对数据细颗粒操作的情况。DxChain通过对数据敏感信息的保护,则能够让数据实现交易和流通。区块链技术的诞生,为互联网信息提供了一种更为公平的价值交易模式,这恰好是DxChain的努力方向。 目前存储和计算领域的项目都在研发当中,但不少项目已经完成项目募资并且上币,节点资本在一篇报告中用加密数字货币市值来描述该项目在存储领域的市场份额,按照节点的数据,去中心化云存储类加密数字货币中,市场份额最大的 Siacoin占比47%, Factom与Storj排在二、三名,分别占比18%和10%。 随后,fileCoin, DxChain等这些新项目提出新的思路,更能解决实际的问题。目前这些项目仍然处于开发状态。随着研发的进行,这些新产品必然会打破旧的格局,这个行业市场份额还有极大重构可能。 在传统云计算战争方兴未艾之时,新一代的存储计算战争已经打响。

    时间:2020-07-24 关键词: 区块链 存储技术

  • 对于安防行业,在存储容量、速度等方面存在诸多挑战

    对于安防行业,在存储容量、速度等方面存在诸多挑战

    大数据时代带来的数据量可能是超乎你想象的,如果按每年的年复合增长率42%来算的话,全球的数据量到2020年将会达到44ZB,也就是440亿GB。大数据带来的就是大存储容量的需求,就安防行业而言,随着4K应用的迅速增长,同时由于还需要实时记录,甚至实时计算和智能识别,因而在存储容量、速度等方面存在诸多挑战。下面就来了解一下相关内容吧。 数据分类及当下关注点 现在产生的大量数据,按照需求来看基本可以分为两类,即大数据和快数据(快速数据)。 大数据是从规模上来讲的,例如,数据中心尤其对大容量的存储要求较高。另外,大数据还需要考虑总拥有成本(TCO)、架构以及对象存储等。通过各方面的考虑。大数据的前提是有一些冷存储,例如,一些存储在线下保存下来后,如何有效地把已经下线的数据快速提取到线上做分析和使用,这也是在大数据方面要关注的。 快数据主要与固态存储(SSD)密切相关。当提到快数据处理时,牵涉到快数据生态圈中整个架构的建立。而在这过程当中,如果考虑到在终端要及时做分析,这就要在快数据的体系上做考量。 而在当下实际应用场景中,存在两边分别是大数据和快速数据,而在中间用怎样的桥梁把双边的数据特性通过人工智能、监控识别,以及大数据分析连在一起是整个行业现在需要关注的地方。 另外,随着应用场景的越来越复杂,数据也从过去简单、直观的单方面应用数据,到现在需要整合所有应用层面数据并做补充,从而在数据管理上要考虑如何正确利用数据,从而将更多的数据潜能释放出来。 存储技术的发展 1956年,世界上第一块硬盘诞生,第一块硬盘容量虽然只有5Mbit,体积却有一个冰箱那么大。相较于现在而言,这块硬盘甚至存储不下一张高清照片;直到2013年,随着HGST品牌推出氦气填充密封平台的出现,高容量存储才得以面市;而现在普遍看好的3DNAND固态硬盘,要看到2016年,西部数据推出的第一块64层3D NAND固态硬盘了。 监控领域存储器的应用趋势 就当下监控领域发展来看,摄像头在2016年出货量达1亿台左右,预计到2021年,出货量能够达到1.6亿台,年复合增长率能够达到9%到10%。 与此同时,视频分辨率也在显著提高,目前欧美市场需求更多是2000万、4000万或8000万,但是2017年以来,越来越多厂商使用了4K摄像头及相关方案,4K设备全球出货量达到1.1%,预计在2021年,全球出货量将会达到28%。 在监控领域前端设备增长的同时,附卡率(摄像头出厂自带存储卡)也在随之增长。2016年前端设备的附卡率只有39%,到2021年将会达到63%,而随着全高清、4K、8K的发展趋势发展,附卡率会更高,预计将会达到70%到80%。同时对存储卡的容量、速度、耐久性也提出了新的需求。 三大应用场景的需求 监控领域主要可以分为三类应用场景,独立应用、与HDD相结合的应用以及集成到云端的应用。 第一类是小商户使用的监控设备,即独立应用场景。在这样的场景下,如果加装的摄像头只摄不录,也就没有意义了,因而在摄像头终端加入存储器,以存储摄像内容。这样的应用对存储卡性能要求较低,只要存储容量能达到基本应用要求即可。 第二类是在公共安全方面或者专业摄像方面的应用,这类场景需要有多个摄像头连接到NVR(NetworkVideo Recorder,网络硬盘录像机)或DVR(Digital Video Recorder,硬盘录像机)端。以前所有的内容都是直接存储到NVR和DVR中,随着安防升级,原来的单级存储无法满足这个行业发展需求。现在应用是在摄像头端做一级数据备份,这使得即使NVR或DVR由于人为断网或各种不可预测风险的问题,也不至于数据丢失。 第三种是做云端集成,将摄像头直接连到云端,也可以做一些AI的分析。这类应用适用于需要集中管理功能的中小企业和分散在多出的大企业部门。 AI能力终端转移趋势 AI的分析有一部分也慢慢移植到摄像头端来实现已然成为现在的一种趋势,即摄像头的芯片需要支持AI分析功能。这主要是由于大数据与快数据需要切换的应用场景,快数据讲究的是及时性和快速性,从而导致一些东西不能全部挪到云端去计算、分析,需要在本地快速完成,例如人脸识别、动态分析等。随着AI功能的慢慢前移,摄像头前端也需要集成更多的存储器来做数据备份和存取操作系统。 西部数据针对监控领域产品布局 针对安防领域的存储应用趋势,各大数据存储厂商都有做相关布局,作为存储技术和解决方案领导厂商,西部数据现在主要有WD、HGST、Tegile、SANDISK、G-Technology和Ultrastar六大品牌,目前在监控领域主要有三方面产品布局。 第一种是今天给大家推荐的专门针对安防监控领域去设计的1000次PE周期的microSD存储卡;第二种是工业级别的存储卡,耐久性比Western Digital Purple microSD卡更高,温度范围更高,PE周期是3000次,温度范围可以扩展到-40度,适用于更广泛、更严苛的应用场景;第三种是消费级别存储卡,在安防领域的优势目前来看是容量,最大可以提供256GB的容量。 近日,西部数据推出的Western Digital Purple microSD 移动卡。该移动卡是专为24/7全天候视频捕捉而设计,其强大的连续视频监控性能让监控系统运营商得以安心无忧。该卡具备卓越的性能,可获取并保存包括4K高清视频在内的各种高精度和下一代格式的视频,还能让您将数据灵活地转移至核心数据系统以进行分析并快速洞察业务。这款新型移动存储卡采用坚固耐用的防潮设计,即使在多种恶劣环境条件下也能提供可靠的视频获取能力,包括大雪纷飞的严冬室外环境以及炎热潮湿的工厂室内环境。西部数据集团嵌入集成方案产品市场总监张丹表示,该移动卡预计会在今年下半年应客户的需求推出更大的容量,目前在容量的选择上还需要用消费级别的卡片去进行覆盖。 西部数据公司嵌入式和集成式解决方案副总裁Christopher Bergey表示:“从大数据到快速数据,再到监控等以数据为中心的应用,数据的数量、速度、种类和价值都将持续呈现指数级的增长和变化。凭借我们在消费和工业存储卡创新领域中久经考验的能力,Western Digital Purple microSD移动卡为终端主流商用监控数据提供了理想的存储解决方案。无论是获取人工智能摄像机中使用的4K视频,还是安装在更大规模的数据系统中来支持‘智能监控’应用,这款坚固耐用的移动存储卡都能提供‘监控级’的耐久度和卓越性能,即使在某些恶劣的条件下仍然可提供值得信赖的视频捕捉能力。Western Digital Purple microSD移动卡能够与我们广为采纳的WD Purple和Ultrastar硬盘(HDD)结合使用,以完成数据保存与实时分析,为用户提供从终端到核心的全面监控数据产品。”

    时间:2020-07-18 关键词: 安防 大数据 西部数据 存储技术

  • 基于区块链技术的共享经济基础设施我家云介绍

    基于区块链技术的共享经济基础设施我家云介绍

    我家云则是一台可以共享存储空间、带宽、计算力的设备,是未来共享经济的基础设施。通过不断发掘共享资源的价值,不仅为用户提供经济、优质的数据服务,还能让用户获得额外的收益。 世界上有大量的闲置资源未被使用 基于CBC积分奖励,打造一个闲置资源共享的经济体系 存储空间 利用分布式存储技术可将闲散的存储空间利用起来,可组建成为一个高可用性、安全、私密,高速的存储网络。 带宽 闲散的带宽可提供分布式CDN服务,为直播、电视点等提供节点。 计算力 共享资源还有许多其它应用场景,比如与云计算相互补的新一代雾计算等。 CBC积分的模式 Chainedbox 的第一目标是建立全球分布式网络,为未来去中心化世界提供基础性存储服务,成为与亚马逊,阿里云一样的存储服务提供商。 打造区块链 + 共享经济 + 分布式存储的模式来达到商业化运营的目的。 “分布式存储技术“是将闲散的资源整合的基础性技术; “共享经济” 是建立分布式网络的经济模型; “区块链” 则是解决共享经济中共享证明的链条。 在闲置资源共享经济体系中,用户不仅是 “资源使用者”也将是 “收益分享者” ,基于区块链的CBC积分则是用户贡献资源的 “收益凭证” 。 CBC积分的作用 CBC积分不仅可用于兑换基于 “分布式网络生态” 的增值服务,作为 “共享权益凭证” 和 “收益凭证” ,持有者也将享有分享未来公司 “分布式网络商业化运作”而获得的利润。分享收益的发放根据公司运营状况不定时进行,并根据用户持有CBC积分的比例来分配,发放形式待定。

    时间:2020-05-27 关键词: 区块链 存储技术

  • 物联网应用需要哪几种存储技术来支持

    物联网应用需要哪几种存储技术来支持

    目前的内存技术以DRAM与NAND闪存为主流,但DRAM的读写速度快无法长时间储存数据;NAND Flash能保存数据, 但读写速度不佳。同时兼具运算、储存能力的下世代内存,如磁阻式内存(MRAM)、电阻式内存(RRAM)、3D XPoint技术与高潜力的自旋电子磁性内存(STT-MRAM)等,就成为下世代内存技术的新宠儿。arm嵌入式定制 2017年是MRAM技术爆发的一年,当年在日本举办的大规模集成电路技术日本举办的大规模集成电路技术、系统和应用国际研讨会,格罗方德与 Everspin公司共同发布有抗热消磁eMRAN技术,具能够让数据在摄氏150度下保存数据, 可长达十数年的22奈米制程的制程技术,预计2017年底、2018年投产。 而曾经投入内存研发生产,但却不敌成本高昂而退出内存市场的台积电,在2017年台积电技术论坛中,揭露已具备22奈米制程嵌入式磁阻式内存(eMRAM)的生产技术, 预定2018年试产。 RRAM其优点是消耗电力较NAND低,且写入信息速度比NAND闪存快1万倍,主要投入研究的厂商有美光、Sony、三星。 台积电也已宣布具备生产22奈米eRRAM技术。 3D XPoint技术的主要厂商为英特尔与美光,采用多层线路构成的三维结构,并采用栅状电线电阻来表示0和1,原理类似RRAM。 为储存装置的良好的替代品,具有比NAND闪存快了近1,000倍,也可用于指令周期要求低的计算应用。 STT-MRAM是运用量子力学的电子自旋角动量的技术应用,具有DRAM和SRAM的高性能且低功耗,并兼容现有的CMOS制造技术与制程。 尽管下世代内存未来有望取代部分DRAM与NAND闪存的市场,甚至取代旧有技术。 但是笔者认为,随着人工智能、物联网装置与更多的数据收集与感测需求,下世代的内存技术首先将着眼于以新应用的需求为主,如台积电锁定的嵌入式内存,并充分发挥运算与储存二合一的优势,进一步微缩大小,达到组件更高的市场渗透率。 来源:朗锐智科

    时间:2020-05-22 关键词: 物联网 存储技术

  • 意法半导体推出新的存储器容量4Mbit的 EEPROM存储器芯片

    意法半导体推出新的存储器容量4Mbit的 EEPROM存储器芯片

    近日半导体行业资讯,半导体供应商意法半导体推出了新一代存储器芯片,集前所未有的存储容量与读写速度和可靠性于一身,新产品让我们每天使用的产品设备能够做更多的事情,让我们的生活和工作更丰富。 意法半导体的新的存储器容量4Mbit的EEPROM可让小型设备捕获更多的数据,通过串行SPI总线保存在存储器内。有了这款存储器,智能表记计等仪表设备能够提高数据记录量,从而更有效地管理能源网络,提供更人性化的计费方式;便携式医疗设备可以更密集地记录患者数据,提高医疗护理质量;智能穿戴设备等消费类产品可以支持更多的用户功能和更高的精度;在这些应用中,存储器的低功耗特性还有助于延长电池的续航时间。高容量存储器还可以给网络交换机等各种工业控制和通信基础设施应用带来好处。 意法半导体存储器事业部总经理Benoit Rodrigues表示:“ ST是世界公认的最大的串行EEPROM芯片厂商,串行存储器广泛用于消费、工业和汽车相关设备系统,我们将继续推动技术创新。市场上首款4Mbit EEPROM器件是采用我们自己的CMOS技术生产,该技术目前是业内最先进的110nm EEPROM制程。” 意法半导体的M95M04 EEPROM存储器兼备前所未有的存储容量与出色的能效,适用于精打细算的预算紧张的应用项目,扩大了意法半导体以高度可靠、持久耐用的10亿次全内存读写周期享誉市场的存储器产品家族。新产品能够在5ms内写入512字节,可实现低延迟的快速的系统操作。

    时间:2019-11-25 关键词: st 存储器芯片 存储技术

  • 富士通完美布局嵌入式系统存储用了整整二十年

    富士通完美布局嵌入式系统存储用了整整二十年

    根据预测,2023 年人类数据的产生将会超过 103 个 ZB(数据单位量级 GB\TB\PB\EB\ZB)!全球内存市场几年前价格疯涨对于 IT 产业业者大概仍然心有余悸!随着这场“芯片战争”的硝烟而起的是,中国存储行业海量投资的相关产线纷纷上马,并预计在今年逐渐开花结果,即将可能形成中美韩三国争霸的局面,存储产业未来的风云变幻也将更加风谲云诡。特别是随着 5G 部署落地、人工智能、大数据和物联网的普及,数据存储已经进入长期向上稳定增长的通道。 在存储技术领域,低容量密度的嵌入式系统关键数据存储一直似乎风平浪静,其中利用铁电晶体的铁电效应实现数据存储的 FRAM 技术波澜不惊的从一个小众产品变成覆盖几乎绝大部分应用领域的存储技术。在 1980 年代首个试验成功的 FRAM 电路问世,其通用功能就被认为可以取代 DRAM、SRAM 和 EEPROM 等常规存储器,从早期 Ramtron、Celis 半导体、Hynix、Macronix、英飞凌、三星、三洋、TI、东芝等诸多豪强入局“厮杀”,到如今“剩者为王”的少数 FRAM 大厂并存,FRAM 技术在过去数十年的竞争中不断突破与发展,最终逐渐登上主流行业与应用的“C 位”! 富士通半导体,正是业界知名的 FRAM 方案提供商之一。在不久前的一次采访中,富士通电子元器件(上海)有限公司产品管理部总监冯逸新告诉笔者:“富士通 FRAM 的优势总结起来就是一组数据:10 兆次、20 年、37 亿颗!10 兆次代表了富士通 FRAM 产品本身性能优异的高读写耐久度,20 年则是富士通专注 FRAM、成功量产与不断创新的宝贵经验,37 亿颗表示了量产以来的累计出货量。毫无疑问,富士通 FRAM 正在广泛赋能各行各业的创新应用!” 深耕计量领域,FRAM 赋能八千万表计产品 工业领域可以说是富士通 FRAM 的“传统优势项目”,从早期发力工业三相电表、特殊产业设备,到现在“寻常百姓家”随处可见的水电气热等智能表计,富士通 FRAM 具有竞争力的性价比优势,进一步加速其推广至更广泛的工业应用。“FRAM 铁电存储器在智能电表行业已经作为标准存储器被广泛采用,其高达 10 兆次的数据读写耐久度确保了电表的数据可靠性,以 1 秒写入一次数据计算,智能电表的使用寿命可长达 10 年,”冯逸新向笔者透露,“富士通 FRAM 面向全球电表客户累计交货 8 千万片,在中国与海外市场的占有率非常高,已经被威胜集团、Itron、林洋能源、海兴电力、西门子等业界主流的电表供应商所采用。” 与此同时,富士通 FRAM 也逐渐打入无锡聚成、浙江威星、EMERSON、E+H、TEPLOKOM 等全球范围的智能水气仪表主要供应商,成为准确记录和存储关键数据的标准元件。与电表直连电源不一样的是,水气表的解决方案必须依靠电池供电,因此功耗成为了关键。富士通 FRAM 拥有工作电流小、功耗低的优势,在解决方案中采用 FRAM 意味着电池可以小型化,而且能延长电池寿命,简化电路系统设计,降低整体 BOM 成本。 图 1:富士通 FRAM 逐渐被全球范围的智能水气仪表供应商采用 针对严苛环境下的特殊工业应用,富士通还在 2018 年推出了工作温度低至零下 55℃的 FRAM 铁电存储器 MB85RS64TU,进一步延伸以往零下 40℃产品的极限低温,维持在该特性上远超竞争对手的优势。可以说,这款产品特别适用于在极寒地区挖掘天然气与石油资源的设备,以及测量设备、流量计及特殊机器人等,成为了富士通探索极端应用场景的一次重大突破! IoT 存储器风口之争,FRAM 这些特性成为关键 随着万物互联时代的到来,物联网对终端设备的数据存储能力提出了全新的挑战,如确保数据可靠、数据快速读写以及超低运行功耗等,存储器产品又一次遇上了风口!当被问及 FRAM 在 IoT 领域的应用时,冯逸新称:“FRAM 在 IoT 中很重要的一个应用是 RFID,FRAM RFID 具有耐辐射性、低功耗与快速读写的三大显著优势,可以确保 IoT 应用中数据的可靠性,富士通正在 RFID 行业与全球领先的标签 /inlay 制造商开展紧密合作。” 图 2:富士通 FRAM RFID 产品系列,赋予嵌入式设备全新价值 值得一提的是,富士通 FRAM RFID 技术作为物流库存管理中替代条形码的最优解决方案而广为人知。类似的如零售行业中采用 FRAM RFID 技术的电子纸,仅在显示数据改写时才消耗电能,因此不需要电池就可直接驱动,这正是 FRAM 低功耗的优势! 另外,由于富士通 FRAM RFID 具备抗辐射性,在医疗领域需要放射线杀菌的应用场景中具备突出的优势。医药品、生化制剂、血浆制剂、医疗器材等在嵌入 FRAM RFID 后,能够追溯整个产品的放射线杀菌过程,帮助医药产品的管理更加高效和安全。冯逸新总结道:“在要求高可靠性、抗辐射等高端医疗设备中,FRAM 有着近乎 100%的应用,并不断拓展新的技术!” 高温特性获得突破,汽车关键信息存储获青睐 2017 年开始,富士通先后推出适用于汽车电子应用的 FRAM 产品 MB85RS256TY、MB85RS128TY、MB85RS64VY 和 MB85RS2MTY,这几款器件可在高达 125℃的高温环境下运作,专为汽车产业和安装有电机的工业控制设备而打造,并在同年验证通过了严苛的汽车行业 AEC Q100 标准规范。 图 3:富士通率先推出工作温度达 125℃的车规级 FRAM 产品 冯逸新称:“汽车产业正在经历史上最大幅度的转型,一方面是新能源汽车的普及,另一方面则在于自动驾驶技术的突破。这两款 FRAM 产品是针对汽车产业变革而尝试突破的创新产品,富士通研发人员从内部回路开始重新设计,使得产品工作温度范围扩大至 -40~125℃,进一步提高了产品的可靠性。” 新能源汽车与自动驾驶技术的发展,要求车载电子控制系统对于存取各类传感器数据的需求持续增加,因此高效能非易失性内存技术的需求愈发凸显。FRAM 拥有高速随机存取、高读写耐久度、非易失性等优势,可完美适配此类应用。富士通车规级 FRAM 产品可支持如胎压监测(TPMS)、安全气囊数据储存、事故数据记录器(EDR)、电池管理系统(BMS)、汽车驾驶辅助系统(ADAS)及导航与信息娱乐系统等应用中实时且持续的数据储存。经过仅仅两年时间的市场推广,富士通车规级 FRAM 产品就成功打入了东风、金龙、宇通、上汽通用五菱、华晨宝马、一汽、御捷、江淮、奇瑞等整车厂的诸多 Tier-1、Tier-2 供应链,市场表现十分出色! FRAM 与 NRAM、ReRAM 并举,富士通差异化市场竞争策略 事实上,除了以上领域富士通 FRAM 已经广泛应用在更多的领域,包括医疗、工业等等。为满足更多差异化应用需求,富士通近年来还投入开发与试产下一代高性能存储产品——纳米随机存储器 NRAM 及可变电阻式随机存取内存 ReRAM。前者兼具 FRAM 的高速写入、高读写耐久性,又具备与 NOR Flash 相当的大容量与造价成本并实现很低的功耗,富士通 NRAM 的第一代产品、16Mbit 的 DDR3 SPI 接口产品最快将于 2020 年底上市;后者已经成功推向市场并量产,首款 8Mbit 的 MB85AS8MT 一大特色是极低的平均电流,在 5MHz 工作频率下仅需 0.15mA 读取数据,这让需透过电池供电且经常读取数据的装置能达到最低功耗。“简略地讲,FRAM 用于数据记录;ReRAM 可替代大容量 EEPROM;NRAM 用于数据记录和电码储存,还可替代 NOR Flash。” 冯逸新总结道。擅长以差异化独特性能产品打市场的富士通即将建立更完善的嵌入式系统存储产品阵列,势必将在存储行业再次快速拓展新局面。

    时间:2019-10-29 关键词: 富士通 嵌入式布局 存储技术

  • LDPC码不适合工业存储?这是为何?

    LDPC码不适合工业存储?这是为何?

    工业领域都熟知LDPC码,它是麻省理工学院Robert Gallager于1963年在博士论文中提出的一种具有稀疏校验矩阵的分组纠错码。几乎适用于所有的信道,因此成为编码界近年来的研究热点。它的性能逼近香农限,且描述和实现简单,易于进行理论分析和研究,译码简单且可实行并行操作,适合硬件实现。 LDPC码被认为是当今 3D TLC 和 QLC 存储器中提高错误率的解决方案。然而它们并不适合每个市场。 低密度奇偶校验(LDPC)码是一种纠错码,渐增性用于需要通过信道进行高效信息传输的应用,存在来自卫星或地球发射机的视频广播等破坏性噪声。在过去十年中,LDPC 码在闪存领域也越来越受到关注。广泛用于 SLC 和 MLC 闪存技术的 BCH 代码无法提供令人满意的性能,因为当今的 3D TLC 和 3D QLC 闪存的备用区域有限,因而被其他具有使用软解码能力的代码取代,例如 LDPC 码。尽管这些代码适用于某些应用,但它们却有两个主要缺点。 图 1:目前可用的不同类型的闪存 每个单元存储的位越多,数据保留越低,故障位的数量越多。虽然 SLC 和 MLC 主要采用平面闪存技术制造,但 TLC 和 QLC 采用 3D 技术制造。 LDPC 在某些领域的表现很好,但在其他领域只有平均水平 LDPC 码对于具有高错误率的输入数据表现出优异的性能。很少有其他代码达到这种性能水平,因为它甚至接近理论最大值香农极限(Shannon limit)。另一方面,它们的性能对于输入数据来说很普通,几乎没有错误。对于少数输入错误,失败的错误纠正非常频繁 - 其他代码在这方面达到明显更好的结果。因此,LDPC 码用于在低输入错误率的情况下偶然错误是可接受的情况,但是需要高错误率的高性能,例如,地面数字视频广播标准 DVB-T。在这种情况下,失败的校正将导致视频流中几个像素的错误颜色 - 这是可接受的。对于另一种情况 - 输入数据中的大量错误 - 视频流将尽可能长时间保持不间断(例如黑屏)。 这种利弊关系解释 NAND 闪存控制器中 LDPC 码的出现。最新的 NAND 闪存技术显示出非常高的错误率 - 尤其是针对消费者市场的错误率。 LDPC 码接近满足这些要求的理想条件。然而,还有其他市场偶尔的错误对于错误率低的输入数据是不可接受的。工业市场就是其中之一。系统级可靠性的一个共同标准是 JEDEC 企业规范:它要求整个工作寿命的速率小于 10-16 帧错误。令人印象深刻的是,LDPC 码的性能接近 NAND 闪存的使用寿命,但它在内存的生命周期内并没有达到此要求,即闪存作为错误纠正输入的变化误码率 - 在开始时低,在生命结束时高。 LDPC 性能只能估算 为了应对 JEDEC 的这种苛刻的规范,康斯坦茨应用科学大学和 Hyperstone 已经基于广义级联码(GCC)开发了不同的纠错码。在高输入错误率方面,它的性能不会超过 LDPC 代码。但是,它确实显示出低和中错误率明显更好的性能。主要优点是可以计算性能,因此可以保证所有输入错误率,而 LDPC 性能只能针对低和中错误率进行估算。有关这方面的详细说明,请参阅我们可免费下载的可靠闪存存储基础白皮书“错误纠正代码”。这意味着除了显示低至中的输入错误率的普通性能外,目前还不清楚 LDPC 将提供什么样确切的水平性能。这一事实完全使其无法在工业和企业存储市场中使用。 图 2. Hyperstone 最新的 SSD 控制器可以满足最高要求的应用可靠性 最高要求的纠错功能 在 Hyperstone 最新闪存控制器中基于 GCC 的纠错功能与称为校准的机制密切配合。该机制确保闪存单元的读出电压始终处于最佳位置,从而在闪存整个生命周期内产生低至中等位的误码率。因此,纠错单元输入端的数据错误量保持在最佳输入条件下 - GCC 纠错明显优于基于 LDPC 的纠错条件。虽然校准结合 GCC 改善了系统级性能,但它不会提升基于 LDPC 的误差校正,因为它将输入误差率从有利范围移到对 LDPC 较不有利的范围。 LDPC 码是闪存控制器的纠错中的普遍代码。它们非常适合可接受偶发错误的消费性产品使用。在对可靠性要求很高的工业市场中,它们根本不适合。 GCC 与先进的校准相结合,能够轻松满足工业市场的苛刻要求。

    时间:2019-10-22 关键词: ldpc码 工业存储 存储技术

  • IBM z15的弹性和价值的进一步得到了释放

    IBM z15的弹性和价值的进一步得到了释放

    众多企业都有自己的存储数据库,那这些怎么存储就是一个技术难点,需要运用到各项技术,比如存储技术。在企业数字化转型的过程中,技术的创新总也赶不上客户业务需求的变化,两者中间似乎总有一道填不平的鸿沟,这也是让客户感到郁闷的地方。IDC的研究显示,今天的企业正在向数字化转型的深水区迈进,越来越多的企业关键工作任务负载将逐渐迁移至云端。 IBM z15的推出能够帮助客户掀开数字化重塑的“第二篇章”吗?答案是肯定的。IBM z15通过提供一个超安全、敏捷和持续可用的平台,帮助企业在数字化转型中迈出下一步。 如今《财富》100强企业中有三分之二都在使用IBM Z。借助IBM z15,客户可以获得更多的收益和弹性:首先是扩展的弹性,IBM z15每天可处理高达1万亿笔网络交易,支持大型数据库,在单台z15系统中横向扩展至240万个Linux容器,与裸机x86平台相比,运行相同的网络服务器负载,每个z15 LPAR(逻辑分区)上的Linux容器,最多可以多出2.3倍。 其次是缩短时延,使用企业数据压缩集成加速器(Integrated Accelerator for z Enterprise Data Compression ),在加密前压缩安全的网络交易数据,而不是用传统的软件压缩的方式,可将IBM z15上运行的延迟减少到三十分之一,CPU效率提高28倍;最后是性能的增强,与IBM z14相比,IBM z15的内核增加12%,内存增加25%,可以充分满足企业数字业务的处理需求。 1982年,巴西Bradesco银行推出了巴西首个在线活期账户更新模型,并进行了巴西首次远程银行处理。这两项创举都是在IBM主机平台上实现的。今天,该银行的所有核心数据依然运行在IBM主机上。基于IBM z15提供的强大处理能力、弹性、安全性和灵活性,能够更快地为客户提供新产品和新服务。IBM主机的弹性由此可见一斑。 在云的世界里,IBM主机的弹性、灵活性依旧不可小觑。IBM Z的一个定位是安全的混合云策略的中心点。比如,IBM z15包括的z/OS Container Extensions与z/OS Cloud Broker两项功能,可以帮助开发人员更方便地构建和管理云应用程序。 IBM之前已经宣布,将在IBM Z和LinuxONE上支持红帽OpenShift平台。借助基于IBM Z和LinuxONE的Linux上支持云原生开发的集成工具和功能丰富的生态系统,这项服务将加快实现更高的可移植性和灵活性。云开发人员可以利用OpenShift部署z/OS应用程序,而不需要掌握特殊的Z技能。通过将这些产品和服务与IBM卓越的企业平台IBM Z和LinuxONE结合,可以更好地打造安全开放的混合多云平台,进一步释放IBM z15的弹性和价值。

    时间:2019-10-19 关键词: IBM 基础架构 高端存储技术 存储技术

  • SSD与机械硬盘的对比,谁熟谁劣?

    SSD与机械硬盘的对比,谁熟谁劣?

    在日常生活中很多人都听说过一句俗语,“木桶定律”告诉我们,一只木桶能装多少水,不取决于最长的那块木板,而是取决于最短的那块。这个原理普遍存在于日常生活中,典型的例子就是我们再熟悉不过的电脑。电脑由CPU、内存、SSD、显卡等硬件构成,他们协同工作,因此任何一环出现短板,都会影响到电脑的性能表现,影响用户的使用体验。 传统的机械硬盘,由于烦琐的机械构造和糟糕的读写速度,严重制约了电脑的性能表现。尤其是在游戏载入时,其极慢的读写速度面对大量的数据,让用户耗在等待上的时间就不少。在电脑这个协调作业的闭环里,机械硬盘自然成为了最短的那块木板。 好在有了SSD,这种状况才有所改变。SSD基于闪存颗粒读写,没有机械结构的束缚,拥有快速的读写速度以及超低的延迟,让硬盘终于跟上其他硬件的步伐,大大提升了用户的使用体验。所以,一旦你将电脑中的机械硬盘换成SSD,所带来的改变将是方方面面的并且立竿见影。 装上SSD,游戏加载快人一步,场景切换也更加流畅自如;装上SSD,PS、PR等专业软件基本秒开,素材加载一步到位;装上SSD,应用程序多开时,鼠标转圈圈的现象基本消失;装上SSD,网页快速加载,甚至可以秒速启动;可以这样说,把机械硬盘换成SSD,就好比“绿皮火车”换成“高铁”,高速度带来的高效体验立竿见影。 除了速度快,SSD卓越的抗摔抗震性也为数据安全提供了良好保护。区别于传统机械硬盘,SSD的储存介质是闪存颗粒,没有机械部件。因此,它在抗摔防震方面具有明显的优势。这点对笔记本用户来说非常友好,出差携带,防震抗摔,让数据妥善保存。 没有机械部件,SSD自然就没有了机械活动的嘈杂声音,加上更小的体积和更轻的重量,让用户用上SSD之后,就再也回不去机械硬盘的时代了。SSD的出现,极大推动了电脑性能的提升。而用户只要升级一块SSD,就能享受极速稳定的体验。 GAMER M.2 RGB SSD,作为影驰首款支持可控RGB灯效的M.2 SSD, 集中展现了影驰对未来SSD发展的探索和理解,并以精密细腻的工艺和耳目一新的设计,为玩家带来全新的使用体验。强大的PS5012-E12C主控搭配高规格的闪存颗粒,读写速度高达1700/1500MB/s,让电脑反应更加灵敏迅速,游戏运行更加流畅,大幅提升玩家的使用体验。 除了快,GAMER M.2 RGB 还加入了RGB灯效,支持影驰GALAX Aurora Sync软件动态调节,可实现7种不同灯效模式,1680万色,为用户呈现变幻万千的视觉效果。

    时间:2019-10-19 关键词: ssd 机械硬盘 存储技术

  • IMEC 对晶圆级封装的几点思考

    IMEC 对晶圆级封装的几点思考

    IMEC提出了一种扇形晶圆级封装的新方法,可满足更高密度,更高带宽的芯片到芯片连接的需求。IMEC的高级研发工程师Arnita Podpod和IMEC Fellow及3D系统集成计划的项目总监Eric Beyne介绍了该技术,讨论了主要的挑战和价值,并列出了潜在的应用。 晶圆级封装:适用于移动应用的有吸引力的封装解决方案 如今,许多电子系统仍然由多个元件组成,这些元件在晶片切割后单独封装,并且使用传统的印刷电路板互连。然而,这些年来,对于更“苛刻”的应用就需要先进的3D集成和互连技术。因为这大大减小了电子系统的尺寸,并且实现了子电路之间更快,更短的连接。这些技术之一是晶圆级封装(Wafer Level Packaging),即多个裸片在晶圆上同时被封装。由于整个晶圆现在是一次性封装,因此该解决方案比传统封装方案成本更低。此外,所得封装后芯片尺寸更小,更薄,这是智能手机等尺寸敏感设备非常看重的。在现今的智能手机上,大概5/7的芯片是晶圆级封装的,而且数量还在不断增加。 扇入和扇出 有两种主要类型的晶圆级封装:扇入式和扇出式,它们的区别主要在重分布层中。重分布层(通常是有机层)用于将裸片的接口(I/ O)重新布线到所需的(凸块)位置。扇入就是重分布层迹线向内布线,形成一个非常小的封装(大致对应于裸片本身的尺寸)。但是,重分布工艺还可以用于扩展封装的可用区域,延伸芯片触点到超出芯片尺寸就形成了扇出式封装。通常,这种扇出WLP(FO-WLP)技术提供比扇入式WLP技术更多的I /O数量。 在移动应用中,扇出晶圆级封装正在逐步取代更传统的封装上封装(PoP)存储器逻辑芯片堆叠解决方案。 这些PoP比扇出式厚得多,并且受到的互连带宽和密度以及有限的间距缩放(几百微米)的限制。在这些应用中,FO-WLP也优于其他可用的高带宽3D技术,例如3D堆叠(其中逻辑管芯中的热点可能影响存储器数据保持能力)或2.5D堆叠(其中较长的互连线产生较高的互连功率和额外成本)。 两个基本的“扇出”流程 在过去几年中,已经涌现了各种FO-WLP方法,以满足对高数据速率和宽I/ O数量的日益增长的需求,并满足对封装上增加的功能集成的需求。所有这些方法都从两个基本的扇出流程中的一个开始:“mold first”或“redistribution layer first”。 在“mold first “工艺中,首先将裸片组装在临时载体上,然后进行晶片包覆成型。环氧树脂的功能是保护各个组件并将它们粘在一起。在最后,制作重分部层并建立连接。在“redistribution layer first”工艺中,在重分布层的工艺之后再做裸片组装和晶片注塑成型。 这些方法中的每一种都有其自身的一些缺点。例如,在“mold first “工艺中,裸片通常在注塑成型之后发生移位,这使得实现低于100μm的互连节距非常具有挑战性。“redistribution layer first”工艺中,可实现的密度受到(有机)再分布层能够实现的线和空间分辨率的限制。 Flip-chip on FO-WLP:一种新的“扇出”方法,可实现更高的互连密度 为了满足更高密度,更高带宽的芯片到芯片连接的需求,IMEC团队在300mm晶圆上开发了一种新颖的FO-WLP方法,称为Flip-chip on FO-WLP。 这个工艺属于“mold first ”工艺,但与标准的“mold first ”工艺相反,芯片在包覆成型之前已经互相连接。 下面将解释这种方法的优点以及挑战。 这种新的扇出方案的已经在TQV上得到验证。TQV由七个独立的芯片组件组成:Wide I / O DRAM,闪存,逻辑,两个TPV裸片和两个硅桥。因为这个TQV只是用于验证。因此,逻辑和存储器芯片不是全功能的:它们是“模拟”裸片,用于测试凸点连接之间的电连续性。 硅桥和TPV裸片是实现高密度连接的关键部件。TPV裸片具有硅通孔(TSV)和40μm节距的凸点。硅桥具有40μm和20μm节距的凸块。这些元件在功能芯片(例如逻辑和存储器芯片)之间形成桥接,实现具有20μm凸块节距的超高芯片到芯片互连密度。 与标准“mold first “工艺相比,另一个关键工艺是裸片间的紧密对准。在该关键组装步骤中,需要将各个裸片高精度地放置并临时键合在平坦的硅晶圆上。 工艺流程细节 在组装工艺流程的第一步骤中,将TPV片和逻辑裸片放置在覆有临时键合层的载体晶片上。接下来,使用热压接合(TCB)工艺连接硅桥(具有40μm和20μm的凸块间距)与逻辑裸片和TPV裸片。在该工艺步骤中,具有40μm节距的凸块连接到逻辑裸片的左侧和TPV裸片。20μm间距凸块连接到逻辑裸片的右侧。在下一步骤中,晶片由液态化合物注塑成型。测试显示完全填充,甚至是硅桥下方区域。然后,通过研磨抛光暴露铜柱,以便稍后与重分布层连接。在将减薄的晶片翻转并第二载体键合,并移除第一载体。之后,使用倒装芯片技术组装存储器裸片。最后,再一次晶圆级注模和第二载体的移除完成工艺流程。在工艺步骤之间,会进行连续性测试以验证电路完整。最后得到封装厚度仅为300-400μm的芯片(不包括焊球)。 主要挑战和解决方案 这套工艺流程带来了一系列挑战,需要克服这些挑战才能确保具有超高芯片到芯片互连密度的全功能封装解决方案。 其中一个问题是在组装工艺流程中裸片可能倾斜,特别是对于长而窄的TPV裸片和硅桥。这些裸片的倾斜可能会破坏组件之间的互连。为了评估倾斜是否以及何时发生,IMEC团队采用不同的力量来放置TPV裸片。该团队观察到,即使是最大的贴装力,倾斜也限制在5μm以下,这足够低以保持连接性。 接下来是,逻辑裸片和TPV裸片之间的对准,这已经引起了相当大的关注,并且被认为是FO-WLP工艺的关键因素。 逻辑裸片和TPV裸片彼此靠的非常近,并且需要精确的对准步骤以实现后续的硅桥40μm和20μm凸块节距堆叠。例如,为了实现所需的20μm凸块间距,仅可以容忍逻辑裸片和TPV裸片之间的最大+/-3μm的对准误差。为了实现这种极小的误差,该团队将对准标记引入到载体和裸片设计中。逻辑裸片首先与载体对准。接下来,放置TPV裸片,与载体对准因此与逻辑管芯对准。最后,使用高精度堆叠热压键合设备来放置硅桥。 在随后的模制过程中,裸片仍然会移位,从而损坏TPV和硅桥之间或逻辑裸片和硅桥之间的凸块连接。因此,IMEC团队在成型之前和之后进行了专门的电气测试。测试表明,模塑过程不会影响连接的完整性。基于这些结果,可以假设,如果这些裸片在注塑时移位,它们应该是在相同的方向上作整体位移,因而不会破坏连接性。 总结和未来展望 通过这种新颖的方法,IMEC团队在扇出环境中展示了具有20μm凸块节距的创纪录的芯片到芯片互连密度。在不久的将来,该技术将得到进一步改进,电气和射频行为将以不同的配置进行评估。 所提出的技术对于移动应用尤其具有吸引力,因为它以非常小的形状因子实现了经济有效的WideI / O存储器到逻辑芯片互连。 最终,FO-WLP上的倒装芯片也可能成为异构集成的支持技术,瞄准高性能应用。它可以提供一种在电气高度互连的封装中集成多个裸片的方法,包括高性能计算,存储器和光通信模块。

    时间:2019-08-13 关键词: 存储器 芯片 晶圆 存储技术

  • FPGA在计算加速应用中与GPU的类比

    FPGA在计算加速应用中与GPU的类比

    FPGA 是一堆晶体管,你可以把它们连接(wire up)起来做出任何你想要的电路。它就像一个纳米级面包板。使用 FPGA 就像芯片流片,但是你只需要买这一张芯片就可以搭建不一样的设计,作为交换,你需要付出一些效率上的代价。 从字面上讲这种说法并不对,因为你并不需要重连(rewire)FPGA,它实际上是一个通过路由网络(routing network)连接的查找表 2D 网格,以及一些算术单元和内存。FPGA 可以模拟任意电路,但它们实际上只是在模仿,就像软件电路仿真器模拟电路一样。这个答案不恰当的地方在于,它过分简化了人们实际使用 FPGA 的方式。接下来的两个定义能更好地描述 FPGA。 电路模拟是 FPGA 的经典主流用例,这也是 FPGA 最早出现的原因。FPGA 的关键在于硬件设计是用 HDL 形式编码的,而且买一些便宜的硬件就可以得到和 ASIC 相同的效果。当然,你不可能在 FPGA 和真正的芯片上使用完全相同的 Verilog 代码,但至少它们的抽象范围是一样的。 这是与 ASIC 原型设计不同的一个用例。和电路仿真不同,计算加速是 FPGA 的新兴用例。这也是微软最近成功加速搜索和深度神经网络的原因。而且关键的是,计算实例并不依赖于 FPGA 和真正 ASIC 之间的关系:开发人员针对基于 FPGA 的加速编写的 Verilog 代码不需要与用来流片的 Verilog 代码有任何的相似性。 这两种实例在编程、编译器和抽象方面存在巨大差异。我比较关注后者,我将其称为「计算 FPGA 编程」(computaTIonal FPGA programming)。我的论点是,目前计算 FPGA 的编程方法都借鉴了传统的电路仿真编程模型,这是不对的。如果你想开发 ASIC 原型的话,Verilog 和 VHDL 都是正确的选择。但如果目标是计算的话,我们可以也应该重新思考整个堆栈。 让我们开门见山地说吧。FPGA 是一类很特殊的硬件,它用来高效执行模拟电路描述的特殊软件。FPGA 配置需要一些底层软件——它是为了 ISA 编写的程序。 这里可以用 GPU 做类比。在深度学习和区块链盛行之前,有一段时间 GPU 是用来处理图形的。在 21 世纪初,人们意识到他们在处理没有图形数据的计算密集型任务时,也会大量使用 GPU 作为加速器:GPU 设计师们已经构建了更通用的机器,3D 渲染只是其中一个应用而已。 FPGA的定义以及和GPU的类比 计算 FPGA 遵循了相同的轨迹。我们的想法是要多多使用这一时兴的硬件,当然不是为了电路仿真,而是利用适合电路执行的计算模式。用类比的形式来看 GPU 和 FPGA,则: 为了让 GPU 发展成今天的数据并行加速器,人们不得不重新定义 GPU 输入的概念。我们过去常常认为 GPU 接受奇特的、强烈的、特定领域的视觉效果描述。我们实现了 GPU 执行程序,从而解锁了它们真正的潜力。这样的实现让 GPU 的目标从单个应用域发展为整个计算域。我认为计算 FPGA 正处于类似的转变中: 现在还没有针对 FPGA 擅长的基本计算模式的简洁描述。但它和潜在的不规则并行性、数据重用以及大多数静态的数据流有关。和 GPU 一样,FPGA 也需要能够体现这种计算模式的硬件抽象:Verilog 用于计算 FPGA 的问题在于它在低级硬件抽象中效果不好,在高级编程抽象中的效果也不好。让我们通过反证法想象一下,如果用 RTL(寄存器传输级)取代这些角色会是什么样。 甚至 RTL 专家可能也无法相信 Verilog 是可以高效开发主流 FPGA 的方式。它不会把编程逻辑推向主流。对于经验丰富的硬件黑客来说,RTL 设计似乎是友好而熟悉的,但它与软件语言之间的生产力差距是不可估量的。 事实上,对现在的计算 FPGA 来说,Verilog 实际上就是 ISA。主要的 FPGA 供应商工具链会将 Verilog 作为输入,而高级语言的编译器则将 Verilog 作为输出。供应商一般会对比特流格式保密,因此 Verilog 在抽象层次结构中会处于尽可能低的位置。 把 Verilog 当做 ISA 的问题是它和硬件之间的距离太远了。RTL 和 FPGA 硬件之间的抽象差距是巨大的:从传统角度讲它至少要包含合成、技术映射以及布局布线——每一个都是复杂而缓慢的过程。因此,FPGA 上 RTL 编程的编译/编辑/运行周期需要数小时或数天,更糟糕的是,这是一个无法预测的过程:工具链的深层堆栈可能会掩盖 RTL 中的改变,这可能会影响设计性能和能源特性。 好的 ISA 应该直接展示底层硬件未经修饰的真实情况。像汇编语言一样,它其实不需要很方便编程。但也像汇编语言一样,它的编译速度需要非常快,而且结果可预测。如果想要构建更高级的抽象和编译器,就需要一个不会出现意外的低级目标。而 RTL 不是这样的目标。 如果计算 FPGA 是特定类算法模式的加速器,那当前的 FPGA 并不能理想地实现这一目标。在这个游戏规则下能够击败 FPGA 的新硬件类型,才可能带来全新的抽象层次结构。新的软件栈应该摒弃 FPGA 在电路仿真方面的遗留问题,以及 RTL 抽象。

    时间:2019-08-01 关键词: 晶体管 芯片 GPU 存储技术

  • 芯片设计中数模混合集成电路设计流程

    芯片设计中数模混合集成电路设计流程

    芯片设计包含很多流程,每个流程的顺利实现才能保证芯片设计的正确性。因此,对芯片设计流程应当具备一定了解。本文将讲解芯片设计流程中的数字集成电路设计、模拟集成电路设计和数模混合集成电路设计三种设计流程。 数字集成电路设计多采用自顶向下设计方式,首先是系统的行为级设计,确定芯片的功能、性能,允许的芯片面积和成本等。然后是进行结构设计,根据芯片的特点,将其划分成接口清晰、相互关系明确的、功能相对独立的子模块。接着进行逻辑设计,这一步尽量采用规则结构来实现,或者利用已经验证过的逻辑单元。接下来是电路级设计,得到可靠的电路图。最后就是将电路图转换成版图。 系统功能描述主要确定集成电路规格并做好总体设计方案。其中,系统规范主要是针对整个电子系统性能的描述,是系统最高层次的抽象描述,包括系统功能、性能、物理尺寸、设计模式、制造工艺等。功能设计主要确定系统功能的实现方案,通常是给出系统的时序图及各子模块之间的数据流图,附上简单的文字,这样能更清晰的描述设计功能和内部结构。 为了使整个设计更易理解,一般在描述设计可见功能之后,对系统内部各个模块及其相互连接关系也进行描述。描述从系统应用角度看,需要说明该设计适用场合、功能特性、在输入和输出之间的数据变换。 逻辑设计是将系统功能结构化。通常以文本、原理图、逻辑图表示设计结果,有时也采用布尔表达式来表示设计结果。依据设计规范完成模块寄存器传输级代码编写,并保证代码的可综合、清晰简洁、可读性,有时还要考虑模块的复用性。随后进行功能仿真和FPGA 验证,反复调试得到可靠的源代码。其中,还要对逻辑设计的RTL 级电路设计进行性能及功能分析,主要包括代码风格、代码覆盖率、性能、可测性和功耗评估等。 电路设计大体分为逻辑实现、版图前验证和版图前数据交付三个阶段。逻辑实现将逻辑设计表达式转换成电路实现,即用芯片制造商提供的标准电路单元加上时间约束等条件,使用尽可能少的元件和连线完成从RTL描述到综合库单元之间的映射,得到一个在面积和时序上满足需求的门级网表。 时钟树插入也将在逻辑实现中完成,插入时钟树后,再进行逻辑综合、功耗优化和扫描链插入后得到门级网表,并通过延迟计算得到相关标准延时格式(SDF)文件。版图前验证利用逻辑实现得到的相关门级网表和SDF文件,进行门级逻辑仿真和测试综合,包括静态时序仿真、动态仿真、功耗分析、自动测试图形生成等,经过版图前验证得到的电路设计门级网表必须要满足一定的时序/功耗约束要求。 物理设计就是版图设计。将综合得到的网表和时序约束文件导入EDA软件中,进行布局布线,生成符合设计要求的Layout,在完成了全部的Layout之后,利用相关提取软件进行寄生参数提取,并重新反馈到物理实现的布局布线软件中,进行时序计算和重新优化,直得到满意的时序结果为止。 这时可以生产包含精确寄生信息的SDF文件,与布局布线后生成的网表一道进行时序分析。时序分析通过后,就可以导出布局布线后的GDS格式的版图数据,供后续流程使用。在版图设计完成之后,非常重要的一步工作就是版图验证。版图验证保证了芯片依照其设计功能准确无误地实现,主要包括设计规则检查(DRC)、电路版图对照检查(LVS)、版图的电路提取(NE)、电学规则检查(ERC)和寄生参数提取(PE)。 芯片设计十分值得大家关注,为保证芯片设计的正确性,我们应当了解每一个芯片设计流程。本文,将向大家简单介绍芯片设计流程中的模拟集成电路设计,希望大家通过本文对芯片设计的模拟集成电路设计有个模糊认识。其中每个步骤的具体做法,小编将在后续文章中为大家介绍。 早在20世纪80年代初期,就有人预言模拟电路即将消失。当时,数字信号处理算法的功能日益增强,而VLSI技术的发展又使得在一块芯片上集成数百万、上千万个晶体管成为可能。由于这些算法可以在硅片上紧凑而有效的实现,所以许多传统上采用模拟电路形式来实现的功能很容易在数字领域内完成,例如,数字音频和无线蜂窝电话。 完成一个模拟集成电路的设计,需要多个步骤,具体包括:①规格定义;②电路结构选择以及工艺确定;③具体电路设计;④电路仿真;⑤版图设计;⑥版图验证;⑦后仿真。混合信号集成电路设计对数字电路和模拟电路做整体上的考虑以及验证,这将面临许多挑战和困难。 传统的混合信号集成电路设计是采用有底向上的方法,用SPICE 等电路仿真器对混合电路中的模拟元件进行设计,用数字电路仿真器对数字电路部分进行仿真。然后通过手工建立网表,对数字和模拟电路的协同工作进行设计验证。然而,模拟电路和数字电路之间协同工作的验证比较困难,因此用这种传统设计方法仿真和验证整个混合电路系统既费时,又不精确,特别对于复杂度越来越大的系统而言,这种缺陷更显突出。 随着EDA 技术的飞速发展,混合信号集成电路设计推进到了自顶向下的设计流程。该流程同数字系统自顶向下的流程相似,但与纯数字系统的结构有所不同,这是因为混合系统模拟部分仍然需要自底向上的设计,需要更多的时间和丰富的知识与经验。因此,研究如何采用通用的设计方法和共有的约束与资源来建立混合系统,是十分有价值的。 混合信号集成电路的基本设计流程主要包括设计规划、系统级设计、模拟电路/数字电路划分、电路级设计与仿真、版图级设计与仿真等。研究和开发混合信号集成电路首先应从市场需求出发,选定一个研究开发的目标,然后确定混合信号集成电路的系统定义、系统指标,在此基础上开发和选择合适的算法。在这个阶段,需要根据电路的功能将模拟电路和数字电路划分开来。数字电路用来处理离散的信号,模拟电路则处理连续的信号。 电路可以通过具体的元器件,例如,运算放大器、晶体管、电容器、逻辑门等来表征。混合信号集成电路包括数字和模拟两部分,其中模拟电路一般全定制设计,采用自底向上的设计流程,进行全定制版图设计、验证、仿真;数字电路一般采用自顶向下的设计流程,进行寄存器传输级描述、寄存器传输级仿真、测试、综合、门级仿真。然后,将两种电路放在混合信号验证平台中进行混合仿真。 这种混合仿真可以是寄存器传输级的数字电路与晶体管级的模拟电路的混合仿真,也可以是门级或晶体管级的数字电路与模拟电路的混合仿真。目前设计者主要采用由Mentor Graphics、Synopsys 和Cadence 三大EDA 工具供应商提供的模拟和混合信号工具和技术进行混合仿真。 在这两个阶段,将整合后的电路级设计,结合相关物理实现工艺,进行对相关模拟电路和数字电路的版图设计、设计规则检查、版图验证、寄生参数提取等工作。之后通过相关的混合信号验证平台对整个系统进行混合信号电路的后仿真。在后仿真完成后,就可以将几何数据标准(GDSII)格式的文件送到制板厂做掩膜板,制作完成后便可上流水线流片。

    时间:2019-07-31 关键词: 半导体 集成电路 芯片 存储技术

  • 基于安防监控中视频存储技术的研究

    基于安防监控中视频存储技术的研究

    随着科技的进步,视频监控技术历经了数字化、网络化后,如今又朝高清化的方向发展。高清作为视频监控发展的整体趋势已定,随之而来的是需要各个环节的配合与支持。其中包括了传输带宽、视频存储等等。对于监控系统中最关键的环节--存储来说,高清视频监控的发展也对存储提出更新的要求:首先,高清视频监控需要更高的传输带宽负荷、更大的存储容量;其次,高清视频监控对数据存储的可靠性要求也更高。  在网络视频监控系统中,音视频流的传输是基于IP 网络的,在存在大量音视频流传输的情况下,如何有效地实现对音视频数据的存储,和对多个用户检索回放视频文件的管理是一个重要的课题。 因此,本文就对网络视频监控系统的存储技术进行了探讨,给出了一种音视频存储服务器软件的设计方案和具体实现。支持图像存储、网络回放的双工模式,最大可以同时对多路视频进行录像,支持多个用户同时在线检索回放历史数据,可以根据图像的、记录时间、报警事件类别等多种方式对存储的图像数据进行检索。 媒体流的文件存储 业界较为典型的监控存储的数据管理方案是“DVS+媒体服务器+存储系统”,其中媒体服务器是系统的核心,由其负责媒体数据流的分发、录像、以及VOD点播。     在这种流媒体服务器的方案中,数据管理方式是基于文件系统进行的,所有的录像数据在通过媒体服务器时,都被转成了标准的流媒体文件(几分钟到几十分钟的录像形成一个文件),然后再进行存储。这种存储方式利用了传统文件系统自身的特性,系统开发比较简单,但有可能降低监控存储的效率,主要体现在: 存在视频数据丢失的风险。文件形成需要时间,在形成过程中若网络有误码、前端DVR/DVS/IPCAM有故障/停电,服务器自身软件缺陷等情况出现,就会造成整段时间视频文件的丢失。 受文件碎片的影响。文件系统使用过程中会形成大量的文件碎片,在使用过程中存储空间会逐渐变小,性能也会随之降低。 文件检索效率低。历史数据检索的最小单位是文件,颗粒度太大,精确度低。 除了文件系统自身的不足之外,方案还会受到流媒体服务器集群能力的影响。一台普通的PC Server大约能承载几十路2Mbps媒体数据流的处理,在这种组网下,要支撑更多数量的媒体流处理,需要将多台媒体服务器组成一个集群。但是,受限于媒体流服务器的集群能力,媒体服务器的数量不能太多,一般十几台媒体服务器就达到了一个集群的极限。因此,媒体服务器集群成为了整个监控系统的瓶颈,这使得监控系统无法大规模展开。在构建平安工程这类大规模监控系统时,这种方案就会遇到很大问题,大量的媒体服务器不仅增加成本,管理同时变得更复杂。 由此可见,传统的监控系统在数据管理方面面临的两个主要问题:普通文件系统不是专为监控存储设计,因此会影响到监控数据存储的效率;媒体服务器的集群能力有限,导致监控系统大规模部署困难。那么,是否有针对监控存储的更好的数据管理方式? 针对监控存储的数据特点,业界早在几年前就开始尝试一些新的数据管理方式,希望能够提高监控存储的数据管理效率,满足监控大规模应用的需求。在这些数据管理方式中,“块直存”就是其中比较有特点的一种,已经成为业界发展的方向。其创新性主要体现在: 创造性的采用了“时间索引+块数据”的专用数据结构,抛弃了传统的文件系统,提高监控数据的管理效率。 创造性的采用了基于iSCSI协议的IP SAN直存技术,抛弃了传统的流媒体服务器,简化系统架构。 通过集中式数据管理,实现了对资源的统一划分和调度,实现数据的全局性管理。 媒体服务器文件存储模式 实际上,在很多大规模监控方案中,为了解决媒体服务器性能瓶颈的问题,一般会采用服务器群的方式完成。但又带来新的问题,如多个服务器之间如何进行负载分担?某个服务器故障之后,系统如何将数据流量切换至其他服务器?这些服务器如何管理?如何共享一个存储空间?等等,解决这些问题需要一个非常优秀的集群管理系统,增加系统复杂性的同时,还需要一笔不菲的预算,更遗憾的是,目前业界还没有一个集群管理系统可以很好的解决该问题。 因此,前端设备到IP SAN的端到端直存就是一种很好的解决办法。在存储方式上,“数据块直存”的数据管理方式抛弃了媒体服务器,在IP网络的基础上,在编码设备中集成了iSCSI模块,使得编码设备可以基于iSCSI的协议端到端的把录像数据写入IP SAN存储设备中。 监控录像的检索效率 传统监控中,对于媒体流的文件存储模式,在录像检索时首先要根据摄像头、检索的时间查找到对应的文件,然后再进一步定位具体的时间点,从该时间点回放录像。历史数据检索的最小单位是文件,颗粒度太大,精确度低。 文件系统本来是为随机读写的数据管理应用设计的,检索效率较低,一个含几百万个文件的系统的检索效率很难想象。所以,当系统规模扩大后,传统数字监控方案的效率下降很快。 在“块直存”的系统中,“块”存储可以理解成自定义的一种文件系统,在裸盘上进行数据读写;时间作为每个数据单元的索引,并且把索引和数据单元保存在一个完全独立的逻辑存储空间上。录像的索引和数据形成独立的、完整的数据结构,这种数据结构完全由自己管理,不再由操作系统和文件管理。通过时间索引+块数据存储这种组合,在录像检索上,可以基于时间进行检索,可以快速定位到任意时间的录像,检索效率大幅度提高。在检索的颗粒度上,也不再受文件大小的限制,可以实现秒级的连续检索。 H3C创新存储模式—“iSCSI块直存” 作为IP领域的领导厂商之一,H3C同时在IP网络、IP视频、IP存储等领域有着长期的技术和产品积累。进入IP监控领域后,H3C将这些技术进行融合,首家将iSCSI块存储的存储方式引入监控中,从而有效的解决了媒体服务器引入的存储的性能、可靠性以及检索效率的问题。 在“块数据”和“直存”两者的技术基础上,通过全局性的资源统一划分和调度,实现数据的全局性管理。在大型监控系统里面,可能有成千上万个摄像机和海量的存储空间。 如何管理这些摄像头和存储设备之间的对应关系是一个非常复杂的难题。在“块直存”视频监控系统中,H3C引入了数据管理服务器单元(DM),以此来实现存储资源的统一管理。 DM是一个专用的数据管理设备,所有的摄像头和存储资源都由其管理。摄像头需要存储资源时,会统一向DM申请,DM会从存储空间中选择合适的存储资源分配给摄像头,使摄像头与这一块的存储资源建立读写关系。 IP SAN设备完成某个摄像头媒体数据块的存储工作后,根据监控点的IP地址、写入媒体数据的起始和终止时间,自动生成一个块索引值。DM和IP SAN之间进行通信,获取最新的视频存储信息,对所有监控图像的检索等通过DM完成。 当然,这种存储方式必然对监控厂商的技术积累和实力提出了更高的要求,如要求编码器支持双码流,实时监控视频流和存储视频流可以独立编码,同时编码器支持iSCSI协议。 双码流是现在所有高端编码器的基本要求,实现的厂商较多,编码器支持iSCSI则要求监控厂商同时具备专业的存储技术积累,对于目前的多数监控厂商而言,存在一定的技术门槛。可喜的是,我们看到,越来越多的监控厂商认识到存储对于一个监控方案的重要性,开始进行这方面的技术积累。

    时间:2019-07-28 关键词: 数字化 网络化 视频存储 传输带宽 存储技术

  • 网络存储技术的类型及比较

    网络存储技术的类型及比较

    网络存储技术是基于数据存储的一种通用网络术语。网络存储结构大致分为三种:直连式存储(DAS:Direct Attached Storage)、网络存储设备(NAS:Network Attached Storage)和存储网络(SAN:Storage Area Network)。 1 网络存储技术 网络存储技术主要利用网络技术实现信息的异地存储,即电子数据不再直接存储于服务器上,而是通过网络保存在与服务器相连的专门设备上。当前主要有3种存储方式:直接附加存储(DAS,DirectAttachedStorage),网络附加存储(NAS,NetworkAttachedStorage)以及存储区域网络(SAN,StorageAreaNetwork)。这几种网络存储方式特点各异,应用在不同的领域。 1.1 直接附加存储(DAS) 是将磁盘存储设备直接通过电缆连接到服务器的方式。这种连接方式主要应用于单机或2台主机的集群环境中,主要优点是存储容量扩展的实施简单,投入成本少,见效快,但由于没有网络结构,扩充能力差。DAS本身支持冗余备份(RAID)技术,但一般来讲增加服务器硬盘后,做RAID需要重新启动服务器,造成必须中断网络后才能实现扩容,不利于7×24小时不停机的工作模式,尤其是电力、电信等部门。DAS与服务器及网络连接方式如图1所示。     1.2 网络附加存储(NAS) 是一种专业的网络文件存储及文件备份设备,或称为网络直联存储设备、网络磁盘阵列,一个NAS里面包括存储器件(如磁盘阵列、磁带驱动器或可移动存储介质等)和内嵌系统软件。NAS是一个集中化管理的数据中心,能够响应不同主机和服务器的数据需求。其模式以网络为中心,利用现有的以太网网络资源来接入专用的网络存储设备,而不需另外部署光纤交换机网络来连接传统的存储设备。NAS基于LAN,通常在LAN上有自己的节点,按照TCP/IP协议进行通信,面向消息传递,以文件I/O方式进行数据传输。由于TCP/IP协议设计的初衷是用于数据通信,所以不适合密集型大规模的数据传输。 主服务器和客户端可以非常方便地在NAS上存取任意格式的文件。NAS系统可以根据服务器或者客户端计算机发出的指令完成对内在文件的管理。由于文件系统放置于存储设备之上,用户的数据只要保存一个拷贝,即可被前端的各种类型的主机所使用,因此具备主机无关性。 NAS的网络连接方式如图2所示。     1.3 存储区域网络(SAN) 是通过光纤通道将多台服务器与统一的存储系统进行连接,形成由大量存储器构成的后端存储网,它不同于我们常说的网络,而是位于服务器后端,为连接服务器、磁盘阵列、带库等存储设备而建立的高性能网络。SAN以数据存储为中心,采用可伸缩的网络拓扑结构,通过具有高传输速率的光通道的直接连接,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。SAN提供了良好的存储连接,服务器可以访问存储区域网上的任何存储设备,如带库、磁盘阵列;同时存储设备之间、存储设备同SAN交换机之间也可以进行通信。 SAN特别适合于服务器集群、灾难恢复等大数据量传输的关键领域。与传统技术相比,SAN技术的最大特点是将存储设备从传统的以太网中隔离出来,成为独立的存储区域网络。SAN的网络连接方式如图3所   2 DAS、NAS与SAN三者的比较 DAS属于网络存储中比较低层次的产品,只能通过与之连接的主机进行访问,每一个主机管理它本身的文件系统,但不能实现与其它主机共享数据,只能依靠存储设备本身为主机提供高可靠性的数据。SAN和NAS是新型数据存储模式中的2个主要发展方向。从用户应用的需求来看,建立存储系统的目的就是数据保护、数据管理和数据利用3个方面。在数据保护方面,SAN和NAS结构都具有非常好的数据保护能力。它们都可提供冗余结构,实现高效率的数据备份和远程容灾。一般来说,用户的数据在网络中较为分散时,适合采用SAN的方式实现高效的备份。就数据管理能力而言,NAS具有一定的优势,主要在于安装、配置的方便快捷。在数据利用方面,性能是至关重要的指标,SAN的速度占有优势,NAS处理数据的速度略逊一筹。SAN结构中专门面向高性能存储要求而开发的光纤通道协议非常优秀。与传统存储协议SCSI相比,光纤通道技术在带宽、连接能力、I/O性能、连接距离、扩展能力等方面都有明显优势。而且,光纤通道技术支持交换式连接,可以构建类似传统以太网结构的系统,提供了很强的扩展能力。而NAS结构的数据传输途径是传统以太网协议,不是专门针对存储数据的要求的。 一般来说,NAS解决方案是低成本、易安装的点式方案,适用于长距离的小数据块传输,如工作组级和部门级的存储,或者是用于如Web服务那样需要高效存取文件的环境。而SAN解决方案则是企业规模的方案,要传送大量的数据,需要非常先进的计划,而且采用光纤通道(FC)技术和SAN管理软件,可应用于关键任务,基于交易的数据库应用处理。用户在选择存储系统结构时,可以从实际情况出发,选择采用SAN或NAS作为基本系统结构。SAN是目前公认的最具有发展潜力的存储技术方案,就发展趋势而言,在应用层面SAN和NAS将实现充分地融合,SAN提供速度,NAS提供由文件处理带来的协作性,它们的结合将是非常完美的关键存储系统的解决方案。 表1 DAS、NAS与SAN三者的比较     3 网络存储技术的发展趋势 网络阻塞是制约NAS发展的主要原因之一,千兆以太网能够在铜线上提供1Gbps的带宽,成功解决了数据传输过程中的带宽占用问题,将成为网络存储的骨干网。千兆以太网(GigabitEthernet)是一种高速局域网技术,它使用户无需更换光纤网线,就可以较低的成本获得较高的速度。它采用了与10M以太相同的帧格式、帧结构、网络协议、全/半双工工作方式、流控模式以及布线系统,可以与10M和100M以太网很好地配合工作。 SAN最关键的问题是投资较大,采用iSCSI技术(internetSmallComputerSystemInterface,互联网小型计算机系统接口,是一种在Internet网络上,特别是以太网上进行数据块传输的标准),能大幅度降低企业存储系统的总体成本,使公司可以利用现有的以太网线缆部署SAN。iSCSI技术基于完全成熟的以太网标准,其特点是在服务器端采用寻址快、扩展性强和管理方便的SCSI协议管理数据,而在服务器与存储器间采用IP协议传输数据,这样不但解决了传统光纤通道传输距离的限制,而且服务器与交换机之间采用传统以太网技术,节省了成本,是对SAN有益的补充。 NAS能提供便捷的管理和超低的价格,SAN能提供速度,所以NAS和SAN的结合是大趋势。二者的融合,不但提高了网络存储的效率,而且能降低存储管理成本,其诱人而优异的性能吸引了存储业界越来越多的注意力。 对于SAN来说,点到点之间光纤通道的最大距离不得超过10km是一个缺陷,这个缺陷可以被NAS的IP连接所弥补,也就是通过IP网络发送光纤通道命令(FC/IP)。对于NAS而言,SAN的光纤通道技术可以弥补网络阻塞造成的性能降低。 在网络存储领域,新技术层出不穷。DAFS(DirectAccessFileSystem)就是网络存储中的一种新技术。作为一种文件系统,它简化了文件读出和写入的步骤,能结合SAN和NAS的优势,有效地减轻存储服务器的计算压力;另外它被设计成与低层传输无关的协议,同时提高了存储网络的可扩展性,被公认为是存储领域新的发展趋势之一。而Jini技术是用查找服务(LookupService)来注册设备联盟中的设备以及设备提供的服务,是一种新的网络体系结构,它实现了网络设备的自发组网,即网络中的“即插即用”,为网络存储技术的实现和发展提供了一种崭新的思路。

    时间:2019-07-28 关键词: 存储网络 网络存储技术 直连式存储 网络存储设备 存储技术

  • 基于云存储技术的原理与架构的解析

    基于云存储技术的原理与架构的解析

    云存储是一种网上在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。托管(hosting)公司运营大型的数据中心,需要数据存储托管的人,则透过向其购买或租赁存储空间的方式,来满足数据存储的需求。 目前利用科技手段辅助城市管理的建设模式已经由以前的以视频监控为主的平安城市建设转向以多传感技术为主的智慧城市建设,在这一过程中,虽然当前主要的数据量仍然来自视频监控摄像头产生的图像数据,但由各类传感器产生的数据量和数据种类正在加速增长,例如各城市道路的交通流量信息、特种车辆的运行轨迹和车况状态信息、移动终端的身份采集信息等,对这些海量信息的存储、分析和利用,除了提供传统的安全防范、事后查证功能外,更为城市建设科学规划、科学管理提供了充分的数据基础,同时,在这样一个海量大数据的时代,对于数据的安全存储和应用也需要与之相适应的新的技术手段,而以分布式和并行处理为基础的云计算和云存储技术,在此过程中也得到了极大地发展。 相对传统存储而言,云存储改变了数据垂直存储在某一台物理设备的存放模式,通过宽带网络(比如万兆以太网或Infiniband技术)集合大量的存储设备,通过存储虚拟化、分布式文件系统、底层对象化等技术将位于各单一存储设备上的物理存储资源进行整合,构成逻辑上统一的存储资源池对外提供服务,从而在存储容量上得以从单设备PB级横向扩展至数十、数百PB,由于云存储系统中的各节点能够并行提供读写访问服务,系统整体性能随着业务节点的增加而获得同步提升。同时,通过冗余编码技术、远程复制技术,进一步为系统提供节点级甚至数据中心级的故障保护能力。容量和性能的按需扩展、极高的系统可用性,是云存储系统最核心的技术特征。 通常,从云存储的技术实现层次上看,从底层向上,可以分为存储层、管理调度层、访问接口层、应用服务层等四个层次,如下图所示:     图1 云存储技术实现层次 其中存储层是云存储的基础,一台云存储节点设备通常能安装24个以上的硬盘,通常通过IP接口将大量的存储设备互连在一起形成存储设备资源池,在一个云存储系统中,底层物理存储设备数量庞大,而且设备形态理论上也允许异构(这样也可以接入传统的IP SAN或FC SAN),在物理存储设备之上是一个统一的存储设备管理层,实现对物理存储设备的逻辑虚拟化管理、状态监控和维护等功能。 管理调度层是云存储最核心的部分,这一层的主要功能是在存储层提供的存储资源上部署分布式文件系统或者建立和组织存储资源对象,并将用户数据进行分片处理,按照设定的保护策略将分片后的数据以多副本或者冗余纠删码的方式分散存储到具体的存储资源上去。同时,在本层还会在节点间进行读写负载均衡调度以及节点或存储资源失效后的业务调度与数据重建恢复等任务,以便始终提供高性能、高可用的访问服务。不过,在具体实现时,该层的功能也可能上移,位于访问接口层和应用服务层之间,甚至直接嵌入到应用服务层中,和业务应用紧密结合,形成业务专用云存储。 访问接口层是业务应用和云存储平台之间的一个桥梁,提供应用服务所需要调用的函数接口,通常云存储系统会提供一套专用的API或客户端软件,业务应用软件直接调用API或者使用云存储系统客户端软件对云存储系统进行读写访问,往往会获得更优的访问效率,但由于一个云存储系统往往需要支持多种不同的业务系统,而很多业务系统只能采用特定的访问接口,例如块接口或者POSIX接口,因此一个优秀的云存储系统,应该同时提供多种访问接口,例如ISCSI、NFS、CIFS、FTP、REST等,以便在业务适配方面具有更好灵活性。 业务应用层通过云存储系统提供的各种访问接口,对用户提供丰富的业务类型,例如高清视频监控、视频图片智能分析、大数据查找等。部分云存储系统也会在这一层的应用业务平台上实现管理调度层的功能,将业务数据的冗余编码、分散存储、负载均衡、故障保护等功能和各种业务的实现紧密结合,形成具有丰富业务特色的应用云存储系统,而在存储节点的选择方面,则可以采用标准的IPSAN、FC SAN或者NAS设备,例如宇视科技的视频监控云存储CDS(Cloud Direct Storage)解决方案就是这种应用云存储的典型代表。     图2 宇视CDS视频监控云存储架构 CDS解决方案继承了宇视科技视频ISCSI块直存高性能的优点,采用宇视最先进的裸数据存储技术,可极大程度发挥存储设备读写性能,实现云存储中的秒级检索和回放,通过采用标准的IPSAN设备,通过CDV存储虚拟化组件,并通过CDM云存储管理服务器集中统一管理底层的存储资源,构成全局统一的虚拟存储空间,当前端应用设备要进行读写时,首先向CDM请求可以访问的存储空间,并将数据离散存储到各底层标准的存储节点上去,当某一存储节点发生故障时,CDM会自动重新分配一个新的空间给前端设备进行访问,从而实现业务不停顿的读写。CDS系统支持海量的云存储节点管理能力,可管理高达2048个存储节点,支持动态扩容和缩容,提供不间断的视频和图片存储服务。同时也能提供视频实况、视频点播回放、报警管理、布防撤防、地图应用等多种视频业务。 应用云存储和业务深度结合,针对业务特点选择适合的存储模式,往往能提供非常优异的业务访问性能,但通常各厂家实现方式各有不同,难以互通或者供第三方开发新的数据处理业务,因此,应用云存储系统比较适合业务种类较少,业务模型相对固定的应用场合。而在智慧城市的建设中,一个云存不仅会存储海量的数据,而且需要对这些数据进行分析和利用,这往往需要集合多个专业厂商来进行各自擅长领域的业务开发,因此,系统的开放性、接口的标准化,则成为云存储系统建设的重要需求,云存储的核心功能应直接在存储之上实现,再通过访问接口层为业务平台提供多种通用的访问接口,如ISCSI块存储访问接口、POSIX文件访问接口、REST对象访问接口等,而业务应用开发则无需再考虑数据冗余、分散存储、负载均衡等存储专属特性,而集中在业务应用本身的功能特性方面,例如视频监控系统中的车型识别、卡口计数、图像浓缩等,这种云存储系统与具体的应用耦合程度较低,具有更好的通用性,可以认为是一种通用云存储。 在现在比较流行的云存储架构中,根据对元数据的管理模型,可以将通用云存储系统分为三种类型,即集中式元数据、分布式元数据和无元数据三种类型的系统。 集中式元数据云存储系统是一种典型的非对称式系统,在系统中,通常具有一个中央元数据管理服务器,负责元数据的存储和处理查询与修改请求,例如,在HDFS系统中,该元数据管理服务器即为名字节点Namenode,同时,存在大量的数据存储节点提供客户I/O数据的并行存储与访问。这种架构中,客户端每次对数据流的I/O操作,都需要先向元数据管理服务器进行元数据查询,客户端在获得需要读写的数据块物理位置等信息后,对于数据的I/O操作则直接在客户端和数据存储节点之间进行。相对传统存储系统,集中元数据云存储系统将控制流和数据流进行了分离,系统在扩展性和处理性能方面获得了较大的提升,同时,由于元数据集中在一台服务器上进行管理,整个系统架构比较简单,降低了系统设计的复杂性,目前业界采用这种架构的系统主要有GFS、HDFS、Lustre等。     图3 具有集中元数据管理的HDFS系统架构 不难看出,虽然集中元数据云存储系统架构简单,但会存在两个主要的问题: 性能瓶颈问题。元数据的基本特性要求任何时候对用户数据的访问,都需要同步地修改元数据,由于每次I/O访问都需要首先访问元数据服务器,随着系统规模不断扩大,需要管理的存储节点、文件数量、I/O操作数量等都会急剧增加,而对元数据进行管理的物理服务器性能有限,从而形成性能瓶颈,这种性能瓶颈在大量小文件访问时会更为突出。为解决这一问题,人们通常会采用更高性能的CPU,更大的内存,并且采用SSD来加速对元数据的访问,虽然能够在一定程度上提升元数据访问性能,但成本极其高昂,且提升效果有限。 元数据服务器单点故障问题。在集中元数据云存储系统中,整个系统的性能和可靠性完全依赖于元数据服务器,一旦元数据服务器故障,系统将无法提供任何服务,因此,元数据服务器就是整个系统中的潜在单点故障点。为解决这一问题,通常对元数据服务器采用备机形成HA解决方案来提供更高的系统可用性,主用服务器和备用服务器之间的元数据必须随时同步,否则一旦主用服务器故障,则可能导致数据不一致问题,但元数据同步操作会进一步加重了元数据服务器的性能负担,导致整个系统的访问性能受到拖累,而且也无法彻底解决脑裂问题。 为了解决集中元数据系统中的性能瓶颈和单点故障问题,一种改进后的分布式元数据云存储系统得以出现,这种系统采用多台元数据服务器形成集群工作的方式提供元数据访问服务,集群中的每一台设备都可以提供元数据访问,从而提高整体访问性能,并且解决了元数据服务器单点故障问题。分布式云存储系统需要在所有元数据存储节点之间进行元数据同步操作,这大大增加了系统设计的复杂性,在同步期间往往需要进行各种加锁,而加锁机制的存在导致部分任务难以并行运行,从而拖慢了整个系统的性能,此外,如果元数据没有及时得到同步,或者遭到意外破坏,则会出现同一文件或者对象的元数据不一致,进一步导致上层应用在通过不同物理服务器访问文件或对象数据时出现数据不一致或者读写错误的问题,这种风险随着云存储系统规模的扩大而大幅增加,同样,为了保证元数据同步的速度,需要采用高性能、大内存并且配备SSD的服务器,硬件成本非常昂贵。 第三种云存储系统则彻底抛弃元数据,而是采用算法来对文件或对象进行定位,并将该算法集成在每一个存储节点上,客户端从任何一个存储节点进行数据访问都会获得同样的结果,云存储系统中的每一个存储节点都可以独立、并行地对外提供服务,从而真正实现性能随节点数增加而线性扩展,由于无需在节点间进行元数据的同步操作,极大地提高了系统的稳定性和可靠性,在硬件成本方面,也相对低廉,可以用较低的建设成本获得较高的读写性能。 宇视科技的UCS(Unified Cloud Storage)统一云存储系统是在视频应用云存储CDS解决方案之外提供的更为通用的云存储解决方案,它是一种采用无元数据设计的全对称分布式存储系统,其存储节点可以提供16到60个3.5英寸硬盘槽位,无需额外添加服务器,底层采用对象存储机制,自动实现数据分片、冗余校验计算存储、节点失效业务接管、存储资源失效数据高速重建等功能,并且通过部署UniFS分布式文件系统对供标准的POSIX读写访问,对外提供各种标准软件接口,例如ISCSI、NAS、REST等,现有业务系统可以不经改造即可使用宇视科技UCS云存储系统。而如果全套业务系统均采用宇视设备,则可以在前端摄像机、管理服务器、智能分析服务器和UCS存储系统之间直接采用更为优化的CBI(Cloud Block Interface)接口,该接口继承了宇视科技上一代ISCSI视频监控直存解决方案的有点,根据云存储资源池的配置,直接在前端摄像机和访问服务器自动实现数据切片和离散存储,将大量的计算工作分布到数量众多的前端设备上,实现分布式计算,从而大大降低了存储系统本身的工作负载,显着提升了整个系统的能够承载的视频监控摄像机数量。同时,针对智慧城市建设需要的业务处理分析系统,也可以集成宇视提供的API或者客户端软件,实现对数据的并行读写,或者极高的性能体验。UCS统一云存储解决方案可广泛用于高清视频监控系统、公安案件视图库、警用执法仪在线存储、交通管理分析系统等,为智慧城市、平安城市建设提供大数据、云存储解决方案。     图4 宇视全对称分布式UCS通用云存储解决方案

    时间:2019-07-28 关键词: 架构 云存储技术 智慧城市建设 存储技术

  • 存储技术一览

    存储技术一览

    当前的磁带机(库)支持的备份技术主要有DAT、8mm、DLT、LTO、AIT及VXA等。存储容量是指在数据未被压缩前磁带机所能存储的最大数据量。这个数值取决于两个因素,一是单盒磁带的存储容量,二是磁带机所能容纳的磁带数目。 世界领先的低功耗铁电存储器(F-RAM)和集成半导体产品开发商及供应商RamtrON International Corporation (简称Ramtron)发布W系列 F-RAM存储器,W系列器件带有串口I2C、SPI接口和并行接口,能够提供从2.7V 到 5.5V的更宽电压范围。此外,W系列具有更高的性能,如有功电流(active current)需求降低了25%至50%,串口器件的首次存取启动(上电初始化)速度加快20倍。该系列中FM24W256 和 FM25W256器件分别带有256-Kbit 串口I2C与和SPI接口。64-Kbit FM16W08 和 256-Kbit FM18W08器件则带有一个并行通信接口。     Ramtron公司标准存储器市场推广经理 Mike Peters 表示:“W系列 F-RAM存储器具有宽工作电压范围,可帮助系统设计人员降低有功电流,提高系统性能。系统能够检测早期功耗,控制器的数据写入电压可降至2.7V,从而保护重要数据免受毁坏或丢失。W系列的宽工作电压范围带来更高的灵活性,能够最大限度地减少客户所需的库存元件数量。” Ramtron发布W系列F-RAM存储器 RamtrON (Ramtron InternaTIonal Corporation)发布W系列 F-RAM存储器,W系列器件带有串口I2C、SPI接口和并行接口,能够提供从2.7V 到 5.5V的更宽电压范围。 W系列 F-RAM存储器为先前使用64K至256K F-RAM器件的客户提供了一种设计替代方案,该系列产品基于先进的高可靠性铁电工艺,具有无延迟 (NoDelay)写入、几乎无限的读/写次数 (100万亿次-10e14)以及38年数据保存期等特性。这些新推器件采用业界标准“绿色”封装,其中串口器件采用8脚SOIC封装,并口器件采用28引脚SOIC封装。W系列非常适合需要频繁或快速写入数据或实现低功耗工作的非易失性存储器应用,应用范围从高频数据采集直到要求严苛的工业控制应用。而在这些应用中, EEPROM的写入周期很长,可能造成数据丢失,因而并不适用。W系列中串口SPI器件采用Ramtron的 F-RAM技术,能够实现全速总线写入,确保在-40°C 至 +85°C的工业温度范围正常工作。 此外,W系列具有更高的性能,如有功电流(active current)需求降低了25%至50%,串口器件的首次存取启动(上电初始化)速度加快20倍。该系列中FM24W256 和 FM25W256器件分别带有256-Kbit 串口I2C与和SPI接口。64-Kbit FM16W08 和 256-Kbit FM18W08器件则带有一个并行通信接口。 Ramtron公司标准存储器市场推广经理 Mike Peters 表示:“W系列 F-RAM存储器具有宽工作电压范围,可帮助系统设计人员降低有功电流,提高系统性能。系统能够检测早期功耗,控制器的数据写入电压可降至2.7V,从而保护重要数据免受毁坏或丢失。W系列的宽工作电压范围带来更高的灵活性,能够最大限度地减少客户所需的库存元件数量。” W系列 F-RAM存储器为先前使用64K至256K F-RAM器件的客户提供了一种设计替代方案,该系列产品基于先进的高可靠性铁电工艺,具有无延迟 (NoDelay)写入、几乎无限的读/写次数 (100万亿次-10e14)以及38年数据保存期等特性。这些新推器件采用业界标准“绿色”封装,其中串口器件采用8脚SOIC封装,并口器件采用28引脚SOIC封装。W系列非常适合需要频繁或快速写入数据或实现低功耗工作的非易失性存储器应用,应用范围从高频数据采集直到要求严苛的工业控制应用。而在这些应用中, EEPROM的写入周期很长,可能造成数据丢失,因而并不适用。W系列中串口SPI器件采用Ramtron的 F-RAM技术,能够实现全速总线写入,确保在-40°C 至 +85°C的工业温度范围正常工作。

    时间:2019-07-28 关键词: i2c 并行接口 spi接口 存储技术

首页  上一页  1 2 3 4 5 6 7 8 9 10 下一页 尾页
发布文章

技术子站

更多

项目外包