当前位置:首页 > 数据
  • 数据处理,你不得不会的「正则表达式」

    若要判断一个输入的QQ号是否有效,你会如何处呢? 首先你得分析一下其对应规则,依次列出: 长度大于5,小于等于11; 首位不能为0; 是否为纯数字? 规则既列,接着就该尝试实现了,那么用什么来表示字符串呢?在C++中,最容易想到的就是string了,其中提供了许多成员函数可以处理字符串,所以有了如下实现: 1std::string qq; 2std::cin >> qq; 3 4// 1. 判断位数是否合法 5if (qq.length() >= 5 && qq.length() 

    时间:2020-12-27 关键词: 数据 计算机

  • 让数据实现更快更安全的传输,Rambus峰会展示业界领先接口和安全IP解决方案

    让数据实现更快更安全的传输,Rambus峰会展示业界领先接口和安全IP解决方案

    科技发展一直在加速,随着人工智能、5G和自动驾驶等演进,数据的生产节点数和吞吐量都在激增,节点激增同样带来数据安全转换的需求增加。算力和数据传输能力都要一同演进才能保证终端应用满足用户需求,但现在如何让数据高效安全的传输已经成为了诸多应用升级的一个瓶颈。如何让数据实现安全快速的传输是行业共同关心的话题,接口和安全IP的领先厂商Rambus近期召开了峰会,向业界展示了其领先的接口和安全IP解决方案。 接口IP向更高速率演进 “从IP接口整体大趋势来看,速度上向高速接口的方向发展。现在我们发现整个业界新推出的中速接口IP越来越少,低速的基本上没有了,大家都把注意力放在高速接口IP上。“Rambus大中华区总经理 苏雷先生分享到。从2012年到 2019年,人工智能训练集增长了30万倍,平均每3.43个月翻一番。人工智能和数据中心发展正在加速推动接口IP市场的发展。例如数据中心的主内存大约从明年开始将会逐渐从DDR4过渡到DDR5,最大容量提升了4倍左右。数据容量的提升也对内存系统提出更高的性能要求。高速内存控制器不断出现,比如GDDR6、HBM、PCIe5等;各种支持小芯片互联的技术也不断的出现,比如用于并行传输的HBI,用于串行传输的SerDes等。   Rambus针对各种不同的传输协议都有相应的业界领先解决方案。例如在HBM方面,Rambus的HBM2E接口提供了最佳性能与最小面积的特点和高效率,可以达到业界最快4Gbps的速率,已经超越HBM2E DRAM 当前最高的3.6Gbps。而在GDDR6方面,Rambus的GDDR6接口每个引脚支持高达18 Gbps。这都是行业领先的水平。另外Rambus最新也推出了PCIe 5.0接口IP,该协议支持32Gbps的最高传输速率,非常适合AI、服务器、5G 基础设施等应用。苏雷表示,达到业界最顶峰水平可以帮客户的设计方案提供足够裕量空间,保证整个系统的稳定性。   能够达到行业顶尖的接口传输速率,得益于芯片工艺的演进,但更重要的是Rambus的团队在对信号完整性和电源完整性方面有着深刻理解和丰富的专业知识积累。苏雷先生表示,Rambus在过去的30年中积累了大量的这方面的经验, 包括从建模到设计一整套的方法学,这些都是Rambus可以在接口IP领域保持领先的重要支撑,同时也是Rambus的核心优势所在。另一个重要的优势在于,Rambus的优势在于并不仅仅是提供一些单品,而是可以提供基于接口IP的全套的解决方案。Rambus资深应用工程师曹汪洋先生分享到,这些方案都通过了完整的软件仿真和硬件验证。因此可以大大简化用户设计的复杂度,用户在设计时不需要考虑不同厂商IP之间的配合兼容的问题。 用硬件安全IP加速安全协议 在数据传输的安全方面,这首先是一个安全的问题,同时在保证安全的基础上也还是是一个数据转换速率的问题。物联网、边缘计算、V2X等等将会带来越来越多的节点,需要大量的数据转换;同时在数据中心和AI训练中,也需要大量的数据在接口中心读取和搬迁,所以数据安全性的问题变得愈发重要,而且如何快速地进行安全协议的转换和确认也是影响系统整体性能的重要参数之一。   据Rambus资深现场工程师 张岩先生分享,虽然目前在不同的网络层次的协议上都有对应的一些加密方案,但是如果单纯使用软件实现安全协议就没法实现高速率。Rambus的方案,就是用硬件的安全IP去加速各种的安全协议。对于安全问题的共性在于对密钥算法的要求和密钥策略的要求以及传输协议的要求。也就是针对数据流转性的保护,Rambus提出了一套叫做secure data in motion的概念,通过运用MACsec技术来保护流动数据。 针对静态数据的保护(secure data at rest),Rambus有一个CryptoManager RoT(Root of Trust)的安全IP,可以在SoC中构建一个单独的岛式安全引擎。这个IP是一个单独的RISC-V内核,专门用来进行数据加解密工作。这种保护不仅仅限于单独密码学的计算,也可以抵抗物理层面的攻击,例如芯片侧信道功耗分析攻击、错误注入攻击或者是剖片攻击等。为什么考虑使用RISC-V来构建这样的安全IP呢?张岩先生分享到了一个在安全领域的设计原则叫作“clean sheet design”,即从一张白纸开始去做安全和构架设计。这样从设计最初阶段开始,继承的过去的设计越少,越有可能更少地遇到原来历史遗留的安全问题。   据苏雷先生分享,Rambus此前曾收购了Verimatrix的安全IP团队,再加上Rambus原有的安全团队,现在可以实现业界非常全面的安全IP产品,并具备全球领先的安全IP研发实力,这将为客户在数据安全方面提供保驾护航。 --- 目前中国正在加紧进行5G、数据中心和人工智能等新基础设施的建设,中国在全球高科技产业舞台上也在发挥着越来越重大的作用,这对 Rambus而言也孕育着巨大的接口IP的生意机会。苏雷先生表示,Rambus非常看重中国的机会,将会和中国主要云厂商在内的更多云服务商展开更密切的合作,同时也会和中国广泛的OEM、ODM合作,打造整个内存产业生态系统内的一系列合作。

    时间:2020-12-21 关键词: 内存 接口IP Rambus 数据

  • 解锁数据价值,赋能数智未来

    解锁数据价值,赋能数智未来

    12月9日,由中山市互联网协会主办,佛山机器人学院等联合主办的2020中山“数智时代 机器智能”论坛在中山市德宝怡高中山火炬大数据中心举行。 魏德米勒作为杰出的智能解决方案提供者受邀参会,与行业协会专家及业内领军企业代表共聚一堂,就人工智能、图像视觉、机器人、汽车传感器运用、环境感知、智能决策、运动控制与大数据等热点话题进行了多维度的深入交流。 众所周知,在数智未来时代,无论是人工智能还是机器人,亦或是运动控制、智能决策等等,几乎所有技术的应用、创新和进步,都要依托于数据采集和数据分析。 魏德米勒亚太区自动化产品及解决方案事业部总监卓越先生深谙此道,其演讲内容更直切要点:分享了在工业领域,大数据分析技术是如何发挥作用的,工业数据分析的典型应用和优势;并介绍了目前成功实践的应用案例,以及工业数据分析项目的具体实施过程。极具借鉴意义的“干货”分享和非常落地的解决方案介绍,引来众多与会者的关注,纷纷表示受益匪浅,收获颇丰。 透过卓越的演讲不难发现,针对智能制造魏德米勒不仅积淀了深厚的理论知识,更重视行之有效的落地方案。在距离中山不足百公里的佛山机器人学院中就展示了魏德米勒提供的工业4.0智能化解决方案,从数据传输、信号传送、电源联接到数据处理、价值分析,具体而全面的解决方案,成为众多合作伙伴智能化转型的“参照物”。同时设立的机柜装配与接线智能工厂示范线,更形象地展示了魏德米勒智能装配与接线解决方案在智能工厂生产中的价值,是推动行业标准制定的重要助力。 未来已来!人工智能、大数据、云计算、物联网等技术的持续创新和不断应用,在拓宽经济与产业发展空间的同时,更成为追求高质量发展和高质量产出最有力的武器。在探索智能未来的旅程中,坚守“创新无处不在,智能化方案提供者,以本土客户为本”价值观的魏德米勒将不余遗力的帮助合作伙伴解锁数据价值,赋能数智未来,共绘智能制造美好蓝图!

    时间:2020-12-16 关键词: 魏德米勒 机器智能 数据

  • 用法律途径保障人脸识别信息安全

    用法律途径保障人脸识别信息安全

    当今,随着人脸识别系统的推出,人脸识别存在的个人信息安全问题也得到了很多人的重视。保障人脸识别信息安全需用法律途径。 随着人脸识别系统的广泛应用,回家进门先刷脸,进门按指纹已成为众多小区门禁系统的标配,但物业采集业主信息是否合法、物业将如何保护业主信息,也成为公众普遍关心的话题。作为业主,固然享受到了“刷脸”进出的科技便捷,却也在暗自担心,自己和家人、朋友的信息会不会被泄露、传播、滥用,甚至“惹祸上身”、“引狼入室”。在南方都市报发布的《人脸识别应用公众调研报告(2020)》中,有64.39%的受访者认为,人脸识别技术有滥用趋势,有近三成受访者有所顾虑。 近年来,人脸识别技术呈现出加速落地的趋势,不过,各地关于人脸识别技术使用的争议也不断出现。如2020年9月,清华大学法学院教授劳东燕拒绝小区采用人脸识别作为门禁手段,此事经媒体报道后引发热议。今年以来,广西、陕西、浙江等地的一些居民小区也曾出现人脸识别门禁引发的争议事件。 尽管当前关于个人生物信息保护的制度,散见于刑法、民法总则、网络安全法、消费者权益保护法,以及最高法、最高检的相关司法解释中,但令人遗憾的是,不仅没有直接的法律规定予以制约,更没有形成完整的规范体系。这种立法上的滞后性,也让“人脸”处于裸奔状态,公民个体权利随时有被侵犯之虞。 中国政法大学传播法研究中心副主任朱巍对记者表示,民众对于面部特征等生物识别信息泄漏的担心主要来自两个方面,第一个是超出了人们使用个人信息的范围,第二个是随着人脸识别技术的发展,使用人脸信息可能更便捷,但也可能更不安全。“人脸识别技术应用于一些公共场合,对于大多数人而言,采集者是谁、收集个人信息的用途是什么,我们是不知情的,实际上个人信息背后的数据是可以打通的,个人信息与别的信息对接之后,我们就变成了透明人。民众有担心的必要,也有拒绝的理由。”朱巍说。 值得欣慰的是,我国的国家层面立法也在迈进。正在征求意见的个人信息保护法草案明确规定,在公共场所安装图像采集、个人身份识别设备,应当为维护公共安全所必需,遵守国家有关规定,并设置显著的提示标识,等等。随着国家和地方立法的完善,公民个人信息也将获得更强大的法律铠甲。 日前,个人信息保护法草案(下称“草案”)首次提请全国人大常委会审议,并于2020年10月21日在中国人大网公布,公开征求社会公众意见。征求意见截至今年11月19日。草案规定了个人信息处理规则、个人在个人信息处理活动中的权利、个人信息处理者的义务等内容,形成了个人信息保护的制度框架。不过,有专家认为,随着人脸识别技术被滥用等问题逐渐凸显,草案仍需细化对个人权利的规定。

    时间:2020-11-08 关键词: 人脸识别 信息 数据

  • RTI公司宣布召开首届虚拟全球用户大会

    - 汇聚众多专家基于DDS开发以数据为中心的自主自动系统 - GE医疗、Dreamscape、Kratos Defense及更多业界领先企业都将云集亮相Virtual ConnextCon 2020 全球最大的智能机器和实体系统融合软件框架提供商Real-Time Innovations(RTI公司)今天宣布,将于近期举行首届虚拟全球用户大会Virtual ConnextCon 2020,面向美国及美洲地区的会议日期是10月26-27日,面向中东及亚太的会议日期是10月28-29日。 ConnextCon 2020将使全球范围内的工程师和开发者共聚一堂,为期两天的虚拟会议包括实际操作研讨会、行业专家主题演讲、数据分发服务™(DDS)标准的客户实现和交互演示。 ConnextCon 2020将会共同探索未来智能机器和自主自动系统的功能。在未来10年里,汽车将会实现安全自动驾驶,能源系统将更好地利用老旧设备和可再生能源,迈上新台阶的智能技术将会遍布医疗设备。在这个自主自动的时代,智能计算将引领和改善整个地球上的基础设施。ConnextCon 2020将为此提供全面的DDS标准引导,既服务于DDS用户,也服务于非DDS用户。RTI ConnextⓇDDS用户将有机会参与特别实作课程,并抢先试用即将发布的产品、工具和服务。RTI公司的专业人员也会在场回答技术问题。 RTI公司首席执行官Stan Schneider表示,“自动自主时代正在来临。RTI公司致力于与客户合作打造智能系统,从而使我们这个世界更安全、更清洁、更高效。从减少车祸到提高医院患者安全,我们站在第一线,推动着当今最伟大的技术革命。我们的虚拟ConnextCon首次让来自全球的RTI客户、合作伙伴、技术专家和业界权威人士聚集在一起。我们期待围绕制定未来框架这个议题分享最新的技术见解。” 在筹备此次虚拟会议的过程中,RTI公司的首要任务是通过可指导行动的知识内容提供引人入胜的交互式体验。与会者将会体验到一次融洽互动的会议,并将有机会通过讨论白板和虚拟会议室与发言者和其他与会者开展现场投票、会议问答、意见调查、意见反馈。 在此次虚拟ConnextCon提供演示和发言的人如下: 2020年10月26日至27日(美国/美洲): Stuart Kozlick,Puzzle医疗器械公司首席执行官兼RTI公司咨询委员会委员 Craig Clark,Kratos公司防务市场CTO(首席技术官) Matt Grubis, GE医疗患者护理解决方案总工程师 2020年10月28日至29日(中东/亚太): Sylvain Chague,Dreamscape Immersive联合创始人兼首席技术官 KT Neuman,KTN GmbH创始人兼投资人及RTI咨询委员会成员 Stefan Sandberg,Veoner Vision模拟产品负责人 活动详情: 活动名称:Virtual Connext Conference 2020——自治自动时代 时间: 美国/美洲:2020年10月26-27日 欧洲、中东和非洲/亚太地区:2020年10月28日至29日(中东/亚太): 地点:虚拟线上 RTI公司简介 RTI(Real-Time Innovations )公司是智能机器和实体系统融合软件框架的最大提供商。该公司的核心产品RTI Connext®提供实时数据共享机制从而成为智能架构的核心,让大规模的系统协同如一。 RTI公司的软件部署成功案例超过1500项,包括北美最大的发电厂、各种车辆传感互连与控制、美国海军舰艇作战管理协同、新一代医疗机器人、超级高铁和飞行汽车以及医院病患和急救伤员24/7的医疗信息系统。 RTI公司是智能互连分布式系统领域的全球最佳首选提供商。其产品与解决方案提升了医疗保健系统,使我们的道路更安全,改善了能源使用,保护了我们的生活。 RTI公司是符合Object Management Group® DDS规范的领先供应商。 RTI是一家私人控股公司,总部位于美国加州Sunnyvale市,在西班牙和新加坡设有地区分部。 可到官网下载最新、功能齐全的Connext DDS软件30天免费试用版。

    时间:2020-10-15 关键词: 软件 rti 数据

  • 嵌入式AI将大数据转变为智能数据

    嵌入式AI将大数据转变为智能数据

    工业应用4.0生成了大量复杂的数据。对数据很重要的传感器和数据源的数量在不断增加,通常需要更详细的虚拟视图机器系统和系统流程:这自然增加了整个价值链的增值潜力同时然而,问题是如何使用这个值,不,它停止所有数据处理系统和结构变得越来越重要。只有利用相关、优质、有用的数据,即智能数据,才能开发出相应的经济潜力。 挑战 收集所有可能的数据并将其存储在云中,希望以后对其进行评估、分析和构建使用,这仍然是一种广泛采用的挖掘数据价值方法,但不是特别有效。从数据中挖掘附加值的潜力仍未得到充分利用,并且以后再寻找解决方案会变得更加复杂。更好的替代方法是尽早考虑确定哪些信息与应用相关,以及可以在数据流的哪个位置提取信息。可以用细化数据来打比方,即从整个处理链的大数据中提取出智能数据。可在应用层决定哪些AI算法对于单个处理步骤的成功概率较高。这个决定取决于边界条件,如可用数据、应用类型、可用传感器模型和有关物理层处理的背景信息。 对于单独立的理步骤,正确处理和解读数据对于从传感器信号生成真正的附加值非常重要。根据应用的不同,正确解读分立传感器数据并提取所需的信息可能很困难。时间行为通常会发挥作用,并直接影响所需的信息。此外,还必须经常考虑多个传感器之间的依赖关系。对于复杂的任务,简单的阈值和手工确定的逻辑已不足以应对。 AI算法 相比之下,通过AI算法进行数据处理可以自动分析复杂的传感器数据。通过这种分析,可从数据处理链中的数据自动获得所需的信息,从而获得附加值。 对于始终属于AI算法一部分的模型构建,基本上有两种不同的方法。 一种方法是通过公式、传感器数据与所需信息之间的显式关系进行建模。这些方法需要以数学描述的形式提供物理背景信息。这些所谓基于模型的方法将传感器数据与此背景信息相结合,针对所需信息产生更精确的结果。这里最广为人知的示例是卡尔曼滤波器。 如果有数据,而没有可使用数学方程形式描述的背景信息,那么必须选择所谓的数据驱动方法。这些算法直接从该数据中提取所需的信息。它们包含所有的机器学习方法,包括线性回归、神经网络、随机森林和隐式马尔可夫模型。 选择哪种AI算法通常取决于有关应用的现有知识。如果有广泛的专业知识,AI将发挥更大的支持作用,所使用的算法也很初级。如果没有专业知识,所使用的AI算法可能要复杂得多。在很多情况下,由应用定义硬件,从而限制AI算法。 嵌入式、边缘或云实现 包含每单个步骤所需的所有算法的整体数据处理链必须以能够尽可能生成附加值的方式实现。通常在总体层级实现——从具有有限计算资源的小型传感器,到网关和边缘计算机,再到大型云计算机。很明显,这些算法不应只在一个层级上实现。而尽可能接近传感器实现算法通常会更有利。通过这种方式,可以在早期阶段对数据进行压缩和细化,并降低通信和存储成本。此外,通过早期从数据中提取基本信息,在更高层级开发全局算法就没那么复杂。在大多数情况下,流分析区域中的算法也有助于避免不必要的数据存储,由此降低数据传输和存储成本。这些算法只使用每个数据点一次;也就是说,直接提取完整信息,且无需存储数据。 在终端(例如,嵌入式AI)上处理AI算法需要采用嵌入式处理器,以及模拟和数字外设,用于数据采集、处理、控制和连接。处理器还需要能够实时捕获和处理本地数据,以及拥有执行先进的智能AI算法的计算资源。例如,ADI的ADuCM4050基于ARMCortex-M4F架构,提供集成且节能的方法来嵌入AI。 实施嵌入式AI远远不止是单纯采用微控制器。为了加快设计,许多硅芯片制造商都构建了开发和评估平台,例如EV-COG-AD4050LZ。这些平台将微控制器与传感器和HF收发器等组件结合在一起,使工程师无需深度掌握多种技术,就能探索嵌入式AI。这些平台可扩展,使得开发人员能够使用不同的传感器和其他组件。例如,通过使用EV-GEAR-MEMS1Z扩展板,工程师能够快速评估不同的MEMS技术,例如,该扩展板中使用的ADXL35x系列(包括ADXL355)提供出色的振动校正、长期可重复性和低噪声性能,并且尺寸很小。 平台和扩展板(例如EV-COG-AD4050LZ和EV-GEAR-MEMS1Z)的组合让工程师能够基于振动、噪声和温度分析来了解结构健康状况,以及实施机器状态监控。其他传感器也可根据需要连接到平台,以便所使用的AI方法可以通过所谓的多传感器数据融合来更好地估计当前的情况。这样,即可使用更好的粒度和更高的概率,对各种运行状态和故障情况进行分类。通过平台上的智能信号处理,大数据在本地就变成智能数据,使得只有与应用案例相关的数据才会发送至边缘或云端。 平台方法还可以简化通信,因为扩展板可用于实施不同的无线通信。例如,EV-COG-SMARTMESH1Z具有高可靠性、鲁棒性和极低功耗特性,支持适合大量工业应用的6LoWPAN和802.15.4e通信协议。SmartMeshIP网络由负责采集和中继数据的无线节点的高度可扩展、自成型多跳Mesh网络组成。网络管理器监视和管理网络性能及安全性,并与主机应用程序交换数据。 特别是对于电池供电的无线状态监控系统,嵌入式AI可实现完整附加值。通过ADuCM4050中嵌入的AI算法将传感器数据在本地转换为智能数据,与直接将传感器数据传输到边缘或云端相比,数据流更低,因此功耗也更低。 应用 AI算法开发平台(包括为其开发的AI算法)广泛应用于机器、系统、结构和过程控制领域,从简单的异常检测扩展到复杂的故障诊断。通过集成的加速度计、麦克风和温度传感器,可以实现多种功能,例如监测来自各种工业机器和系统的振动和噪音。嵌入式AI可用于检测过程状态、轴承或定子的损坏、控制电子设备的故障,甚至是因电子设备损坏而导致的未知系统行为变化。如果预测模型适用于特定的损坏,甚至可以在本地预测这些损坏。通过这种方法,可以在早期阶段采取维护措施,从而避免不必要的基于损坏的故障。如果不存在预测模型,平台还可以帮助学科问题专家不断了解机器的行为,并随着时间的推移,得出一个全面的机器模型用于预测维护。 理想情况下,通过相应的本地数据分析,嵌入式AI算法应该能够确定哪些传感器与各自的应用相关,以及哪种算法最适合它。这意味着平台具有智能可扩展性。目前,学术专家仍然必须为各自的应用找到理想算法,尽管只需对各种机器状态监控应用进行很少的实施工作,即可扩展AI算法。 嵌入式AI还应对数据的质量作出决定,如果数据质量不佳,就为传感器和整个信号处理找到并进行相应设置。如果采用多种不同的传感器模式进行融合,则使用AI算法可弥补某些传感器和方法的不足。通过这种方式,可提高数据质量和系统可靠性。如果传感器被AI算法划分为与应用不太相关,将相应地控制其数据流。 ADI的开放式COG平台包含可免费使用的软件开发套件以及许多硬件和软件示例项目,用于加速原型创建、促进开发并实现最初的想法。通过多传感器数据融合(EV-GEAR-MEMS1Z)和嵌入式AI(EV-COG-AD4050LZ),可创建稳健可靠的无线智能传感器Mesh网络(SMARTMESH1Z)。 DzianisLukashevich是ADI公司的平台和解决方案总监。他主要关注大趋势、新兴技术、完整解决方案,以及塑造行业未来,并在广阔的市场中变革ADI业务的新商业模式。DzianisLukashevich于2012年加入德国慕尼黑的ADI销售与营销部。他在2005年获得慕尼黑工业大学电气工程博士学位,2016年获得华威商学院工商管理硕士学位。 费利克萨沃2005年获得德国伊梅诺科技大学机械与电子硕士学位,2009年获得卡尔斯鲁厄理工学院计算机科学与技术博士学位。系统。自2011年起,他一直担任知识部总经理,负责传感器集成和自动数据分析算法的开发。

    时间:2020-10-15 关键词: 嵌入式 AI 数据

  • Facebook旗下的这项应用非法收集用户的生物识别数据?

    Facebook旗下的这项应用非法收集用户的生物识别数据?

    2020年8月12日,有人指控Facebook旗下的图片分享应用Instagram,称该应用非法收集用户的生物识别数据,侵犯了用户们的隐私安全。 据报道,据一份提交给当地法院的诉讼相关材料显示,Facebook被指控未经用户知情或同意,收集、存储1亿多Instagram用户的生物识别数据,并从中谋利。 诉讼相关材料还显示,该行为违反了伊利诺伊州的一项隐私法,该法律禁止未经授权的生物识别数据行为。Facebook仅从今年年初才告知Instagram 用户,其正在收集用户的生物识别数据。 截至发稿时,Facebook尚未对此回应。 公开资料显示,2020年7月底,因未经授权使用人脸识别,Facebook 同意支付一笔总计 6.5 亿美元的赔偿,借此达成和解。 和解协议显示,伊利诺伊州所有在 2011 年之后,在 Facebook 网站上出现照片的用户,都将获得200 至 400 美元的赔偿。

    时间:2020-09-26 关键词: 生物识别 facebook 数据

  • 揭秘寻宝之旅,“魏”来与您同行

    揭秘寻宝之旅,“魏”来与您同行

    在充满不确定性的庚子年,如约而至的美好格外珍贵。2020年9月15-19日在上海国家会展中心如期开展的工博会盛况,恰如其分的印证了人们对这份美好的珍视。 而作为重量级展商的魏德米勒更别出心裁,以探营寻宝为线,穿插抽奖、直播等活动,带现场观众开启了一场元气满满的寻“宝”之旅。 那在魏德米勒的展台究竟隐藏了哪些元气宝藏,又有怎样的独到之处呢?今天让我们一起重温工博会,揭秘寻宝之旅~~~ IT/OT融合之宝——魏德米勒幸运摩天轮(PLC demo机) 如果要在魏德米勒工博会的寻宝之旅中找一颗最亮的星,那完美诠释IT与OT融合之美、并兼具互动和趣味性的魏德米勒幸运摩天轮自动化抽奖机当之无愧。 魏德米勒幸运摩天轮自动化抽奖机的整个设备控制方面,简单而直观地展现了IT融合OT的过程。设备控制主要分为电控柜和网络通信两大部分:电控柜采用魏德米勒u-create studio系列PLC,进行机械运动控制;网络通信部分则是将扫码收集的客户信息存储到云端,再由云端与PLC方面通讯来控制观众的抽奖权限。 以系统方案的角度来看,魏德米勒为其提供了从分布式IO产品u-remote、集成IoT功能的自动化控制器u-control,到工业安全路由器u-link和开放式工程平台u-create studio的一整套软硬件融合平台,将OT和IT层面都可以完全打通。 对于IT与OT的融合,数据是关键。通过数据的互联互通,魏德米勒幸运摩天轮自动化抽奖机实现了客户信息的收集,PLC控制器可以与云端进行数据通信,也可以将数据存放到云端,最终可以采用EXCEL表格形式下载保存,这就大大简化了展会名片收集以及后期客户信息整理的工作。 当然,这一应用完全可以推广运用到工厂中,例如对现场设备的数据储存备档,不再受距离以及环境的限制,实现真正的数据共享。 互联互通之宝——电气联接解决方案 魏德米勒素有电气联接专家之称,在如此重要的展会中实现万物互通的电气联接解决方案怎可缺席?而在群星璀璨之中,基于IO-Link的电源系统PROtop和 topGUARD,以及刀片端子重载解决方案尤为耀眼。 基于IO-Link的电源系统PROtop和topGUARD,基于持续可靠的设备理念,具备云联接、远程控制等前瞻性设计,同时具有强大的动态峰值负载驱动能力,并对负载进行智能监控。可以说在工业电源方面,魏德米勒的智能化创新脚步从未停歇。 创新、高效的刀片端子重载解决方案是魏德米勒在电气联接领域的又一创新之作,它将接线端子和重载接插件完美结合在一起,无需使用端子排,其带来的高效接线和安装空间节省优势是显而易见的。在工程效率的提升和降低工程成本方面,魏德米勒可谓不遗余力。 集成高效之宝——工作场所解决方案 作为圈内人,对于满足各种需求的设备解决方案都非常熟悉,可您知魏德米勒的工作场所解决方案吗?在工博会上,魏德米勒展示了创造性的工作场所解决方案,凭借强大的电气工程技术能力,为工程师们提供智能化的工作场所解决方案,覆盖从规划、安装到操作的一整套流程。在规划阶段,魏德米勒提供标识软件、半自动线束加工中心和智能设计软件WMC等;在安装阶段,魏德米勒能提供全系列手动安装工具、线束加工机器等;在操作阶段,还进一步提供测试测量工具实现可靠的故障诊断支持。 这一解决方案将模块化的自动化硬件、创新工程软件和数字化解决方案结合,甚至实现了从传感器到云端的智能联接,是名副其实的集成高效之宝。甫一面世,便获得了广泛的工程师好评。 智能典范之宝——工业分析 在越来越多的工业设备具备了基本的联网功能之后,数据的价值也得以挖掘。魏德米勒护航设备运维、持续发掘数据价值的宝物正是其工业分析解决方案。 在智能制造的大潮中,预测性分析和智能运维一直是一个热点,由于疫情原因更是受到了市场追捧和用户的青睐。作为这一领域的典范之作,魏德米勒工业分析软件能充分发挥预测优势,既可实现高级能源分析,亦能做设备行为分析。 其中,高级能源分析可预测负荷峰值并识别节能潜力,实现能耗水平可视化、超时检测最小化能耗等功能,并可通过负荷峰值管理降低成本。 而设备行为分析则通过分析设备行为并预测故障,优化设备性能和生产流程、从数据中识别设备行为模式、基于附加信息的设备能力优化;减少故障停机时间,实时识别异常,快速诊断和告警,降低维护和服务成本;预测早期故障,动态规划维护周期,提高设备可用性,提高产能。 怎么样,魏德米勒这段惊喜频现的寻宝之旅足够惊艳吧?然而这还不是全部哦! 魏德米勒不仅要让现场观众收获满满,也要照顾未能现场参观的朋友们。展会期间每天两场、共计八场直播活动,多平台放送,带更多展外朋友云观展。其中两场更是邀请了行业协会专家一起共话行业发展和产业进步的相关话题,使得智能蓝图更加具象,未来之路更加清晰! 短短5天的展会,转瞬即逝,道不尽的友好、论不完的话题仍在耳畔;认真聆听的侧颜、探秘成功的兴奋尤在眼前!展会落幕是惜别亦是开始:惜别工博会,开始独属于您与魏德米勒的寻“宝”之旅!

    时间:2020-09-22 关键词: 工博会 魏德米勒 数据

  • “AI写手”火了!大学生用GPT-3写“鸡汤文”,骗过一堆人登上科技头条

    “AI写手”火了!大学生用GPT-3写“鸡汤文”,骗过一堆人登上科技头条

    GPT-3是OpenAI语言人工智能模型,由1750亿个参数组成。总部位于旧金山的OpenAI研究实验室今年5月开始逐步推出了该模型,并引起越来越大的反响。这个庞大的语言模型几乎可以胜任所有可以用文字表达的工作:从回答问题、写文章、写诗歌、甚至写代码……无一不包。那么,现实中它究竟有多厉害呢? 最近,国外一名刚入门GPT-3不久的伯克利大学生利亚姆·波尔(Liam Porr),以一个假名,然后用人工智能模型建了一个完全假的博客。不过,这却成功“骗倒”了一大批内容阅读者。 这个充满讽刺性和欺骗性的“AI把戏”很快骗过了Hacker News等科技极客圈子,然后真相曝光—;—;瞬间成为了热点话题—;—;这么多人怎么就被一个完全由AI搭建起来的所谓“博客”给诓了?居然还有不少人“订阅”了上面的消息? 尽管许多人猜测到目前为止超强大的语言生成AI工具—;—;GPT-3会如何影响内容生产,但这种“以假乱真”的程度和效果是他们始料未及的。这是目前唯一一次GPT-3如此真实地展示自己的实力,足以说明这一工具的应用潜力。 在加州大学伯克利分校(University of California, Berkeley)学习计算机科学的波尔说,这次经历中最突出的一点是:“实际上,它超级简单,这是最可怕的部分。” 登上头条狂涨粉的“AI鸡汤文” 虽然GPT-3还没有彻底开放,但波尔却依然轻轻松松获取了接口。波尔提交了一份申请。他填写了一张表格,里面有一份关于他打算使用的简单问卷。但他也没有等上多少时间。在联系了伯克利的人工智能社区的几名成员后,他很快找到了一名已经有此权限的博士生。 这个博士生同意合作后,波尔很快就写了一个小脚本让他运行。它给了GPT-3一个博客文章的标题和介绍,并给出了几个完整的版本。Porr的第一个帖子(在Hacker News上发布的那个)和之后的每一个帖子都是从一个输出中复制粘贴过来的,几乎没有编辑。 他说:“从我想到这个想法并与那个博士生取得联系,到我真正创建了这个博客—;—;这大概只花了几个小时。” 波尔用假名字“adolos”写的第一篇假博客,居然顺顺利利就登上了YC新闻平台Hacker News热门榜第一名!波尔说,他使用了三个独立的账号在Hacker News上提交并投票,试图把他的帖子推得更高。管理员说这个策略不起作用,但他的点击率标题起作用了。 不需要太多编辑就能生成内容的诀窍是—;—;理解GPT-3的优缺点。波尔说:“它很擅长创造漂亮的语言,但不太擅长逻辑和理性。”因此,他选择了一个不需要严格逻辑的流行博客类别—;—;“鸡汤文”,这样就能实现高效和自助式的产出。 然后,他按照一个简单的公式来写他的标题:他在Medium和Hacker News上翻来翻去,看看在这些类别中发生了什么,然后把一些相对相似的东西放在一起。《感觉生产力不高?也许你应该停止思虑过多》“”(Feeling unproductive? Maybe you should stop overthinking)他为其中一篇文章写道。《大胆和创造力胜过智慧》(Boldness and creativity trumps intelligence),他又在另一篇文章中写道。有几次,这些标题并没有起到作用。但只要他坚持正确的话题,这个过程就很容易实现,“鸡汤文”成功地帮着博客蹭蹭蹭狂涨粉。 两周后,他几乎每天都发帖子。随后不久,Hacker News上就有人指责波尔的博客文章是GPT-3写的。另一名用户却回应说,这条评论“不可接受”。甚至有读者读后留言称,“好文!和Ethan Hawke在Ted的演讲一样深刻!”对波尔的假博客持怀疑态度的少数人,居然就这样被社区的其他成员投了反对票,妥妥证明了并非“大众的眼睛都是雪亮的”。 一大部分人愣是没看出来文章不是人类写的,Medium、YC的新闻平台等多家平台都转载刊发了他的第一篇博客、他的博客居然还疯狂涨粉人气居高不下……这让小哥波尔开始感到不淡定了,不过他自己也感到非常惊讶。 波尔说,他想证明GPT-3可以冒充人类作家。事实上,尽管该算法的书写模式有些奇怪,偶尔也会出现错误,但在他在Hacker News上发表的最重要的帖子上,只有三四个人怀疑该算法可能是由某个算法产生的。而且,所有这些评论都立即被其他社区成员否决。 最后,波尔以一条自己写的神秘信息结束了这个项目。标题为《如果我没有道德,我将如何对待GPT-3》,文章将他的过程描述为一个假设。同一天,他还在自己真正的博客上发表了一篇更直白的自白,澄清曝光了“假博客”的始终。 AI语言工具引发担忧与思考 根据OpenAI的算力统计单位petaflops/s-days,训练AlphaGoZero需要1800-2000pfs-day,而OpenAI的GPT-3用了3640pfs-day,看来拥有微软无限算力的OpenAI,现在真的是为所欲为了。 对于专家来说,这一直是这种语言生成算法引起的担忧。自从OpenAI首次发布GPT-2以来,人们就猜测它很容易被滥用。而GPT-3已经成为OpenAI迄今为止推出最新、最大的AI语言模型。在自己的博客文章中,该实验室重点关注了人工智能工具作为大量制造错误信息的武器的潜力。其他人则想知道是否可以用它来大量发布谷歌游戏相关关键词的垃圾帖子。 去年2月,OpenAI的GPT-2(该算法的早期版本)登上了新闻头条,OpenAI宣布将保留该版本,以防被滥用。这一决定立即引发了强烈反响,研究人员指责该实验室在“搞噱头”。到了11月,该实验室终于改变了立场,发布了这个模型,当时还言之凿凿地称“到目前为止没有发现滥用的有力证据”。这不,这回“翻车”翻得有点厉害了。 该实验室对GPT-3采取了不同的方法;它既没有拒绝,也没有允许公众访问。取而代之的是,它将算法提供给了那些申请私有测试的研究人员,目的是收集他们的反馈,并在今年年底将这项技术商业化。 波尔说,他的实验还展示了一个更平凡但仍然令人不安的选择—;—;人们可以使用该工具生成大量的点击诱导内容。他说:“很有可能会出现大量平庸无质量的博客内容,因为现在进入的门槛太低了。”“我认为在线内容的价值将大大降低。” 波尔计划用GPT-3做更多的实验。但他仍在等待OpenAI的介入。他说:“他们可能对我的所作所为感到不满。”“我是说,这有点傻。” 背后的“AI大法”OpenAI 在成立的短短四年时间里,OpenAI已经成为全球领先的人工智能研究实验室之一。与Alphabet旗下的DeepMind等其他人工智能巨头一样,谷歌不断推出引人注目的研究成果,并因此成名。它也是硅谷的宠儿,创始人包括埃隆·马斯克(Elon Musk)和传奇投资者山姆·奥特曼(Sam Altman)。 最重要的是,它因其使命而受到推崇。它的目标是成为第一个创造人工智能的机器—;—;一个具有人类思维的学习和推理能力的机器。其目的不是统治世界;相反,该实验室想要确保这项技术是安全发展的,并且它的好处能均匀地分配给全世界。 这意味着,如果AGI技术的发展遵循阻力最小的道路,那么它很容易失控。围绕在我们身边的那种笨拙的人工智能,就是一个例子。问题是,AGI一直都很模糊。该领域内的共识是,这种先进的能力将需要几十年,甚至几个世纪的时间—;—;如果真的有可能发展它们的话。许多人还担心,过分追求这一目标可能会适得其反。 大多数人第一次听说OpenAI是在2019年2月14日。那天,实验室宣布了一项令人印象深刻的新研究:只需按下一个按钮,就可以生成令人信服的论文和文章。 但也有一个问题:研究人员说,这种被称为GPT-2的模型释放起来太危险了。如果这样强大的技术落入坏人之手,就很容易被“武器化”,制造大规模的虚假信息。这立即引起了科学家们的强烈反对。 在持续不断的炒作指控中,OpenAI坚称GPT-2不是噱头。更确切地说,这是一项经过深思熟虑的实验,经过一系列内部讨论和辩论后达成一致。大家一致认为,即使这次的行动稍微有点过火,但它将为处理更危险的研究开创先例。 但OpenAI与GPT-2的媒体宣传活动也遵循了一种成熟的模式,这种模式让更广泛的人工智能社区产生了怀疑。多年来,该实验室的重大、引人注目的研究公告一再被指责助长了人工智能的炒作周期。批评人士还不止一次地指责该实验室大肆宣扬其研究结果,甚至达到了错误描述的地步。出于这些原因,该领域的许多人都倾向于保持一定的距离。 GPT-2引发如此强烈的反弹还有另一个原因。人们觉得OpenAI又一次违背了它之前关于开放和透明的承诺,并走上了营利的道路。未公开的研究让人们更加担忧和怀疑—;—;会不会是这项技术一直处于保密状态,为将来获得许可做准备?但是人们并不知道,这不是OpenAI唯一一次选择隐藏它的研究。

    时间:2020-09-15 关键词: 人工智能 AI 数据

  • 数字式超声波探伤仪中高速数据采集模块技术

    数字式超声波探伤仪中高速数据采集模块技术

    数字式超声波探伤仪中高速数据采集模块技术 由于超声波检测具有穿透力强,检测灵敏度高等优点,因而在航空航天、冶金造船、石油化工、铁路等领域起着广泛的作用。一般采用超声无损检测技术的超声探伤仪有模拟式和数字式之分,随着计算机技术、微电子技术及数字信号处理技术的发展,传统的模拟式超声探伤仪正逐渐被功能先进的数字式超声探伤仪所取代。   超声波的回波信号是高频信号,其中心频率最高达到20 MHz以上,常用的超声波探头中回波信号的频率一般为2.5~10 MHz,要使这样的高频信号数字化,系统就对模/数转换电路提出了很高的要求。根据Shannon采样定理和Nyquist采样准则,在理想的数据采集系统中,为了使采样信号不失真地复现输入信号,采样频率至少是输入信号最高频率的两倍。在实际使用中,为保证数据采集的准确度,应增加在每个输入信号周期内的采样次数,一般每周期采样7~lO次。有些系统对采样信号频率的要求更高。现有的模/数转换电路方案在可靠性、功耗、采样速度和精度上都存在诸多不足,不能满足某些实际情况的需要,而大规模集成电路技术的发展为设计高速、高精度、高可靠性、低功耗的超声信号采集方案提供了可能性。本文设计了一种采样速率达100 MHz的超声波采集模块,并通过FPGA对采样数据进行压缩后进行数据缓存。   1 数字式超声探伤仪原理   数字式超声探伤仪结构框图如图1所示   数字化超声探伤仪一般包括超声发射单元、超声接收单元、信号调理单元(包括放大、检波、滤波等模拟信号处理环节)、模数(A/D)转换单元、数据缓冲单元、数据处理单元、波形显示单元以及系统控制与输入/输出单元(包括通信、键盘操作、报警等)。本文主要讨论数字式超声探伤仪中高速采集的关键技术与实现方法,涉及到A/D转换单元和数据缓冲单元。   2 高速度、高精度采样硬件结构   2.1 数据采集模块的结构框图   图2给出本文数据采集模块的硬件结构框图,它由高速A/D数据转换器、FPGA、时钟电路、复位电路及电源电路组成。其中,A/D数据转换器负责对模拟信号进行采集转换;FPGA负责采集控制、数据压缩及数据缓冲。下面对A/D数据转换器及FPGA进行介绍。   2.2 AD9446简介   AD9446是一种16 b ADC,具有高达100 MSPS的采样率,同时集成有高性能采样保持器和参考电压源。同大多数高速大动态范围的ADC芯片一样,AD9446也是差分输入,这种输入方式能够很好地抑制偶次谐波和共模信号的干扰。AD9446可以工作在CMOS模式和低电压差分信号(LVD-S)模式,通过输出逻辑控制引脚进行模式设置。另外,AD9446的数字输出也是可选择的。可以为直接二进制源码或二进制补码方式。在实际电路的PCB设计中,由于AD9446是对噪声敏感的模拟器件,所以在具体PCB设计时需做到以下几个方面:A/D模拟电源单独供电,模拟地与数字地单点接地,差分输入线等长,采用精确的参考电压源等。   2.3 采集控制、数据压缩及数据缓冲的FPGA实现   FPGA主要实现整个模块的数据采集控制、数据压缩及数据缓冲等功能。文中FPGA采用Xilinx公司的Spartan3E系列(XC3S500E)。这款FPGA芯片功能强大,I/O资源丰富,能够满足很多实际场合的需要。下面对其中数据采集控制、数据压缩及数据缓冲FIFO的设计做出介绍。   2.3.1 数据采集控制   AD9446芯片的控制时序与传统的低速A/D有所不同,它完全依靠时钟来控制其采样、转换和数据输出。AD9446通常在CLK第一个时钟的上升沿开始采样转换,并在经过延迟tpd后,开始输出数据。而数据则在第13个时钟到来时才出现在D15~D0端口上。图3是AD9446工作在CMOS模式下的时序图。   数字时钟管理单元(DCM)是FPGA内部管理、掌控时钟的专用模块,能完成分频、倍频、去抖动和相移等功能。通过FPGA的DCM可以很方便地对AD9446的时钟输入信号进行掌控。在实际电路中需要注意的是要做到DCM倍频输出的时钟信号与AD9446的时钟输入信号保持电平匹配。   下面给出调用DCM后时钟输出的VHDL语言描述:   2.3.2 数据压缩   数据压缩处理是对射频信号高速采样后进行前置处理的重要环节之一,需要在保持超声回波信号基本特征前提下对采样数据进行在线压缩,而且要求压缩后的数据与原始采样信号的包络相吻合。为此,在每次压缩过程中,只取采样所得的最大值,而舍弃其他采样值。FPGA将计算所得采样数据的压缩比、探头前沿延时计数值等数据送入相应的锁存器,然后发出时序复位命令并发射,启动探头延时计数,延时到后启动A/D采样,同时压缩比计数器开始计数,在时钟信号的控制下,每采样一次,压缩比计数器减1,并将当前采样值与前次采样值比较,如大于则保存,否则舍弃,直至压缩比计数到零后,得到一个有效的采样数据。同时压缩比计数器自动复位,重新开始计数,其工作流程如图4所示。   2.3.3 数据缓冲   为了解决前端数据采集与后端数据传输在速率上的不匹配问题,在FPGA内部设置一块数据缓冲FIFO,大小为8K×16 b,压缩后的数据直接存储到FIFO中,而微处理器对FIFO中数据的读取通过中断方式完成。数据缓冲FIFO通过core generator例化,只需要少量的读/写控制逻辑就可以使FIFO正常工作,而且FIFO的大小可以在FPGA提供的RAM位数范围内灵活设置。下面给出例化后的FIFO的VHDL语言描述:   保存在FIFO中的数据通过这些逻辑控制端口便于微处理器对其进行读取、清零等操作。   3 结语   设计的基于AD9446的数据采集模块采用FPGA实现数据采集控制、数据压缩及数据缓冲等功能,简化了硬件电路,提高了模块的可靠性和稳定性,并有利于模块的功能升级。同时采用高速高精度模/数转换器满足了数字式超声波探伤系统对数据采集精度方面的要求。另外,FP-GA对数据进行的预处理,方便了微处理器对数据的调用和后处理。

    时间:2020-09-10 关键词: 超声波 探伤仪 数据

  • 关于云计算的10个常见问题解答

    关于云计算的10个常见问题解答

    人们可以通过一些常见问题解答来学习云计算的基础知识,并比较不同类型的云平台,并了解将如何使用它们。 云计算技术的应用日益广泛,但人们仍然存在一些误解。人们需要更好地了解它的全部含义。 1.什么是云计算? 云计算是一种交付模型,可以提供对计算机资源(包括CPU、存储、网络和其他托管软件服务)的高度可扩展的按需访问。 2.云计算的类型是什么? 云计算可以是公共云或是私有云。公共云平台(例如AWS和Microsoft Azure)将资源集中在分布在全球各地的数据中心,用户可以通过公共互联网访问它们。这些资源通过计量服务提供给客户,云计算供应商负责不同程度的后端维护。 私有云被托管在企业数据中心或托管数据中心设施中。虽然其功能不如大规模的公共云。但它们确实有一定的弹性,企业的开发人员和管理人员仍然可以使用自助服务门户访问资源。从理论上来说,私有云提供了更好的控制和安全性,但这需要企业的IT团队的努力。 云计算部署模型包括私有云、公共云、两者的混合,以及多个云平台的组合。也可以将公共云和私有云链接以创建混合云,或者可以将两个或多个公共云连接以创建多云架构。 广义上来说,云计算也分为三层:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。基础设施即服务(IaaS)适用于基础构建块,例如计算、网络和存储。它为应用程序开发提供了很大的灵活性,但同时也需要很大的开销;平台即服务(PaaS)抽象化了这些较低层的元素,并为应用程序开发人员提供了沙箱环境。通常不需要更多实际操作的云计算模型的软件即服务(SaaS)由作为Web应用程序交付的许可软件组成。 3.云计算的好处是什么? 云计算降低了IT运营成本,因为云计算提供商管理底层基础设施,其中包括硬件和软件。这些托管组件通常比标准的企业数据中心更可靠、更安全。这些优势使IT团队可以将精力集中在使业务更直接受益的工作上。 云计算还具有全球性、便利性、巨大的可扩展性,并且易于访问的优势,所有这些特性加快了创建和部署软件应用程序的时间。它使企业可以使用一系列新服务,这些服务可以实现应用程序架构和使用中很流行的趋势,其中包括微服务、容器、无服务器计算、机器学习、大规模数据分析、物联网等。 4.云计算的缺点或风险是什么? 尽管企业IT团队因为不再建设数据中心或购买设备而通过将业务迁移到云平台降低资本支出,但他们也在预算中增加了大量的运营支出,通常足以抵消大部分或全部运营成本。如果IT团队无法适应,复杂的定价和安全模型也可能导致重大问题。 IT团队通常必须学习新技能或雇用员工来使用云服务,并且在灵活性和对某些云资源的控制方面存在限制。 5.云计算安全吗? 云计算通常比大多数私有数据中心更安全,因为亚马逊和谷歌等公司可以聘请行业专家进行管理,并使它们的许多实践实现自动化。云计算基础设施提供商还提供工具和架构选项,以隔离工作负载、加密数据并检测潜在威胁。 云计算应用程序的优势包括响应能力、可扩展性、数据安全性和降低的成本。但是,公共云在共享责任模型上运行,用户可以在其中保护托管在云上的数据和应用程序。各种安全责任的划分因云计算的层次而异。 保护云计算环境的过程不同于传统的数据中心实践,因此云计算的采用需要IT团队学习。未经授权访问资源是最常见的云安全威胁,错误配置也会导致敏感数据大量泄露。 企业还必须注意数据驻留要求和其他治理限制,因为它们无法精确控制将数据托管在云中的服务器的位置。 6.如何制定云计算战略? 在云计算的早期,大多数企业使用情况都是临时性的,这是由希望围绕传统IT采购流程的开发人员和业务部门推动的。如今,企业必须制定整体战略以成功迁移到云平台。企业可以将具有云计算经验的关键利益相关者和员工组合在一起,这一设置也称为优秀云中心,可以根据业务目标制定战略。 此外,云计算战略应包括一个决策框架,以识别工作负载特征以及这些特征如何迁移到云平台。IT领导者和云计算架构师必须评估风险和收益,并确定他们将如何管理和保护基于云计算的工作负载,以及这些工作负载是否或如何与剩余的内部部署资产交互。 7.如何为云计算做好业务准备? 企业执行云迁移策略通常需要一年多的时间,即使这样,这仍是一个持续的过程。沟通对于成功至关重要,可以使利益相关者保持定期了解情况,并确保IT成为企业更广泛的决策过程的一部分。确定哪些领导者可以宣传云计算的使用,并确保为员工进行正确的过渡培训。 8.可以将哪些工作负载迁移到云端? 实际上,任何工作负载都能够迁移到云中,但并非所有负载都应该迁移到云中。持续运行、负载相对一致、可预测的大型单片应用程序通常在内部部署数据中心运行更具成本效益。此外,由于治理和数据安全问题,受到高监度管的企业往往将应用程序和敏感数据保存在其私有数据中心中。 企业可以按原样将应用程序移动到云平台上,但这通常不是优秀的选择。企业通过云迁移来重新评估其IT架构,并确定更高的效率。可以将应用程序拆分为微服务,以利用IaaS基于服务的方法。或者向PaaS或SaaS转移可以减轻无差别的繁重工作。 9.云计算的成本是多少? 公共云按使用量收费,因此其成本会因多个变量而不同,其中包括环境的大小、云计算服务、运营的区域、数据移动的数量,以及消耗的高级服务的数量。主要的公共云提供商还制定了定价方案,可以降低成本以换取某些长期承诺。 关于云计算成本和内部部署数据中心的成本相比是否更低还存在一些争论,但是这没有抓住重点。云计算可以帮助企业及其IT部门实现现代化,并将IT人员从其作为守门者的典型角色转变为业务决策过程中的关键参与者。 10.企业的IT员工需要进行哪些培训来管理云计算服务? 这取决于所使用的云堆栈的层。对于基础设施即服务(IaaS),管理员必须管理作为服务交付的虚拟环境的所有方面。企业使用的云堆栈越高,涉及的管理越少。对于软件即服务(SaaS),其监督可能仅限于数据、身份和访问管理。 主要的云提供商和第三方提供培训和认证,以使IT员工熟悉这些流程。计划将业务过渡到云平台的企业应将培训纳入流程的各个方面,以便他们准备在其云平台投入使用之后立即掌控局面。

    时间:2020-09-09 关键词: 云计算 云安全 数据

  • 数据高速传输协议的研究

    数据高速传输协议的研究

    1 前言 结合航天应用中高速通信数据处理器的需要,阐明应用Data-Strobe编码进行帧数据传输的好处及特点,对Data-Strobe编解码技术进 行详细介绍,并且给出基于FPGA的解码算法。整个设计在高速数据传输中有很广的应用前景,对工程设计有一定的参考价值。 2 DS编码的特点   DS编码是一种高速数据传输方案。美国IEEE 1355-1995 和IEEE 1394-1995(Firewire)标准 应用了这一方案。欧空局SpaceWire ECSS-E50-12A标准 也采用了这一方案。事实上,DS编码传输方式在高速数据传输中有广阔的应用空间,特别是在星载、飞船载电子设备的数据传输中表现出了抗干扰性强、易于实 现、可靠性高的特点。   图1 数据-时钟传输方式信号时序图   传统的数据-时钟传输方式是在发送一路数据信号的同时发送出一路时钟信号,接收方根据接收到的时钟来提取数据。如图1所示,这种传输方式的容错范围 是0.5比特时间。在传输过程中,如果受到外界温度等环境因素造成的干扰使数据与时钟传输时间不能严格同步,如果过传输中信号偏差超过0.5比特,则会造 成误码。   DS编码方式传输的是一路数据信号(DATA)和一路选通信号(STROBE)。应用DS编码,将时钟信号和数据信号进行编码,输出数据信号和选通信号。这样在接收端可以通过对数据和选通两路信号进行简单异或操作来恢复时钟信号。在数据传输中,如果数据信号前后接连两个比 特的值相同,选通信号的状态在传输后一个比特时改变,如果数据信号接连传送的两个比特值不同,那么选通信号在这两个比特时间里保持不变。即在任意两个连续比特数据的间隔处,数据信号与选通信号中只有一个改变状态。如图2所示,相比传统的数据-时钟方式0.5比特时间的容错范围,应用DS编码可将容错范围提高到1比特时间。   图2 Data-Strobe编码信号时序图  

    时间:2020-09-09 关键词: 数据

  • 在Android设备上备份数据

    在Android设备上备份数据

    在很多情况下,需要对设备进行保护。 无论是更新ROM还是安装棘手的mod,拥有可靠且可靠的应用程序以将设备固定在应用程序抽屉中始终至关重要。 由XDA论坛成员lanx引入,以确保您的手机安全。 备份您的手机是一个简单而实用的应用程序,允许用户在Android设备上备份整个范围的数据。通过提供简单易用的用户界面,Backup Your Mobile可以备份联系人,呼叫日志,SMS和系统设置以及许多其他选项。但是,必须强调的是,该应用程序不会备份应用程序。用户可以使用选项来启用自动备份功能,以调整备份频率和备份开始时间。备份您的手机还支持备份到云服务(即Google Drive和Dropbox),因此备份不会占用设备或其外部存储设备的宝贵空间。该应用程序不仅上传到云存储,还支持反向下载,允许用户从选定的云下载以前上传的备份。 借助“备份您的手机”,lanx无疑为许多用户开发了一款实用实用的应用程序。因此,如果您是Android 2.2或更高版本的用户,并且对“备份您的手机”感兴趣,则可以从Play商店免费下载该应用,并在原始主题中获取更多详细信息。

    时间:2020-09-07 关键词: Android mod 数据

  • 富士通参与开发 智能手机也能做美容助手

      Tensilica日前宣布,Tensilica和mimoOn日前宣布联手推出业内唯一完整的可授权软硬件IP解决方案用于LTE(长期演进)和LTE-A芯片设计。按双方合作协议,Tensilica将是mimoOnLTE UE(用户设备)和eNodeB(基站)物理层(PHY)软件产品的唯一DSP IP供应商。   两家公司已经合作多年并在过去三年的全球移动大会上展出了联合开发的LTE解决方案。mimoOn ‘smi !SmallCellPHY™,mi !MobilePHY™和mi !SmallCellSTACK LTE eNodeB™等软件产品都已经专门针对Tensilica的ConnX基带引擎(BBE)处理器以及ConnX DPUIP核进行了优化。客户可以获得mimoOn完整的LTE软件包、产品支持和设计服务,由此减少设计风险、缩短上市时间并实现设计产品的高度差异化。   Forward Concepts 公司总裁兼著名DSP分析师Will Strauss表示:“本次合作协议意义非凡,mimoOn的软件被业界广泛认可,Tensilica的DSP也已经在LTE芯片中开始出货。对于打算进入LTE或LTE-A市场的公司,现在摆在面前的,是一套全面的软硬件解决方案。”   Tensilica总裁兼CEO Jack Guedj表示:“在多核子系统上移植完整的物理层软件是确保IP核及子系统良好运行的唯一途径。通过与mimoOn的合作,Tensilica将可提供完整的软硬件物理层解决方案。通过双方紧密合作,我们不仅可以保证供应给客户的IP核心和LTE子系统能有效处理LTE / LTE-A信号处理和控制任务,而且还能帮助客户加快芯片的上市时间并实现LTE和LTE-A通讯设备的最低功耗和最小面积,mimoOn一直都是LTE物理层行业的领先者,为手持设备和无线通讯基站提供最完整的可授权软件IP和设计支持。”   mimoOn CEO Dirk Friebel表示:“我们之所以选择Tensilica作为合作伙伴,是因为其DSP IP核具备高性能及低功耗和小面积的优点,Tensilica硬件解决方案获得了客户的广泛认可,其 BBE系列DSP以及特别功能DSP核是手持设备和基站应用的理想处理器,为通信市场带来了低功耗和高度可编程的解决方案。”

    时间:2020-09-07 关键词: 智能手机 云服务 数据

  • 如何充分利用云缓存设备和网关

    如何充分利用云缓存设备和网关

    云存储缓存可以减少性能降低的延迟。了解这些设备的工作方式,替代方法,按需功能和各种可用产品。 企业越来越多地将IT基础设施从内部部署系统转移到云服务。这样,他们面临着分布式系统设计人员熟悉的问题:很大限度地减少了将应用程序和用户与数据分离时的性能下降。即使组织全力以赴地使用云计算基础设施并将应用程序和存储放在同一云区域中,也无法避免这种降低性能的云延迟,因为员工仍然必须在访问文件共享和数据库之前遍历全球互联网。 无论是在处理器芯片上还是在企业IT环境中,数据延迟的典型解决方案都是缓存和同步。使用这些技术,可以将经常访问的信息复制到内部部署存储库,并将本地更改自动复制到中央存储位置。 存储缓存在云平台中采用多种形式。一种通用的方法是一种类似于小型NAS阵列的云缓存设备,该设备定期与作为权威数据源的一个或多个云存储服务同步。 云缓存技术如何工作 有几种可用的云存储缓存设备。最主要的实现方式使用内部部署硬件或虚拟设备,该硬件或虚拟设备连接到至少一个驻留在云端的虚拟网关,并提供通向一个或多个云计算对象、文件或块存储服务的管道。这些设备可以在单个群集内和多个远程位置并行使用。他们创建了一个分布式存储系统,其中包含多个企业数据中心、边缘位置和托管存储服务的IaaS区域。 云缓存系统有时也称为混合存储网关设备,以强调其作为内部部署和云计算基础设施之间桥梁的作用。正如调研机构Gartner公司定义所指出的那样,与其他嵌入式缓存一样,这些设备根据设备和应用程序拦截文件、块或对象存储I/O。他们使用缓存管理算法,通常是最近最少使用或自适应替换缓存算法,来最大化缓存命中率并最小化外部数据流量。当从云中检索缓存未命中(不在缓存中的数据)时,设备还使用数据压缩算法(例如压缩和重复数据删除)以及WAN优化软件来提高性能,并很大程度地减少延迟。 AWS Storage Gateway是支持多种存储类型和后端云服务的混合网关的示例。 云存储缓存替代品 云缓存技术有两种变体,它们不充当纯粹的本地缓存: 云存储网关就像没有本地存储的缓存设备。它通常实现为虚拟设备,可作为虚拟机(VM)运行,并向本地用户公开NFS和SMBNAS文件协议或块接口(例如iSCSI),并将数据写入云对象存储服务。鉴于虚拟机(VM)服务器上本地存储的低成本以及本地缓存的显著优势,几乎没有剩余产品可以充当纯网关。 分布式文件系统为企业提供了可跨多个群集和多个位置的类云对象存储的企业实施。某些产品也可以部署在AWS等云计算基础设施上,从而使文件系统能够跨越私有和公共资源,并能够在需要时扩展云计算的额外容量。分布式文件系统提供了几乎无限的可扩展性,无中断的容量扩展、静态和传输中的数据加密,具有地理分布的复制的高可用性以及用于文件和对象存储的单个全局名称空间。一些产品还包括备份和存档模块,用于定期将数据复制到云存储库,并将未使用的数据或冷数据迁移到低成本的云存储服务,例如Amazon Glacier。 云缓存设备市场和产品 云存储网关和缓存设备的市场与企业广泛采用云服务的同时正在增长。调研机构Zion Research公司估计该市场的销售额约为30亿美元,每年以30%的速度增长,到2023年将达到近72亿美元。一些大型企业IT供应商专门从事混合云存储软件,例如Ctera Networks和Panzura。 以下列表并不是详尽的产品指南。但是包括流行的云网关缓存产品。 AWS Storage Gateway可以用作将本地系统与AWS存储资源连接的虚拟设备或硬件设备。它支持对S3资源的文件(SMB或NFS)、卷(iSCSI)和磁带(虚拟磁带库)访问。该软件设备需要一个具有四个vCPU、16GBRAM和80GB磁盘空间的虚拟机,用于图像和系统数据。硬件设备是双处理器Dell EMC PowerEdgeR640服务器,具有128GB内存和四个用于缓存的2TBSSD硬盘。 Ctera NetworksLtd.有一套包含三个软件产品的套件,它们共同构成了一个混合存储体系结构。它们包括用于核心云服务和系统管理的CteraPortal,用于本地服务器的Ctera EdgeFiler和用于远程客户端的Ctera Drive。Ctera软件可以作为虚拟设备使用,也可以与五种系统配置之一捆绑在一起。 除了AWS Gateway,Dell EMC还提供了多种混合云存储产品。这些包括: Power ScaleOne FSOS Cloud Pools功能,该功能可将数据分层策略扩展到云服务,以便将不经常访问的数据自动从本地存储迁移。CloudPools支持阿里云、AWS、谷歌云平台(GCP)、MicrosoftAzure和Virtustream。 具有Unity Cloud Edition虚拟设备的UnityXT全闪存Unified Storage中端存储阵列,可以在AWS上运行,以将块、文件和VMware Virtual Volumes扩展到云计算基础设施。 微软公司主要是通过2018年收购Avere和2012年收购Stor Simple建立了混合存储产品组合。 Avere公司是云缓存技术的先驱,并继续提供为高性能计算(Azurev FXT)和企业(Azure FXTEdgeFiler)工作负载设计的设备。EdgeFiler有两种1U型号可用,一种具有12.8TBSSD缓存,另一种具有两倍的缓存,可以扩展到每个群集24个节点,并提供数百万的IOPS和每秒数百千兆字节的吞吐量。 到2022年StorSimple将会过时,由Avere、Azure FileSync服务或Azure StackEdge取代。Azure StackEdge是具有嵌入式现场可编程门阵列的1U服务器,用于人工智能工作负载加速。它充当通过Azure门户管理的缓存云网关。 Nasuni是可公开NAS文件协议的分布式对象文件系统,并受AWS、Azure,GCP和IBMCloud支持。它是一种软件产品,通常在本地部署在超融合基础设施系统上。 NetApp全局文件缓存基于NetApp最近收购的TalonFast存储软件。该产品使用本地数据缓存创建一个全局分布的虚拟文件共享,该本地数据缓存会根据使用模式自动刷新。文件缓存与NetApp Cloud Volumes Ontap和Azure NetApp文件一起使用,以提供从内部服务器和边缘客户端到云存储的低延迟访问。 Panzura Freedom是一个全球性的分布式对象文件系统,具有统一的命名空间和本地缓存,该缓存可以自动跟踪热数据块和冷数据块,以提高缓存性能和效率。它的SmartCache策略允许通过固定缓存中的数据来覆盖自动缓存管理,而不管其访问频率如何。、Freedom可以作为可在AWS、Azure、GCP,IBM Cloud和VMware上运行的虚拟软件设备提供,也可以作为三种FreedomFiler硬件设备之一使用,最多可支持28TB缓存和5,000个用户。 PureStorage不提供云缓存网关。但是,其云计算块和对象存储软件可以跨越多个位置,并可以通过虚拟设备扩展到AWS和VMwareCloud基础设施。 Stone Fly Smart Cloud Storage Gateway可以作为虚拟设备使用,也可以与StoneFly的SAN或NAS设备捆绑在一起。它提供iSCSISAN、S3兼容对象和NAS存储。该虚拟设备可在裸机服务器和大多数管理程序上运行,软件和硬件设备均支持AWS、Azure和StoneFly的私有云。

    时间:2020-09-04 关键词: 云计算 云存储 数据

  • Rosetta如何连接隐私计算与AI?

    Rosetta如何连接隐私计算与AI?

    本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 今天很高兴能够与大家分享矩阵元最近的一些研究成果。主要的方向是隐私计算,以及基于密码学的隐私开源框架—;Rosetta。 隐私计算时代来临? 目前数据面临着一些挑战。随着数字化的发展,数据量指数级增加,一些核心的、关键的数据保护做得远远不够。目前来看,随着数据的生产要素化,不论国内国外对整个数据相关方向的关注程度越来越高,当然其中也有越来越多的挑战。而众多挑战之中我们认为其中最关键的一点就是数据隐私。 从AI的角度来看,AI需要用数据来“喂”,只有通过足够多的数据或多样化的数据,才能训练出一个相对较好的模型使用。所以随着数据量的增大、数据多样化的增加,以及随着数据隐私的关注程度越来越高,AI面临着一个所谓的“窘境”—;—;从AI角度来看,数据的多样化程度越高,对于整个模型的训练更有好处,模型精度也会相应提高。 所以这给AI带来了一系列问题。如何能够在保护数据隐私的前提下,把各不同源、不同企业之间的数据能够融合运用?在目前传统的技术方法里很难解决这个问题,所以成为了AI可能面临的一大痛点。因此也引出了“隐私计算”的概念。 关于隐私计算,简单来说就是保证数据在使用和融合过程中,保护隐私的综合性技术,而不是简单的一项技术。隐私计算大致分为三类: 第一是密码学,第二是联邦学习(Federated Learning),是偏机器学习的技术;第三是可信执行环境(TEE),是硬件安全的技术。当然技术没有绝对的好坏之分,每个技术都有它的优势和劣势,所以在很多的综合性解决方案中,很多技术都是融合在一起使用的。 密码学简单来说是研究各类不同情况下,如何保护数据隐私的一类学科。最主要的特点是:所有密码学的方向,在涉及算法、方案的时候,要先去定义一个安全模型,要定义什么样才是安全。之后在这个定义之下,会通过一些数学的方法技巧去证明这个方案是满足安全定义的,所以它相对来说具有完整的数学理论基础的密码理论。当然它的优势是,密码学考虑的是一个非常广泛的场景。所以它能够更好的适合或适配不同的场景。在某些场景下,能够做到比较高效。 当然密码学也有瓶颈,在部分场景里性能、计算时间、通讯复杂度存在一定的瓶颈。当然更大的瓶颈在于,给没有密码学背景的人解释密码学原理,是一件难于上青天的事情。 所以本次分享中,会更倾向于密码学的介绍,包括密码学的历史及主要技术,之后我会对其中的安全多方计算的基本原理做一些简单的介绍。 密码学如何实现隐私保护? 密码学中的隐私计算技术,大概分为三大类。分别是:安全多方计算、̬ͬ加密、零知识证明。 安全多方计算(简称MPC),在1982年由姚期智先生提出,缘起于“百万富翁问题”。此问题讲的是有两个百万富翁,他们都很有钱,想比谁更有钱,但是又不想把各自的资产告诉对方,也不想找第三方帮他们做比较。所以他们如何能够在不泄露自己财产的前提之下,知道谁更有钱呢?安全多方计算领域由此开辟。 抽象的来说,可以理解为有多个本地参与,他们各自都拥有一个隐私的收入,但是他们想去计算一个共同的函数或者说共同的模型,叫做f。这个f会跟各自的输入都有关系,然后各自拿到一个结果。所以我们把它抽象出来,如果f是一个比较的函数,模型里面只有两个人的话,就形成了一个经典的百万富翁问题。 和我们今天讲的内容联系起来呢?如果这个f是一个模型或是机器学习的模型,比如说是一个逻辑回归、是一个CNN,相当于这三方各自都拥有一些数据,他们想共同训练这个模型。 这就对应了今日主题:如何进行隐私 AI 建模的方式? 也就是说,安全多方计算其实是一个非常广的概念。从密码学的角度看,MPC用到机器学习、AI里面,就是一个非常具体的应用了。那么应用运用了何种具体的方式?这就是Rosetta所要解决的问题。 Rosetta如何连接隐私计算与AI? 讲到现在,相信大家一定会遇到一个很大的问题,就是我们很想运用密码学解决问题,但是如果没有很高的数学基础或者没有学习过密码学的话,相关算法实在是门槛太高了。但是一些AI领域的专家、学者对于AI的应用,深度学习、机器学习的框架已经非常熟了。所以这两种具有不同专业技能的人,之间有很深的沟壑。在现实生活中,急需把这两种技术做一个融合,但是密码学相对的技术门槛太高,会影响整个行业的发展,也会影响整套隐私计算或者隐私AI的计算技术问题和理论进展。 所以我们想让熟悉机器学习,但是对密码学不了解的用户能够将隐私计算技术运用起来。另外对于一些熟悉了AI、或者TensorFlow、Pytorch等机器学习框架的开发者,让他们能够在几乎不改变开发习惯的前提下,就可以运用隐私AI的技术。我们需要做这样一个平台,或者开源框架,能够让不太熟悉密码学或者根本不懂密码学的AI层面的开发者或专家,能够用上隐私计算技术,这就是我们设计Rosetta的初衷,或者说设计Rosetta的一个根本原则。 因此Rosetta具备以下特点:易用性,高效性和可扩展性。 易用性,目前完全复用了TensorFlow接口。在明文和密文写模型的时候,TensorFlow的接口是一样的,没有再变。极大地降低了AI工程师使用隐私计算技术的成本。 高效性,完全兼容原生TensorFlow对数据流图自动执行的各种运行时优化。我们用C++来实现算法,能够保持底层算法的高效性。我们同时在跟业界的密码学家设计高效前沿的MPC技术,来适配机器学习或者深度学习的一些模型。 可扩展性,因为在MPC领域算法和协议非常多,而且涉及不同的场景,可能用不同的算法会有更好的效果。如果有了新的算法过来,Rosetta能够非常快速的集成到整个框架里面去。 下面,我们举例说明一下: 这里有三个参与方,A、B、C,然后每个人都有一个矩阵Ma、Mb、Mc,之后他们去计算Ma乘Mb乘Mc,他们三个只能知道结果,中间的过程都不知道。在这样一个场景下,如何运用Rosetta来实现它呢?和TensorFlow明文使用的区别有两个,一个是import包和选择算法,一个是简单处理隐私输入,即需要把Rosetta包import进来,选择算法,然后定义隐私输入即可。 Rosetta的架构如下: 整体而言,Rosetta的框架图如上图所示,它包括Python的前端APl,这块是Rosetta方便用户使用而特色支持的,然后与TensorFlow的前后端做了适配,同时我们开发了一个统一的密码协议管理层,可以去适配不同的密码协议。 我们的目标是既能够让懂密码学的开发者把现在的东西复用到整个框架里来,也能够让不懂密码学的AI开发者能够无门槛的或者非常低门槛的去使用隐私计算技术,相当于把密码学与机器学习,有机的结合起来。这就是Rosetta的目标。 下面说一下Rosetta的架构,首先要讲TensorFlow架构,TensorFlow架构简单地说就是一个图转化和一个图执行。我们充分利用了TensorFlow架构来进行密码适配。 当TensorFlow把那个图变成下图左边标准的传统图时,我们去做了一个static pass,把每一个操作全部都转成SecureOp,这个统称是为了后面能够支持密码算法。 然后第二步就是图执行,图执行我们运用了dynamic pass,左边的图就是刚才转化之后的图,然后当数据的时候,根据每一个这样的图,dynamic pass可以动态去适配用某一类密码协议去执行这个图。 我们能够充分运用TensorFlow框架,同时因为能够利用整个底层的密码算法,dynamic pass也可充分利用TensorFlow这种optimizer之间的并行,可以让它跑得更快。 下面讲一个Rosetta在实际场景落地中的应用案例:金融场景下的应用。银行A与B,他们各有各的数据,然后互联网公司C也有数据,大家希望能够通过Rosetta把模型建起来,比如说训练逻辑回归后,把风控模型训练出来,训练出一个更加高效的模型。同时保证abc各方数据都不会被对方拿到,这种场景下,用Rosetta解决问题非常简单。 如上图,把Rosetta import进来,然后选一个协议,然后选相应的输入。后面就是标准的用TensorFlow去回归,所以后面完全不需要有任何密码学背景,也可以完全写出来。在多数据融合的训练场景里,只要Rosetta一个包,然后把数据做一些处理。后面整个逻辑回归的代码书写,跟原来的是一模一样的,甚至可以把代码直接拷贝过来。这里有一个问题,我们用MPC的方式也就是密文的方式,它的精度与明文的方式有何区别? 如上图,我们做了一个对比,大家可以看到几乎没有区别,基本等价了,所以在设计足够多的参数足够多的精度之后,完全可以保证整个模型的精度。当然还有一个场景就是所谓的模型预测服务。 最后讲一点,Rosetta刚刚开始,目前已经开源了0.2.1版本。下面是GitHub链接: https://github.com/LatticeX-Foundation/Rosetta

    时间:2020-09-03 关键词: 人工智能 AI 数据

  • 李佳琦直播间观看人次深夜暴涨 回应:假的!数据出错了

    李佳琦直播间观看人次深夜暴涨 回应:假的!数据出错了

    8月11日早间消息,昨日晚间有网友在微博发文,表示李佳琦直播间人数暴涨。新浪科技查询发现,昨日(10日)晚间的李佳琦直播间观看人次最终为7998万,而在前一天的8月9日,其直播间观看人次最终为1675万。 据了解,李佳琦直播间观看人数通常在1500万-2000万之间。人数暴涨也引起当晚在直播间的观众注意,不少人留言发问。李佳琦在直播中回应道:“今天人很多,假的!应该没有这么多人”。李佳琦表示,自己对直播人数有感觉,人数暴涨应该是数据出错了,并表示“不好意思,大家不用在意”。 8月10日晚间直播数据(左)与8月9日直播数据(右) 有趣的是,当晚在薇娅的直播间中也出现了类似的现象。新浪科技查询发现,在8月10日晚间,薇娅的直播间观看人次最终为5946万,而9日晚间的最终人次为1427万。不过,薇娅方面未对数据情况作出表态。

    时间:2020-09-02 关键词: 李佳琦 直播间 数据

  • 2020年大数据给企业带来的5大好处

    大数据市场如今正在呈爆炸式增长。根据调研机构Markets and Markets公司的调查,未来五年的全球大数据市场规模将达到2290亿美元。尽管大数据技术发展迅速,但许多中小企业却忽略了它的好处。 企业需要考虑大数据的巨大好处,并相应地进行投资。 为什么小型企业会忽略大数据 当企业管理人员听到“大数据”这一术语时,他们通常起初对其有些回避,因为他们认为这种技术只适用于谷歌和亚马逊这样的大型企业。并且他们认为,只有那些不惜一切代价在竞争中取得领先优势的跨国公司,才会采用大数据技术。 但由于得到了广泛的应用和创新,大数据和数据管理的成本如今比以往任何时候都要低。这使得Gartner公司发布的MDM 2020魔力象限列表中的大数据技术适用于中小型企业,以帮助其发展和精简。 这几乎就像是一场高科技淘金热,可以采用大数据技术挖掘数据并取得前所未有的成果。以下将介绍企业可以从使用大数据系统中获益的几种方式。 1. 帮助企业做出更好的业务决策 如果有一个预测未来的水晶球的话,那么企业管理人员就可以做出影响业务发展的决定,而大数据就是他们正在寻找的水晶球。企业管理人员可以通过采用大数据分析技术,不必猜测重要的趋势和见解,也不必担心错误的决定会给企业的未来发展带来风险。 尽管没有其他背景信息无法帮助企业管理人员做出准确的预测,但它可以提供明智的决策所需的信息。 他们可以查看数据,以查看产品价格将如何变化以及将如何影响整体销售。如果是一家财务公司,大数据可以帮助企业管理人员在欺诈发生之前就对其进行预测。而这是金融公司在大数据上进行投资的最常见原因之一。 这种可能性是无止境的。大数据技术可以细分数据,以便特定部门可以仅使用相关数据来确定其最佳的发展方式,而不会陷入困境。 2. 帮助企业改进产品 在大数据出现之前,很多企业通常通过组建调查小组来帮助他们了解客户在购买某种产品或服务时想要什么,他们会努力使自己的产品更好地满足客户的需求。换句话说,这是一个漫长而低效的过程。 现在,数据开始发挥作用。企业可以查看客户的消费习惯,以了解他们在某些产品中的需求。如果提供一些服务,则可以根据客户的习惯来调整服务应包括的内容。 3. 简化业务流程 使用自动化可以简化业务流程的一个例子是改进效率较低的原有人力资源系统。 使用大数据可以消除许多重复性行为并使其自动化,以便企业的员工可以处理其他更重要的需要人工干预的事情。 它还可以帮助企业预测在某一事件发生之前,何时需要增加或减少人员配置。如果调查数据显示全球经济放缓,并预测企业所在领域的支出将减少,那么可以提前开始缩减员工规模。反之亦然。 4. 更快地对竞争对手的决策做出响应 在大数据时代,竞争变得更加激烈。如果企业希望保留某种竞争优势,则需要比以往任何时候都反应更迅速。 《哈佛商业评论》作者Thomas H. Davenport在15年前谈到了分析技术在现代商业中的重要性。而他的预言在2020年变得更加真实。企业需要使用大数据技术来确定竞争对手所做的决策并尽快做出响应。 5. 更有效地应对法规挑战 监管机构一直在对各个行业的企业实施更严格的标准。 企业应该使用大数据来识别合规性模型中的缺点。一个例子就是消费者隐私政策。企业可以使用详细的分析工具来识别安全协议中的弱点,并采取适当的措施加以保护。还可以通过执行更彻底的背景检查,使用大数据来满足员工筛选的要求。 大数据对2020年的业务发展至关重要 大数据将帮助企业在市场竞争中获得巨大优势,企业管理人员为此应该考虑充分利用大数据技术。

    时间:2020-09-02 关键词: 大数据 大数据应用 数据

  • 人人都是数据分析师??愿韭菜的世界没有镰刀

    人人都是数据分析师??愿韭菜的世界没有镰刀

    有志于转行数据分析的朋友们好~古牧君今天大胆开麦,针对近年来网上各路培训班营造出来的“人人都是数据分析师”热潮,给出一些个人看法。希望能让所有冲动转行的小白们都先冷静下,想清楚到底要不要做之后,再去行动 本文篇幅适中,内容环环相扣: 1,目前市场上数据分析的热度究竟高不高? 2,数据分析师的实际需求量到底大不大? 3,为什么会出现“人人都是数据分析师”的现象? 4,普通数据分析师日常工作内容都是啥? 5,应付日常工作都需要掌握哪些技能、又有什么门槛? 6,哪些人不建议零基础转行数据分析? 1,目前市场上数据分析的热度究竟高不高? 除了体感上遍布各大平台的培训机构广告,我们还可以查看产品经理 v.s 数据分析师的百度指数,在对比中量化解答这个问题: 可以发现,这两个岗位都是源远流长,从互联网诞生伊始就存在了。但直到19年之前,产品经理的热度都是2倍于数据分析师的;而从19年开始,数据分析师的热度奋起直追,加之产品经理逐渐降温,导致两者差距已经缩小到50%以内了 2,数据分析师的实际需求量到底大不大? 既然是市场, 就要讲供需关系,供给侧那么火热,需求侧呢?我们直接从大型互联网招聘网站的岗位搜索结果来看,在限制城市、岗位和工作年限的前提下,对比产品经理、看下初级数据分析师在不同城市的实际需求量: 该网站不会直接显示某个岗位在全国的实际招聘总量,比如超过500时就只会显示500+,我们只能变通一下,收集全国6大互联网重镇初级产品经理 v.s 初级数据分析师的招聘量,在对比中偏定性的了解后者的实际需求量到底有多大: 从上图中我们能很清晰的得到2个结论: 任凭媒体近些年来怎么吹,论互联网就业机会和丰富性,北京依然是毫无争议的第一梯队,上海、深圳、广州是第二梯队,杭州、成都妥妥的第三梯队 相对初级产品经理而言,初级数据分析师的需求量远远落后。无法像当年人人都是产品热潮一样,承受人人都来做数据分析师 3,为什么会出现“人人都是数据分析师”的现象? 仅凭个人主观感受,有如下两个见解: 近年来所谓的流量红利差不多见顶,需要做精细化运营了;再加上早年间几位互联网巨佬疯狂输出“数据公司”的概念,导致大环境对数据分析类岗位的需求和认可都有了阶段性的提升 近年来生意不好做、钱不好赚,大家普遍滋生焦虑心理。培训行业作为一门生意,因势利导的利用焦虑。可产品经理、运营、甚至交互设计、编程在前几年就已经喊过“人人都是”了,需要有新的水源涌入,目光自然就移到了数据分析上 4,普通数据分析师日常工作内容都是啥? 古牧君人肉整理了招聘网站上1~3年数据分析师的岗位JD,抽取一些共性内容列举并解读如下,首先是岗位职责部分: 常规监控:日报周报月报这类的,主要是监控下业务的核心指标有没有变动。如果有的话,就要解释下原因。原始些的每天手工提取数据然后EXCEL加工制表呈现,正常些的会有对应的BI报表和邮件预警; 效果评估:“产品新功能上线后效果好不好?最近搞的一个运营活动效果好不好?”这些都需要数据事后诸葛亮一下,ABtest什么的会经常使用。这部分其实不仅仅是事后的事儿,在开始之前就需要数据分析师来全盘的考虑,设计评估方案并依方案来布置需要监控/收集数据的位置和字段,是一个系统工程; 业务决策:“怎样才能提升用户的活跃/留存?”这类问题会来自一线业务部门,我们的分析结论和建议会影响他们的决策和操作。这里最关键的是拆解业务方提出的问题,之后再给出一个系统性的方案; 研究分析:“现在的年轻人都喜欢什么啊?”这类问题往往不是那么功利,可能没有任何一线业务部门有这类迫切的需求,但为了公司长远战略发展和团队自身影响力等,还是必须的。这里最关键的是如何提出有价值的问题,而不是张嘴等着喂饭 其次是岗位技能部分: 专业相关:数学、统计、计算机相关专业优先 数据思维:能够量化衡量业务问题,并体系化评估业务发展 数据敏感:对指标的波动和相互之间的关联敏感,能及时发现潜在问题 理解沟通:能很好的理解业务问题,顺畅的与业务团队沟通协作 熟悉方法:掌握常见统计学方法,有ABtest、机器学习等经验优先 掌握工具:熟练使用SQL/Excel/Python/R等数据处理工具 报告展示:可视化数据分析结果,降低理解成本、提升沟通效率 5,应付日常工作都需要掌握哪些技能、又有什么门槛? 我们继续把上述技能归纳总结,看看为了应付数据分析师的日常工作,到底都需要哪些核心技能: 工具型技能:这部分就是各类培训班和营销文章的主打,因为它确实是最基础、最需要的,但随着工作的深入,也是最不那么重要的。罗列下数据分析师需要掌握的工具,不外乎下面这些: SQL,提取数据必备技能,学起来也方便,随便买本讲SQL的书就能入门。后续随着实际使用中遇到各种问题再网上搜复杂的代码写法就好,不必前期太磕死书本;不过这种程度只是入门级别,当数据量较大的时候,还要考虑代码的性能,这些就不强求 EXCEL,也是各种工具书铺天盖地。提取完数据后,简单的数据处理啊、作图啊制表啊都在这里搞定了,可以说数据分析师80%左右的工作,就靠SQL+EXCEL了。对EXCEL没必要追求太多的奇技淫巧,工具而已,用到的时候查一查就好,说到底还是要服务应用(对数据可视化感兴趣想自学的,推荐下面这本) Python或R或SPSS等,这些都是数据挖掘的工具,是日常工作中相对“高阶”的那一小部分。虽然不鼓励炫技式的工具使用,但知晓基本的数据挖掘,还是有利于拓宽分析师的思路。比如很多数据集,常规的统计分布可能看不出什么端倪,这时候就需要聚类试试;当我们想要预测些事情的时候,回归啊分类树啊这些基础的模型算法也会有用武之地。Python和R都需要写代码来操作,而SPSS则更像EXCEL、鼠标点点点就OK了。重要的是,要理解这些工具背后模型和算法的原理,知道它们适用的场景和优劣势,才能真的驾驭工具 方法论型技能:掌握了基础的工具后,还有很多人执迷于数据分析方法论。讲真,我问到周围几个同事(BAT且title为高级XXX),他们多少都有些为难。很多文章都会列举各种各样的方法和模型,但其实那些并不是数据分析独有的,比如5W2H、MECE、SWOT等,都是通用的逻辑思维方式方法。但为了劝诫那些想要给培训班送钱的善男信女,我还是想简要说说: 逻辑思维真是的一切的基础,有条理分主次的表达自己的观点,同时也要能抽丝剥茧的分析问题解决问题,对数据分析师来讲很关键;如果非要说有什么方法论,我觉得对比细分溯源就挺好的。举个例子,今年腾讯的热度是1000万,这个数说明啥?首先要问清楚热度是怎么定义的,然后要找个参照系,比如跟去年比,才能知道是高是低。进一步,如果比去年高了,那是为什么高的?可以从不同维度进行细分溯源,比如从时间维度上,看看是否仅仅是某个月暴增导致的?再比如从对象维度,看看针对腾讯的讨论是说公司、还是说领导人、还是说产品?也可以从数据的来源渠道细分看,是新闻媒体的报道多了、还是网友在论坛贴吧的讨论多了? 你说是先有方法论才能做成一件事情,还是先做成一件事情再有的方法论呢?很多时候,方法论已经被我们这个时代过度消费了,它成了成功者的事后诸葛亮。就像历史一样,是被掌握话语权的人随意粉饰打扮的小姑娘 业务型技能:还没完,要想让自己的分析结果切实可行,就要深入的了解所在的业务,不能闭门造车天马行空的搞纯数据研究。举个例子,豆瓣要提升商业收入,钱从哪些人那儿挣?这就需要首先对目前业务有一个了解,小组、书影音、广播、FM的比例如何?豆瓣上不同人群的画像如何?结合宏观环境来看,哪些人消费意愿在增强? 做人型技能:最后,任何一项工作,都不可能是一座孤岛。自称“社交恐惧”“沟通障碍”的朋友,如果是真的话,甭管数据分析还是写代码,都不那么适合你。或者说的委婉一些,你可以做,但肯定很难做的好。我见过的工程师里能做上leader的,也都是相对他们群体而言更懂沟通的艺术、更懂换位思考的那群人。毕竟工作中的事情,很多情况下分工合作资源互换,会比你单枪匹马来的事半功倍;合格的社交合作外,也要有一定的“敏感性”,就是能洞察出领导们的心思。有一种说法是,工作就是让领导开心。我虽然觉得这句话太功利,但也不是全无道理。不妨换个角度来看,自古成大事者,更多是心怀理想的现实主义者。我们需要了解这个环境,适应这个环境。很多时候正确的事情也需要看时机,很多时候事情能不能做成,“人”的因素是很重要的。我们需要有能力判断哪些事情的价值更高、更能做成,在自身利益与公司利益之间,找一个微妙的平衡 6,哪些人不建议零基础转行数据分析? 既然门槛都知道了,那么对应哪些人不适合零基础转型,也就一目了然了: 工具型技能,算数过关就好:SQL和EXCEL都很容易上手,高中数学OK就好;Python、R那些工具,其实更重要的是背后的原理,所以需要相对扎实的概率统计+高数底子。不过数据挖掘也不是所有数据分析师都需要会的,所以工具这部分,武断一点给个标准:高考数学150满分的话有个100+就差不多了 方法论型技能,逻辑严谨条理清晰: 稍微武断一些的说,国内大部分纯文科专业背景的同学(尤其是毕业后也一直从事创意类、职能类、销售类等工作的朋友),零基础转型数据分析难度较大,不太建议。因为长时间的专业背景和工作环境,会重塑人的思维方式,如果已经习惯了发散式、跳跃式思维,日常又更偏重感性而非理性,数据分析类工作就较难适应 业务型技能,需要接地气: 特别学术型的朋友,比如对学习研究以外都缺乏基本认知和兴趣的那种,不那么适合数据分析师这种岗位,因为这个岗位其实没那么高深也没那么科研,相反,非常需要接地气。数据分析本质上就是应用学科,需要以应用为导向,从问题出发去倒推解决方案,而非先研究一个东西再看看有什么可应用的场景。是否愿意了解你所在的业务方向,能否理解一线实际工作环境都面临着什么问题,真不是所有人都能搞定的 做人型技能,不能太自我: 过于固执的朋友、缺乏同理心的朋友、不善于沟通的朋友,在数据分析师的岗位上注定不会走的很远,在其他岗位也同样。一方面我们需要通过换位思考,真正的理解对方的问题和困难,有时候更是用户的需求;一方面我们也需要通过沟通,把我们的观点和看法顺滑的输出出去,并最好能在听众的心里生根发芽,最终开花结果

    时间:2020-08-28 关键词: 分析师 供需 数据

  • 如何在不影响发展的情况下降低数据成本

    在过去的十几年中,数据已成为区分企业优劣的主要依据。冠状病毒(COVID-19)大流行无疑使数据的价值越来越高,因为这样的大流行可以促使企业,政府和卫生专业人员将目标转向旨在保护和挽救生命的各种干预措施。现在,冠状病毒危机所造成的经济后果威胁着组织的健康,因此数据将再次发挥重要作用。 尽管领导者们可以放心的是组织已经从大流行中先后复苏,差别体现在数字化方面,正当他们努力确保组织的财政基础并了解新的增长来源,他们不得不回答大量问题:哪些部门和领域将推动需求?哪里需要频繁接触供应链?对于更热衷于数字化且很可能继续需要远程且灵活的筹划的客户群和员工队伍,为他们提供服务的最佳方法是什么? 要回答这些问题就需要大量的数据并且具备高效使用这些数据的专业知识。企业将不得不对来源不一的信息进行建模,在更多渠道上应用洞察并持续进行这些工作,同时确保数据没有受到污染,隐私受到保护以及合规性方面的责任符合要求。 培养能做到上述要求的能力则要付出一定的代价。大多数公司不得不将其数据架构现代化,从新的源头获取数据,设计各种算法对数据进行建模并从中获得洞察,雇用或培养人才来做这一切。这一切代价可大可小,从中型组织花费数亿美元到大型公司花费数十亿美元等等。在冠状病毒危机发生前,许多组织都计划要在数据上投入更多的钱,而这场危机则很可能使这种需求只增不减。由于组织的收入已经受到了这次大流行的影响,企业可能很想知道在哪里可以找到满足资金需求的资源。 令人惊讶的是,答案可能来自更好地管理数据。将更大的管理规则应用于经常扩展数据架构,数据源和数据使用实践的这一做法可以节省大量资金。我们的客户工作表明,只要在五个领域实现更高的可见性,标准化和监督,公司就可以恢复并重新部署其当前数据支出的35%。更为理想的情况是,人们提出的许多改进都可以快速得到应用。在我们所经历的例子中,各大企业在半年内节省的开支就达到两位数的百分值。从长远来看,将这些变革制度化并扩大这些变革可以带来更大的收益。 数据也许非常多,但管理数据并不便宜 由于成本分散在整个企业中,许多组织并不知道自身在数据上花了多少钱。例如,第三方数据支出可能由业务部门的预算来承担,报告成本则由相关的公司职能来承担,而数据架构方面的支出则由IT来管理。 这些成本合在一起时,数字可能会令人震惊。例如,一家运营成本高达50亿美元的中型机构在第三方数据采购,架构,治理和消费方面的数据支出超过2.5亿美元。这四个支出领域的数据成本的构成则因行业而异。例如,包装消费品等不直接与客户互动的行业在数据采购上的相对支出往往比较高。但是结果仍然不变,即在大多数组织中,管理数据是成本大头。 因此解决这一分散化问题就可以快速取得成效。数据源,体系结构,治理和使用方面的有针对性的改进有助于公司减少浪费和人力工作并可以更轻松地获取高质量数据。这些努力可以在短期内将年度数据支出减少5%到15%。从长远来看,公司可以加倍节省成本,其方法是对核心流程进行重新设计和自动化,集成各种先进技术并引进新的工作方式。为了获得这些好处,以下是领导者们必须做的四件事。 优化第三方数据采购 美国一家地方银行在算完账后发现它每年大约花费1亿美元来获取信贷风险数据,市场数据以及其它外部数据。为了资助更广泛的数据转型,该行必须降低这笔开销。该行首先清点了其许可的所有不同数据及其使用频率。它发现,少数第三方数据源占所有用量的大头;它还发现,不需要实时获取更新的人正在使用大部分数据。银行可以将数据成本削减多达20%,其方法是消除未使用和未充分利用的数据馈送,按数据访问来定义更清晰的权限,使信用风险评分和其他专有数据被重用更长的时间, 这些细致周到的措施可以减少不必要的第三方支出。修改现有供应商合同并为最常用的数据馈送设置使用上限,这样就可以带来更多收益。后来,由于大量合同需要续签,公司可以将其获得的价值和价格与其它数据源(数量正在迅速增长的数据源)进行比较,从而找到最合适的价格并议定最优惠的条款。 我们还建议建立一个由业务部门和职能级别的网守(gatekeeper)组成的中心供应商管理团队,以监督数据订阅,使用条款和续订日期。凭借适当的采购和业务赞助,该团队有助于管理公司对第三方数据的需求并优化供应商协议。 简化数据架构 有一家先进的全球银行在整个业务的不同孤岛中拥有600多个数据存储库。管理这些存储库使该行每年损失20亿美元。由于该行意识到这是不可持续的,它成立了由首席信息官和相关业务负责人组成的联合企业数据架构团队。他们一致同意将数据环境简化为40个唯一的域并将“黄金资源”存储库标准化,从而使其能够缩小规模并在某些情况下完全停用数据存储库。这样的精简节省了4亿多美元的年度数据成本,同时还提高了数据质量,使该行更容易更新系统并将洞察整合到流程中。 许多成熟的组织也像这家银行一样因数据存储库七零八散而困扰。存储和维护这些工具可能会消耗掉平均IT预算的15%到20%。由于数据管理协议没有充分标准化,这也可能带来验证方面的麻烦,团队因为要寻找所需的信息而浪费时间,当他们用错数据时,他么会发现错误越来越多。为了获得所需的绩效,组织必须重新讨论其核心数据体系结构。 短期来看,组织可以通过优化基础结构来节省成本,例如,它们可以将历史数据转移到低成本存储中,提高服务器利用率或不再续签服务器合同。此外,公司可以认真研究整个体系结构开发的产品组合,放缓或停止优先级较低的项目,同时还可以减少高成本供应商资源的部署。同样,公司不必等待目标架构来从其数据中获得价值。应用程序编程接口(API)的更广泛使用可以使企业将深埋于遗留系统中的数据投入工作而不必设计昂贵的自定义工作流。 长远来看,更为大胆的,具有转型意义的变革可以节省更多的钱。例如,将数据存储库迁移到通用的现代数据平台(如数据湖)并将基础设施变为以云为中心的设计,使公司将遗留环境合理化并降低处理计算和存储高峰所需的平均容量。此外,组织可以发起各种变革,从而更广泛地提高生产力,例如,采用各种指标和记分卡来提高绩效,将需要人工介入的活动自动化并将某些资源近包或外包。 设计数据治理以实现价值 有一家领先的矿业公司拥有数百个运营数据源,这些数据源分散在多地的小仓库中。该公司每创建一个新的分析用例或数字应用程序都需要花数月时间进行数据发现、数据提取、数据清理和数据管道工程设计,因为它几乎没有数据文档和通用的标准可用。该公司启动了一项集成的技术现代化计划,该计划涉及从内部部署到基础的云优先方法的转变以及一个数据操作模型,该模型基于联合的,标准的数据架构和规范的基于域的数据治理而扩建。这样就可以创建可重用,可持续和易于访问的数据资产,从而大大减少数据工程的时间并提高应用程序的稳定性和可维护性。数据域以用例和价值回馈的方式与业务一起得到开发和实施。 我们的研究表明,这个例子并非异常。如果没有清晰的可用数据,数据用户可能要花费30%到40%的时间来搜索数据,如果没有可靠的数据控件,他们可能将20%到30%的时间用于数据清理。而高效的数据治理可以减少这类麻烦。建立数据字典,创建可追溯的数据沿袭并实施数据质量控制,这些做法可以显著提高生产力和绩效。 同时,公司不想施加太多的限制而导致治理本身成了一个代价高昂的障碍。只要关注范围,将严谨性与风险结合起来并应用技术,组织就可以帮忙取得适当的平衡。我们建议组织根据需求,价值和风险来确定工作重点,而不是试图治理所有的数据源和使用。例如,先进的组织往往会限制数据治理的范围,如少于50个报告和2000个数据元素。 考虑到合规性和其他需求,组织必须做出调整,搞清楚哪些活动需要最严格的数据协议,哪些活动仅需要基本的数据卫生。例如,营销组织可能希望对敏感的客户数据采用比事件计划数据库更为稳健的控件。组织在所有的功能间取得平衡—;—;从数据字典的广度和深度到应用数据控件的频率和精度。例如,有一家北美银行在数据沿袭上(data lineage)花费了1亿多美元,它通过缩减所需的粒度(从数据元素级别到数据馈送级别的粒度)并在数据元素样本中进行交易测试来做出补偿。 善用技术还可以提高绩效和成本。有一家北美银行的反洗钱(AML)流程的误报率高达95%。该银行的40人反洗钱团队为了找出这些误报的案例而不堪重负。为了解决这个问题,首席数据官们严格遵守机器学习模型的合规性和分析,该模型减少了误报次数并将反洗钱帐户审核工作减少了75%。 简化数据消耗 根据我们的经验,企业每天生成的报告中有30%到40%几乎毫无价值。有些是重复的,有些则没有得到使用,结果浪费了大量资源。 为了更高效地管理消费,一流的公司按主题制定各种报告,例如商业报告和董事会报告。然后,他们会重新设计数据收集流程,将管道自动化,研究新的方法来对数据进行建模和可视化并以无纸化方式部署各种成果。快速的原型制作和测试周期完善了报告生成过程。这种整体方法有助于在整个组织中将生产综合起来,从而确保生成的报告和度量标准都十分高质量并且无需花费太多精力来打理。有一家欧洲银行使用此类方法将报告数量减少了80%并将与报告相关的成本减少了60%。 组织可以通过自助服务为员工提供商业智能功能,从而获得更多收益。其余的业务智能资源则可以专注于更复杂的报告需求和问题补救措施。 采用数据驱动的方法来优化其他职能部门的成本 组织不仅可以通过两种方式来节省成本,即提高数据功能内的效率和性能或应用数据来确定业务其他部门的潜在成本节约。采购是一个特别有前景的领域。例如,只要使用人工智能,企业就可以检测到不同地点的高于平均水平的能源消耗率或非典型的出行成本的规律,然后利用这些洞察,就如何获得更高的效率提供建议。同样,专用算法可以扫描各种发票、供应商数据、合同数据和服务使用情况,从而发现基本支出中的异常情况。在某些组织中,这种做法有助于降低总采购成本,降幅高达10%。例如,有一家欧洲家庭电器制造商使用高级分析功能扫描了5000家供应商的1200万张发票,从而发现了将总成本降低7.8%的机会。 调动降低数据成本的计划 组织实施数据成本削减计划的程度和速度取决于其战略目标和当前的经济环境。有些企业可能希望将节省出来的大部分数据成本算到利润里。另一些企业可能希望尽快将自身的功能现代化。无论速度是快是慢或规模是大是小,我们建议组织通过以下工作来奠定基础: 要重视数据成本,将其视为一项跨职能的工作重点。首席财务官(CFO)、首席采购官、业务主管以及关键数据和技术负责人需要参与进来。有这样一群人的支持非常重要,因为大多数数据成本通常不是由数据组织内部负责的,很多情况下是共同监督的。 创建当前支出的清晰视图。制定跨职能的基准,该基准必须同时考虑到直接成本(例如,硬件和软件的许可费以及数据办公室员工的报酬)和间接成本(例如,管理和补救数据质量,手动编制用于月度报告的数据所涉及的高效的相当于全职人员的人)。 尽早估算潜在价值以吸引注意力。通过预期的影响和可行性快速发现各种省钱的机会并确定其大小和轻重缓急。着力于最大的机会,而不是探索各种可能性。 为此工作指定明确的负责人。这样可以确保有人负责和执行高效的协调工作。在许多组织中,数据成本计划由数据组织内的负责人在首席数据官的监督下进行管理。 减少数据成本的计划除了可以带来近期的收入影响外还可以创建更高效的数据基础。当这些组织在冠状病毒流行时崭露头角时,这些付出将使组织能更快地进行转型并使他们准备好长期保持领先地位。

    时间:2020-08-28 关键词: 大数据 数据成本 数据

首页  上一页  1 2 3 4 5 6 7 8 9 10 下一页 尾页
发布文章

技术子站

更多

项目外包