当前位置:首页 > 大数据
  • 推荐系统解构

    分享嘉宾:姚凯飞 观变科技 CEO 编辑整理:陈家辉 出品平台:DataFunTalk 本次分享主要是以电商平台为例,从以下几个方面对推荐系统进行解构: 01 1. 工作思路 推荐系统作为电商平台的一个子系统,其价值体现在商品与用户的匹配上,而匹配的效率与质量对于电商平台至关重要。 多场景、多目标、考虑生态、场景间目标的差异 数据闭环 3. 推荐系统中的关键因素建模 结合上述用户旅程和公式拆解,如果想将V做大,自然的,我们需要构建转化率-访购率-毛GMV-净GMV-留存率-复购等关键节点的建模,并且这个也是推荐系统的观测指标。 02 1. 基本架构 最开始的阶段是召回过程,分为多个模块;实时模块会拿到用户实时的信息,比如用户实时点击、收藏、加购的商品,并获取这些商品的相似商品;历史模块会获取用户的历史信息,如历史的购买行为;画像模块则会获取用户的静态信息和偏好标签,如用户的设备型号、年龄、性别、类目偏好等;最后还会包括现在以及过去的热门商品等。 经过过滤阶段后,我们可以对过滤后的商品进行一定的预估。如点击率、转化率预估等。同时可以考虑单价,多样性以及新品率等影响进行排序。随后我们可以通过规则或者模型,将这些粗排后的物品统一得分进行融合,最后再经过精排阶段给出最终得分,这个阶段还会增加一些业务规则进行强控,比如考虑多样性的打散、出于运营需求的置顶等。 2. 召回策略 主要策略包括: ② 历史行为召回:离线分析用户对商品的历史点击,收藏,加购,购买等反馈行为,并召回相似商品,兼顾用户的长期购物需求。 画像,并召回相对应的热门商品。不要小看这个召回,非常关键,往往新用户需要用这些静态信息和标签来做召回,往往可以快速圈定其圈层进行精准的探索和数据反馈,比如5-6线城市和北京西二旗的用户往往大概率兴趣差异较大。这层召回是全局热门召回的更精细化拆解。 召回模块特别重要,因为召回的来源/相似分可以作为排序特征(推荐日志落盘-回看/溯源机制) 3. 排序策略 当然针对不同的产品有不同的侧重点,比如电商的内容差异较大,甚至同是内容也会因为产品形态存在差异,比如快手的双列可以考虑点击率建模,而抖音单列下滑不需要考虑点击率建模。甚至还需要考虑多样性,惊喜性,新颖性等更多的指标。并且建模过程可以尝试end2end或单独建模的方式,这里面需要考虑的是稀疏性、正负比例、预估不准等问题。 α*CVRγ代表gmv,那为什么还需要α、β、γ呢?因为如果ctr和cvr估计是准确的, α、β、γ均为1的排序公式是可解释的,你把这几个指标的分子分母拆开就看到了,相乘以后就是gmv。但是由于模型各自的准确率差异,导致了我们需要学习这几个参数,理论上建模越准确的指标系数越大。而这三个系数如果相对稳定可以通过离线统一参数学习的情况完成;如果不稳定,可通过强化学习来解决这个超参的设定。 4. 排序阶段还有一些常见的原则 ② 不同排序因子(商家质量/分发宽度及强度等等)可共用一套底层表征。 ④ 疲劳度:通过引入一定的随机因子,针对不同个性化程度,建立合理的轮转机制,保证一定的新颖性。 ① 考虑到召回和排序的压力,可以再精排和召回中间加一层,少量核心特征+简单模型进行粗排。 ③ 粗粒度召回:离线产出不同类目下的精品数据,作为召回补充和兜底 6. 模型演进 而模型的时效性也从天级别,慢慢演化成小时(一天几次), 再演化成近实时级别,而目前主流的推荐系统都是实时级别。 7. 特征构建 初级的方式,一般大家会对用户和商品进行一些用户画像,然后作为特征加入模型。但是长期来看,匹配类的特征非常重要,比如待排序的商品和用户历史行为的一个关系,上面提到的模型中,DIN和DIEN都很好的使用了这种行为序列。匹配特征一般是与点击特征结合在一起的,比如用户对于某个商品的点击,对于某个类别的点击,某类用户对于商品的点击等等。可以总结为下图: 8. 评估方式 针对于召回的评估方式,绝大部分都是通过命中率、准确率、覆盖率、F1-score等方式评估,参考下图: 但是因为推荐系统是串联的,我们往往需要考虑到前置模块对后置模块的影响,比如召回对于排序的影响,下图是LinkedIn的方式。 系统&全局生态 做一个推荐功能之前,我们需要对这个产品功能的作用进行一定的决策,如: 价值多大 ( 值得 ) 优先级 ( 怎样 ) 2. 场景串联与用户旅程 3. 方向&外围 从系统和生态全局来看,建设推荐系统既要考虑短期的gmv等指标,更要考虑长期的发展 ( 回访、复购、netGMV ) 。因此需要从更多的层面考虑推荐系统的建设,如: ② 商品理解&建设: 良好的后备力量。每个商品都有生命周期,虽然可能旧款的商品质量很高,但是我们在推荐的时候也要对新品进行流量分配,进行新品测试、流量扶持。 ④ 生态多目标,包括用户体验,如回访、活跃度、复购率、分群倾斜等,也包括商家层级、价值、收益、良性竞争等目标,同时还需兼顾平台收益。在增长过程中,一定需要兼顾上述若干指标,若置之不理,则最终用户、商家都会流失,最终让产品僵化。 04 下面我们在逐个结合业务展开一些相关探讨,这些探讨想要让大家了解到推荐系统构建过程中,对业务拆解的重要性。 根据用户的活跃度及行为密度进行分群,并对分群后的用户投放对应的热销进行兜底补足,或者作为主召回源。其中用户行为较多(交互过的物料个数和品类/主题较多)时,作为兜底召回做补足;而部分用户行为过少(新用户或刚进入APP行为数较少的),可以作为主召回策略,这时候可以做更精细化地数据集。 2. 电商同店铺用户行为 同店x2i(i2i、c2i、b2i等)可以做一个很好的实时上下文强化,这里trigger数量和召回数量都需要进行控制。 3. 购物车推荐策略 这里推荐的策略可以考虑用加权融合的方式,对于相似和相关搭配召回源,根据预测的意图强弱进行比例调整;如果有埋点支持,还可以结合实时埋点,在排序层考虑上述融合。 总结 需要明确的是,业务效果好的并不一定是复杂算法, 建立推荐系统需要遵循“假设->分析->策略->效果”的流程。在出现的badcase中,需要回顾案发现场,在产品增加埋点,跟着数据走(实时) 。迭代模型需要跟着业务走,在badcase中发现新的思路。系统化地思考全局收益、场景串联、局部与全局最优的情况。最重要的是合理的指标,从健康生态系统的定义出发。以上就是此次分享的主要内容,谢谢大家阅读。 免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

    时间:2021-01-17 关键词: 推荐系统 互联网 大数据

  • 金蝶:数字经济背景下瞭望企业及人力资源变革必然趋势

    金蝶:数字经济背景下瞭望企业及人力资源变革必然趋势

    2020年12月11日,由中国领先的人力资源管理智库HRflag举办的,2021“新旗奖”(NewFlag Awards)人力资源创新大赛暨颁奖典礼在上海盛大举行,金蝶s-HR Cloud荣获“新旗奖”。本次竞赛共吸引了452家领先的人力资源服务商参赛,历时43天进行评选。最终“金蝶s-HR Cloud”凭借产品创新、极具价值的解决方案和品牌影响力荣膺新旗奖。 金蝶s-HR Cloud是服务于企业高层决策、服务于各级部门业务开展和服务于全体员工职业发展的企业级云服务。相对于传统人力资源模式存在不规范、信息流通性差、效率低下等问题,金蝶s-HR基于企业人力资源管理模式创新,通过专业的人力资源管理核心平台、社交化的全员自助服务平台以及开放的云端应用,帮助集团企业构筑核心组织能力。 目前,各项研究报告表示,包括人力资源服务在内,企业管理及各项数字化转型趋势已成为未来主流发展方向。加强内部管理是企业应对市场环境变化的不二选择。推行数字化建设,通过对大数据、人工智能等技术的融合应用,可以帮助企业实现对传统管理模式的改进与优化,并取得一定的成效。 在转型数字化企业管理的道路上,金蝶不局限于人力资源领域。金蝶自1993年始创以来,数十年间砥砺探索云服务市场。面对企业数字化转型之道,金蝶推出EAS Cloud、KIS云等企业管理软件,分别面向大型集团型企业和中小微型企业。以及本次亮点颇多,荣获佳奖的s-HR Cloud,有针对性地面向企业人力资源管理。 正如金蝶集团董事会主席兼CEO徐少春所提出的,现世代的企业数字化之途已经迈入后ERP时代。金蝶始终占据云服务技术前沿,破除传统的企业数字化单体架构与思维模式,建立新的产业互联网云生态,有效提升企业业务能力。 如今,金蝶已成为企业在数字经济新时代的选择。金蝶用户已超过8000万,超过2000家合作伙伴选择金蝶作为共创共赢的发展平台。

    时间:2020-12-25 关键词: 人工智能 云服务 大数据

  • 行业呼唤“上云就上全国产云,一起迎接全国产云时代”

    行业呼唤“上云就上全国产云,一起迎接全国产云时代”

    12月22日,来自云计算、数据库、操作系统、大数据等云计算领域相关板块的20余家知名厂商、联盟,发出“上云就上全国产云,一起迎接全国产云时代”的联合倡议。 中国云计算产业在经历了电商、互联网、视频、社交等为代表的“公有云+互联网”大爆发阶段后,即将迎来以政企核心业务上云为代表的新发展阶段。相较互联网行业,我国政务信息化进程相对缓慢。直到2016年,在《政务信息系统整合共享实施方案》、《云计算发展三年行动计划(2017-2019 年)》等一系列政策的推动下,大大加快了各级政府上云的进程,而这缓慢的背后是政府对关系国计民生的重要领域信息安全的重大考量。 2020年突如其来的新冠疫情将人们禁锢在家中,却为云计算的发展打开了一扇窗户。云计算和大数据技术的广泛应用为政府及时决策、科学防控提供了数据依据。此外,疫情期间人们对线上工作、生活、娱乐、教育需求的爆发式增长,共同推动了云计算的快速发展。 与此同时,大批国内企业在国产处理器、操作系统、数据库、虚拟化、服务器、安全、存储等核心技术领域已取得一系列突破,构建安全可信“全国产云”的条件已悄然具备。12月22日,“全国产云”产业链上20余家知名厂商、联盟共同发出来“上云就上全国产云的倡议”,迎接“全国产云”新时代的来临。 倡议一经发出,便引来“全国产云”产业链相关企业的广泛欢迎和热烈讨论,众多ICT厂商领导表达了对“全国产云”时代来临的期待:曙光云计算集团总裁关宏明道出“全国产云”的真谛——国产和安全是基本功,交付和生态能力才能见真章。只有同时满足客户对安全和应用服务的需求,才能真正迎来属于“全国产云”的新时代;南大通用高级副总裁赵伟指出“云计算是信息产业发展大势所趋,国产化平台可以有效保障信息安全与促进基础软硬件成长,因此国产云是我国信息产业的必然趋势”。 本次活动中,各公司将全国产云与自身业务优势结合,分别发布了不同主题的倡议海报。安恒信息带来了“携手护航,安全未来”的主题海报并表明愿携手生态伙伴为云计算产业保驾护航。南大通用作为数据库领域知名企业,倡导“数据启智,共绘锦绣”。英方软件作为专注于容灾及业务高可用领域的领导者,从灾备角度发布“聚力国产,云上灾备”的主题海报。深圳震有科技则在应用层面强调“云端调度,智慧应急”。此外,青云QingCloud、东方通、中科方德等20余家业内知名公司、联盟联合发布了主题海报,呼唤“全国产云”时代的到来。 此次联合倡议,展现了国产云计算产业界对“全国产云”时代的期待,并通过致力于国产化技术,解决政企及各类用户“上云难,上好云更难”的行业痛点,为我国数字经济的健康发展铸就安全底板的决心。

    时间:2020-12-23 关键词: 云计算 公有云互联网 大数据

  • 大数据流量矩阵的崛起

    大数据流量矩阵的崛起

    移动互联网正逐渐渗透到人们生活、工作的各个领域,微信、支付宝、位置服务、各种应用App等丰富多彩的移动互联网应用迅猛发展,正在深刻改变信息时代的社会生活。随着4G手机的普及、5G网络的部署,以及移动终端技术的持续提升,各类大数据用户数量也将会不断上升!预计2020年,我国数据总量有望占全球数据总量的21%,到2022年,全球移动应用程序的下载量将达到2,582亿次,仍将保持较快速度发展;这些数据的得出也是来源于网络数据搜索与计算,大数据发展趋势预测总结为“融合、跨界、基础、突破”;对于这个大数据流量矩阵的全新市场,商业模式创新将给运营商带来新的机遇与挑战;未来6G时代,还将实现人与物的链接、物与物的链接、各类数据流量的链接,将会带来更进一步的基于链接矩阵的环境变化,万物互联的时代即将到来。 2018年,我国移动互联网市场规模高达11.39万亿元;2019年,我国移动互联网用户规模达13.19亿,占全球网民总规模的32.17%;去年我国电子商务交易规模为34.81万亿元,继续占据全球电子商务市场首位;网络支付交易总额249.88万亿元,移动支付普及率位于世界领先水平;全国数字经济增加值35.8万亿元,居世界第二位。2019年我国移动应用市场整体发展平稳,在全球移动应用市场具有较高影响力。《中商产业研究院》预测,2020年我国移动互联网市场规模将达16.64万亿元。 数据来源:网络总汇 各类移动应用(App)加快创新升级,成为数字经济发展的重要力量。即时通信、手机搜索、网络新闻App用户众多,游戏类App数量最多,音乐视频类App下载量最大,促进信息服务消费快速增长。移动互联网的浪潮正在席卷到社会的方方面面,新闻阅读、视频节目、电商购物、公交出行等热门应用都出现在移动终端上,在苹果和安卓商店的下载已达到数百亿次,而移动用户规模更是超过了PC用户。这让企业级用户意识到移动应用的必要性,纷纷开始规划和摸索进入移动互联网,客观上加快了企业级移动应用市场的发展。 展望2021年,资源型数字经济,公域流量,私域流量,发展内外俱佳,将进入绿色加速通道,5G、人工智能、工业互联网、物联网等新型基础设施持续发力,中国正式启动6G研发;数字经济生态,联合国积极作为,擎起全球数字合作与交流大旗,全球主要国家和地区高度重视,我国自上而下一致重视,数字经济的发展生态积极向好;技术型数字经济,仍处于美中“两国独大”的寡头格局,新一代信息技术整体更迭趋缓和热点技术持续爆发,“一热一冷”并存;融合型数字经济,打造品牌私域流量池。 红万斗——引领未来新经济、新趋势 红万斗是由上海万斗网络科技有限公司创立的大数据平台,基于大数据趋势和应用,通过分享裂变的逻辑,挖掘用户,积累大数据,对接各种互动应用终端(App、公众号、小程序、PC、嵌入式终端:POS机等),打造各类应用的生态圈,服务于生活方方面面的需求,提高各类用户价值体现。它属于S to B to C的应用联盟平台,即S(服务平台)、B(商家)、C(用户)之间的交互式网络;通过平台的聚合能力,协调接入应用之间商务合作产生的收益,释放给用户,激励用户的分享裂变,把用户的价值做大。 S to B,针对企业端,即是通过红万斗来打造应用生态圈,让所有应用终端在整个生态环境中,建立私域流量的蓄水池,可以通过合作,让所有应用终端的私域流量得以续航,帮助彼此高效打造私域流量,提高私域流量的变现效率,并保障了应用终端因合作及变现过程中造成的流量损耗,红万斗在建立公平公正的合作制度前提下,让应用之间产生粘性且高效合作,通过系统来完成自动化利益分配,有助于各应用终端的发展,相互助力彼此成长。 S to C,针对用户端,红万斗构建完善的分享机制与服务体系,通过各类应用终端的合作,渗透至生活的方方面面,致使用户产生极强的使用粘性,让每位应用的使用者,都能成为消费商,在整个应用生态圈中的消费与分享,都会让自己的累计消费来提升会员等级,获得裂变带来的各类管道收益及服务品质提升。在连接环境下的私域流量模式,可以产生很多的经营用户的有效方式。包括营销方式、内容方式、交互方式,这些方式都会围绕经营用户价值产生效率。 继2019年“私域流量”逐渐崛起后,有人说:2021年将是私域流量真正爆发的元年。特殊时期的冲击使得各大品牌纷纷投身线上,作为强力抓手,私域流量成为企业必须攻占的核心战场,品牌的私域意识也迎来空前的觉醒。未来,随着应用领域的拓展、技术的提升、数据共享开放机制的完善,以及产业生态的成熟,具有更大潜在价值的预测性和指导性应用将是发展的重点。随着广泛应用、数据规模爆发式增长以及数据分析及处理能力显著提升,量化投资将获取更广阔的数据资源,构建更多元的量化因子,投研模型更加完善。 数据来源:红万斗数据整理 红万斗通过平台积分与VIP服务体系,促进用户在平台对接的应用中进行体验式消费,创造与应用方的商务合作收益;当接入的应用充裕而产生竞争,可通过联盟内部流量创造应用方的广告投放收益。专业资深的多种分销激励模式研发团队,构建严谨、合理、合法的强关系平台奖励机制,促进用户分享及市场消费激励。低沟通市场成本,快速裂变;一旦用户体系形成,将具有强粘性的绑定关系,用户不易流失,且活跃度高。 红万斗团队一直持续关注着移动互联网大数据行业的发展动态和市场趋势。设计聚集资源的模式,并且要经过激活留存、规模扩张、商业转化和资源裂变等一系列操作,建立起用户的数字化运营体系,做好私域流量裂变一定要建立数字化的运营模式,使多种链接组合的矩阵,私域流量池的搭建和开发其实并不是最终目的,提高用户的价值,形成良好的口碑传播,扩大企业影响力才是最重要的体现。 随着新型互联网经济的兴起,红万斗公司不仅瞄准国内市场,同时也转向国际市场共同发展,所谓的国际市场是根据自身公司发展及未来趋势,红万斗公司以美国上市来壮大开拓自己的发展局域网,为未来发展奠定强有力的支持;因为在这个领域,红万斗具有相对垄断性的技术能力与从业经验,从而吸引了国内外一些风投创投机构的青睐,并有多家上市辅导机构,券商前来商谈合作意向和投资;经过多方面的选择与评估之下,红万斗最后选择与世界金融控股集团(以下简称世界金控)达成合作共识。 在2020年10月23日红万斗与世界金控签订赴美上市协议,并且世界金控方投资2亿入股红万斗。红万斗选择与世界金控合作主要是因其在美国或者国内都有众多长期合作机构,比如各大券商、律师事务所、会计师事务所以及各大投行机构等;除此之外,世界金控还以知识产权实缴出资的形式帮助各类企业完成或提高注册实缴资本,使企业做大做强更快速发展,而且总体费用相对其他辅导机构较低,完成上市进程更快。也因红万斗这个大数据平台领域是目前市场上稀有行业,所以世界金控也看重了对方除了有较为垄断性的技术和广阔的发展空间,相信在彼此的合作下,红万斗会开创出新的篇章和更加广阔的发展前景。 前排左一为世界金控法人代表盛延平先生,中间为红万斗公司董事长莫严迪先生,右一为红万斗公司首席执行官唐艺鸣女士 后排左一为世界金控运营部总监施令英女士,中间为世界金控执行总裁杨峻翔先生,右一为世界金控运营部总裁李晓雅女士 世界金控为美国上市公司(WFHG),除了帮助企业进行上市规划与特定的企业诊断让企业知己知彼,降低上市融资风险。而且还进行精准的上市辅导,让企业从容应对美国证管会审核,缩短上市时间。渐进式上市辅导,先借壳上市再转主板,时间快、成本低,融资额高。最重要的是可协助企业运用独特的APO运作,利用知识产权技术出资,做成公司资产,进行股权实缴,增加每股净值。先在国内快速融资,同时通过收购美国上市公司的经营权、股权获得上市地位,再将原有公司的股权、资产、绩效等转移至上市公司完成上市,并实现向国内外投资者募集资金的行为;使企业后期发展及上市有更为良好的表现。 红万斗构建内容平台矩阵把各个链接的价值串联起来,像是一个WiFi总热点,不仅拥有巨大的用户群体,多个流量入口支持,同时还具有得天独厚的社交优势,有效帮助商家进行流量的变现和转化。通过用户各类应用的使用习惯与消费习惯,有效积累大数据标签,为数据运用做好铺垫;构建平台积分的丰富消费场景,为未来的数字货币体系做好铺垫,掌握用户究竟是谁,实现用户触达,做精准化运营,获得进一步的价值,使价值用户最大化,用户价值最大化。 利用广告流量变现,通过分析用户各类应用的使用习惯与消费习惯,并结合用户在平台上的基础属性,形成全面的数据标签,合作的应用方可通过数据标签进行有效地广告投放,从而让自己获得更多的有效用户,类似于“淘宝直通车”。 数据驱动精益成长:大数据应用进入高速发展期,未来新商业模式的出现有望带动更大的发展。通过大量数字化等方式,随时随地主动触达用户,以实现品牌对消费者的连接。通过优化投放成本,促进公众号、小程序加粉,从而为私域持续蓄水,继而复用私域数据,实现小程序数据积累。同时,基于整个网络生态平台,为应用的的使用者提供有价值的服务内容并掌握各类用户数据,实现精准化运营,从而提升用户的忠诚度及使用率,扩大整合互动应用终端,分享裂变,助力用户获得弯道超车的机会。 “很多人没有搞清楚什么是PC互联网时,移动互联网来了;我们还没有搞清楚移动互联时,大数据来了”——马云卸任时的演讲摘录 大数据广泛应用到各个行业、各个领域带来思维变革、管理变革、商业变革随着人类社会的不断发展,大数据带来的变革不言而喻,从思维变革到管理变革到商业变革,大数据带来质的变革。一方面,它可以带来更高的经济价值;另一方面,大数据的发展撼动着我们生活的方方面面,这种改变渗透到各个领域。 红万斗带你走进“富”生活——以全新的生活方式,创造万斗的富足人生通过红万斗的收益体系,创造充足的消费抵用积分,用于生活的方方面面,达到“日进万斗”的物质享受。通过红万斗的VIP服务体系,让生活方方面面的服务品质升级,达到“包罗万斗” 的精神享受。 随着互联网流量增长逐渐见顶,国内互联网巨头间的竞争格局也几近成型,电商与线上支付都已成为人们生活的一部分,在一部分人眼里,「上个十年」的线上与线下之争已经不再是最前沿的话题了,红万斗将会开启的是「下个十年」。 红万斗会为各应用终端合作过程中产生的服务收益;应用生态圈中的各大应用所产生流量的广告投放收益;迎合市场需求另行开发的自主应用所产生的消费收益;专业化交流圈层的各类活动与教育培训服务收益,实现众多渠道合作共赢! 世界金控通过上市前综合评估(上市可行性评估、财务风险评估、投资意愿评估、法律风险评估、权益精算规划、作业时程预估、实地尽职调查),降低企业上市与转板的风险。为企业量身定制,精准规划,并用独特的眼光和专业的服务协助越来越多的企业以更快速的方式壮大自己,完成上市,提升企业最大市值,并为企业带来更强有力的后盾支持。

    时间:2020-12-09 关键词: 互联网 大数据

  • 大数据流量矩阵的崛起

    大数据流量矩阵的崛起

    移动互联网正逐渐渗透到人们生活、工作的各个领域,微信、支付宝、位置服务、各种应用app等丰富多彩的移动互联网应用迅猛发展,正在深刻改变信息时代的社会生活,随着4G手机的普及,5G网络的部署,以及移动终端技术的持续提升,各类大数据用户数量也将会不断上升!预计2020年,我国数据总量有望占全球数据总量的21%,到2022 年,全球移动应用程序的下载量将达到2,582亿次,仍将保持较快速度发展;这些数据的得出也是来源于网络数据搜索与计算,大数据发展趋势预测总结为“融合、跨界、基础、突破”;对于这个大数据流量矩阵的全新市场,商业模式创新将给运营商带来新的机遇与挑战,未来6G时代,还将实现人与物的链接、物与物的链接、各类数据流量的链接,将会带来更进一步的基于链接矩阵的环境变化,万物互联的时代即将到来。     2018年,我国移动互联网市场规模高达11.39万亿元;2019年,我国移动互联网用户规模达13.19亿,占全球网民总规模的32.17%,去年我国电子商务交易规模为34.81万亿元,继续占据全球电子商务市场首位;网络支付交易总额249.88万亿元,移动支付普及率位于世界领先水平;全国数字经济增加值35.8万亿元,居世界第二位。2019年我国移动应用市场整体发展平稳,在全球移动应用市场具有较高影响力。《中商产业研究院》预测,2020年我国移动互联网市场规模将达16.64万亿元。                                                                                                                                                                                                                                               数据来源:网络总汇 各类移动应用(App)加快创新升级,成为数字经济发展的重要力量。即时通信、手机搜索、网络新闻App用户众多,游戏类App数量最多,音乐视频类App下载量最大,促进信息服务消费快速增长。移动互联网的浪潮正在席卷到社会的方方面面,新闻阅读、视频节目、电商购物、公交出行等热门应用都出现在移动终端上,在苹果和安卓商店的下载已达到数百亿次,而移动用户规模更是超过了PC用户。这让企业级用户意识到移动应用的必要性,纷纷开始规划和摸索进入移动互联网,客观上加快了企业级移动应用市场的发展。 展望2021年,资源型数字经济,公域流量,私域流量,发展内外俱佳,将进入绿色加速通道,5G、人工智能、工业互联网、物联网等新型基础设施持续发力,中国正式启动6G研发;数字经济生态,联合国积极作为,擎起全球数字合作与交流大旗,全球主要国家和地区高度重视,我国自上而下一致重视,数字经济的发展生态积极向好;技术型数字经济,仍处于美中“两国独大”的寡头格局,新一代信息技术整体更迭趋缓和热点技术持续爆发,“一热一冷”并存;融合型数字经济,打造品牌私域流量池。                                                 红万斗——引领未来新经济、新趋势 红万斗是由上海万斗网络科技有限公司创立的大数据平台,基于大数据趋势和应用,通过分享裂变的逻辑,挖掘用户,积累大数据,对接各种互动应用终端(APP、公众号、小程序、PC、嵌入式终端:POS机等),打造各类应用的生态圈,服务于生活方方面面的需求,提高各类用户价值体现。它属于 S to B to C 的应用联盟平台,即S(服务平台)、B(商家)、C(用户)之间的交互式网络;通过平台的聚合能力,协调接入应用之间商务合作产生的收益,释放给用户,激励用户的分享裂变,把用户的价值做大。 S to B,针对企业端,即是通过红万斗来打造应用生态圈,让所有应用终端在整个生态环境中,建立私域流量的蓄水池,可以通过合作,让所有应用终端的私域流量得以续航,帮助彼此高效打造私域流量,提高私域流量的变现效率,并保障了应用终端因合作及变现过程中造成的流量损耗,红万斗在建立公平公正的合作制度前提下,让应用之间产生粘性且高效合作,通过系统来完成自动化利益分配,有助于各应用终端的发展,相互助力彼此成长。 S to C,针对用户端,红万斗构建完善的分享机制与服务体系,通过各类应用终端的合作,渗透至生活的方方面面,致使用户产生极强的使用粘性,让每位应用的使用者,都能成为消费商,在整个应用生态圈中的消费与分享,都会让自己的累计消费来提升会员等级,获得裂变带来的各类管道收益及服务品质提升。在连接环境下的私域流量模式,可以产生很多的经营用户的有效方式。包括营销方式、内容方式、交互方式,这些方式都会围绕经营用户价值产生效率。 继2019年“私域流量”逐渐崛起后,有人说:2021年将是私域流量真正爆发的元年。特殊时期的冲击使得各大品牌纷纷投身线上,作为强力抓手,私域流量成为企业必须攻占的核心战场,品牌的私域意识也迎来空前的觉醒。未来,随着应用领域的拓展、技术的提升、数据共享开放机制的完善,以及产业生态的成熟,具有更大潜在价值的预测性和指导性应用将是发展的重点。随着广泛应用、数据规模爆发式增长以及数据分析及处理能力显著提升,量化投资将获取更广阔的数据资源,构建更多元的量化因子,投研模型更加完善。                                                                                                                  数据来源:红万斗数据整理 红万斗通过平台积分与VIP服务体系,促进用户在平台对接的应用中进行体验式消费,创造与应用方的商务合作收益;当接入的应用充裕而产生竞争,可通过联盟内部流量创造应用方的广告投放收益。 专业资深的多种分销激励模式研发团队,构建严谨、合理、合法的强关系平台奖励机制,促进用户分享及市场消费激励。低沟通市场成本,快速裂变;一旦用户体系形成,将具有强粘性的绑定关系,用户不易流失,且活跃度高。 红万斗团队一直持续关注着移动互联网大数据行业的发展动态和市场趋势。设计聚集资源的模式,并且要经过激活留存、规模扩张、商业转化和资源裂变等一系列操作,建立起用户的数字化运营体系,做好私域流量裂变一定要建立数字化的运营模式,使多种链接组合的矩阵,私域流量池的搭建和开发其实并不是最终目的,提高用户的价值,形成良好的口碑传播,扩大企业影响力才是最重要的体现。 随着新型互联网经济的兴起,红万斗公司不仅瞄准国内市场,同时也转向国际市场共同发展,所谓的国际市场是根据自身公司发展及未来趋势,红万斗公司以美国上市来壮大开拓自己的发展局域网,为未来发展奠定强有力的支持;因为在这个领域,红万斗具有相对垄断性的技术能力与从业经验,从而吸引了国内外一些风投创投机构的青睐,并有多家上市辅导机构,券商前来商谈合作意向和投资;经过多方面的选择与评估之下,红万斗最后选择与世界金融控股集团(以下简称世界金控)达成合作共识。 在2020年10月23日红万斗与世界金控签订赴美上市协议,并且世界金控方投资2亿入股红万斗。红万斗选择与世界金控合作主要是因其在美国或者国内都有众多长期合作机构,比如各大券商、律师事务所、会计师事务所以及各大投行机构等;除此之外,世界金控还以知识产权实缴出资的形式帮助各类企业完成或提高注册实缴资本,使企业做大做强更快速发展,而且总体费用相对其他辅导机构较低,完成上市进程更快。也因红万斗这个大数据平台领域是目前市场上稀有行业,所以世界金控也看重了对方除了有较为垄断性的技术和广阔的发展空间,相信在彼此的合作下,红万斗会开创出新的篇章和更加广阔的发展前景。                前排左一为世界金控法人代表盛延平先生,中间为红万斗公司董事长莫严迪先生,右一为红万斗公司首席执行官唐艺鸣女士                后排左一为世界金控运营部总监施令英女士,中间为世界金控执行总裁杨峻翔先生,右一为世界金控运营部总裁李晓雅女士 世界金控为美国上市公司(WFHG),除了帮助企业进行上市规划与特定的企业诊断让企业知己知彼,降低上市融资风险。而且还进行精准的上市辅导,让企业从容应对美国证管会审核,缩短上市时间。渐进式上市辅导,先借壳上市再转主板,时间快、成本低,融资额高。最重要的是可协助企业运用独特的APO运作,利用知识产权技术出资,做成公司资产,进行股权实缴,增加每股净值。先在国内快速融资,同时通过收购美国上市公司的经营权、股权获得上市地位,再将原有公司的股权、资产、绩效等转移至上市公司完成上市,并实现向国内外投资者募集资金的行为;使企业后期发展及上市有更为良好的表现。 红万斗构建内容平台矩阵把各个链接的价值串联起来,像是一个WiFi总热点,不仅拥有巨大的用户群体,多个流量入口支持,同时还具有得天独厚的社交优势,有效帮助商家进行流量的变现和转化。通过用户各类应用的使用习惯与消费习惯,有效积累大数据标签,为数据运用做好铺垫;构建平台积分的丰富消费场景,为未来的数字货币体系做好铺垫,掌握用户究竟是谁,实现用户触达,做精准化运营,获得进一步的价值,使价值用户最大化,用户价值最大化。 利用广告流量变现,通过分析用户各类应用的使用习惯与消费习惯,并结合用户在平台上的基础属性,形成全面的数据标签,合作的应用方可通过数据标签进行有效地广告投放,从而让自己获得更多的有效用户,类似于“淘宝直通车” 。 数据驱动精益成长:大数据应用进入高速发展期,未来新商业模式的出现有望带动更大的发展。 通过大量数字化等方式,随时随地主动触达用户,以实现品牌对消费者的连接。通过优化投放成本,促进公众号、小程序加粉,从而为私域持续蓄水,继而复用私域数据,实现小程序数据积累。同时,基于整个网络生态平台,为应用的的使用者提供有价值的服务内容并掌握各类用户数据,实现精准化运营,从而提升用户的忠诚度及使用率,扩大整合互动应用终端,分享裂变,助力用户获得弯道超车的机会。 “很多人没有搞清楚什么是PC互联网时,移动互联网来了;我们还没有搞清楚移动互联时,大数据来了”——马云卸任时的演讲摘录 大数据广泛应用到各个行业、各个领域带来思维变革、管理变革、商业变革随着人类社会的不断发展,大数据带来的变革不言而喻,从思维变革到管理变革到商业变革,大数据带来质的变革。一方面,它可以带来更高的经济价值;另一方面,大数据的发展撼动着我们生活的方方面面,这种改变渗透到各个领域。 红万斗带你走进“富”生活——以全新的生活方式,创造万斗的富足人生通过红万斗的收益体系,创造充足的消费抵用积分, 用于生活的方方面面,达到“日进万斗” 的物质享受。 通过红万斗的VIP服务体系,让生活方方面面的服务品质升级,达到“包罗万斗” 的精神享受。 随着互联网流量增长逐渐见顶,国内互联网巨头间的竞争格局也几近成型,电商与线上支付都已成为人们生活的一部分,在一部分人眼里,「上个十年」的线上与线下之争已经不再是最前沿的话题了,红万斗将会开启的是「下个十年」。 红万斗会为各应用终端合作过程中产生的服务收益;应用生态圈中的各大应用所产生流量的广告投放收益;迎合市场需求另行开发的自主应用所产生的消费收益;专业化交流圈层的各类活动与教育培训服务收益,实现众多渠道合作共赢! 世界金控通过上市前综合评估(上市可行性评估、财务风险评估、投资意愿评估、法律风险评估、权益精算规划、作业时程预估、实地尽职调查),降低企业上市与转板的风险。为企业量身定制,精准规划,并用独特的眼光和专业的服务协助越来越多的企业以更快速的方式壮大自己,完成上市,提升企业最大市值,并为企业带来更强有力的后盾支持。

    时间:2020-12-09 关键词: 大数据

  • 钟南山院士:“5G+智慧医疗”非常有用

    钟南山院士:“5G+智慧医疗”非常有用

    当今,随着物联网、大数据、云计算、人工智能和5G等新一代信息技术的不断发展,智慧医疗行业得到了飞快的发展。 “在今年全球的抗疫、防疫以及复工复产的过程中,5G+智慧医疗发挥了重要的作用。”11月26日,2020世界5G大会在广州举行,共和国勋章获得者、中国工程院院士钟南山通过视频分享了他对5G+智慧医疗的体验和展望。 今年的疫情加速了科技与医疗的融合发展,疫情期间科技抗疫发挥了重要作用。在“数字经济与科技抗疫”主论坛上,钟南山院士表示:“在这次抗疫工作中,信息通信技术为疫情防控提供了非常强大支撑,在态势的研判、信息共享、流行病学的分析等方面显示了巨大的能量。” “在今年全球抗疫防疫以及复工复产过程中,5G智慧医疗技术发挥了重要作用。”钟南山表示,5G+智慧医疗广泛应用在社区管理、疫情防控、远程医疗等多个场景。钟南山介绍,在商场、车站等人群密集场所,5G+热成像技术实现大量人群快速准确体温监测,筑起疫情第一道防线;在医疗治疗中,5G技术推动快速远程筛查、诊断和治疗,充分运用了优质专家资源,接收现场影像,提供救治指导;在复工复产过程中,5G+远程教育、在线办公等实现了抗击疫情与恢复生产两不误。 钟南山表示,5G技术推动了快速的远程筛查、诊断、治疗医学模式,“5G+远程会诊的系统,可充分利用优质专家资源,让专家对偏远地区的重症、危重症进行会诊,及时进行救治指导”。 疫情让全社会看到了“科技+医疗”的力量,也促进智慧医疗的创新与发展。5G、AI、云技术相配合,应用于医疗健康领域,为医生提供远程会诊、智能诊疗、辅助手术等服务,是智慧医疗的一个发展方向。 同时,5G技术催生的远程办公、远程教育,助力实现了抗击疫情和恢复生产两不误。“在各个部门,信息通讯新技术的有效应用,为保障健康和生产逐步恢复,减少人群聚集,阻止疫情的传播发挥了重要的作用。”钟南山说。 在他看来,未来5G时代,智慧治疗解决方案将以5G技术为依托,构建AI辅助诊断的应用,可有效解决我国供给严重不平衡,误诊、漏诊率高、耗时长等诸多问题。“随着5G时代的全面到来,以及5G技术深入应用和不断成熟,远程看护、诊断、手术将逐渐开展应用,因为它的清晰度比较高。” 钟南山说,“这不仅有助于提高患者的生活质量,且能够进一步释放医生的生产力,将深刻改变未来医疗体制甚至我们的生活方式。” 虽然今年暴发的新冠肺炎疫情给我国的经济发展和人们的生产生活带来了一定的影响。但是,它一定程度上也让我们认识到5G+智慧医疗的重要性。

    时间:2020-12-08 关键词: 5G 智慧医疗 大数据

  • 智能家居为人们提供更好的服务

    智能家居为人们提供更好的服务

    当今,随着物联网、大数据、云计算、人工智能等新一代信息技术的不断发展,智能家居行业得到了很大的发展。智能家居不仅可以很好地服务普通大众,也可以服务视障等残疾人士。 伴着智能家居快速发展,智能家居产品已呈现在我们日常生活当中。可以说现在每家每户都有几款智能家居产品,这些智能产品让我们生活的更方便、更快捷。而市场上的智能家居产品种类繁多,让人眼花缭乱,许多顾客不知怎样选择,现在小编给大家介绍家中常用的几款智能家居产品,方便我们智能生活。 智能扫地机器人 它能自己规划路径清洁地上,而且无需重复清扫,也不会遗失边角处没清扫到,当智能扫地机器人没有电时,自己能够充电,最主要的是,即便没有电的状况下去充电,待充满电依然能够回到原处进行清扫。当你工作累了,只需躺在沙发上歇息,智能扫地机器人就像保姆一样清扫卫生,还能远程用手机APP控制扫地机器人清扫房间卫生。智能扫地机器人是一款能代替人干活的实用性智能产品。 智能家居是在互联网的影响之下物联化体现。智能家居通过物联网技术将家中的各种设备连接到一起,提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。与普通家居相比,智能家居不仅具有传统的居住功能,提供全方位的信息交互功能。帮助家庭与外部保持信息交流畅通,优化人们的生活方式,帮助人们有效安排时间,还能增强家居生活的安全性,甚至为各种能源费用节约资金。 此外,作为“读光计划”的首批成果之一,中国盲文图书馆与优酷共建的无障碍影视网络视听平台未来三年将推出100部无障碍电影,便利视障人士欣赏文艺作品。 中国盲人协会副主席、秘书长,北京市盲人协会主席何川在体验后表示,这些智能产品未来会对盲人的生活产生很大的影响,希望这些智能设备将来能够进入残联辅具采购目录清单,走进更多视障人士的家。 智能家居的发展得到了我国政府的大力支持和社会各界的积极参与。小编相信,在未来智能家居行业将会取得更大的突破和发展。

    时间:2020-12-06 关键词: 物联网 智能家居 大数据

  • 欲将北京市建成全球新型智慧城市的标杆?

    欲将北京市建成全球新型智慧城市的标杆?

    北京是我国的首都。无论是经济领域还是科技领域,北京市在我国都是名列前茅的,在世界上的影响力也是非常大的。因此,北京市的智慧城市建设也得到了很多人的关注和期待。 未来5年,北京城将变得越来越“聪明”。近日,市经信局对《北京市“十四五”时期智慧城市发展行动纲要(征集意见稿)》向社会各界征求意见。根据征求意见稿,到2025年,北京将建设成为全球新型智慧城市的标杆城市。 根据征求意见稿披露的发展目标,到2025年北京城市整体数据治理能力将大幅提升,重点领域的智慧化应用水平大幅跃升。具体来看,“一网通办”惠民服务将便捷高效,“一网统管”城市治理智能协同,根基强韧、高效协同、蓬勃发展的新一代智慧城市有机体基本建成,全面支撑首都治理体系和治理能力现代化建设。 征求意见稿披露,在“一网通办”方面,本市将全面推进政务服务事项统一入口、统一预约、统一受理、统一赋码、协同办理、统一反馈,继续推进“一网、一窗、一门、一次”改革。这也将让更多事情在网上就能办、在手机上就能办。据悉,本市将进一步推动数据共享和业务协同,实现更多电子证照在政务服务领域应用,大力推进政务服务事项全流程网上办理;同时,加速落实指尖行动计划,分批实现交管、税务、医疗、不动产等重点服务事项移动端办理。 “一云两平台+N应用”的总体框架,围绕“惠民、精治、兴业、宜居、强基”的任务目标,建成大兴区政务云。通过政府购买服务的方式实现政务云的统一管理、集中采购付费,全面保障了政务、综治、公安等业务系统的平稳运行。目前,已初步完成大数据、时空信息、物联网等基础平台建设,具备为全区各单位提供数据采集、汇聚共享、治理等数据全流程处理能力及统一的二维和三维地图服务,实现基础工具和能力的集约统一建设,为智慧城市建设打牢基础。 健康管理方面,将健全覆盖全人群、全生命周期的健康服务体系,推动以社区智慧家医为抓手的 7×24 小时个性化健康管理服务;推动电子病历、医学影像等数据在不同层级医疗卫生机构间的授权使用;强化重大疫情跟踪体系,完善传染病监测网络,运用大数据支撑重点人群排查;推动重大疾病预防控制智能化体系建设,提升疫情监测预警和应急响应能力。 总的来说,小编对北京市的智慧城市建设还是充满信心和期待的。相信不用多久北京市将成为全国乃至全球智慧城市建设的标杆,成为我国的骄傲。

    时间:2020-12-05 关键词: 智慧城市 科技 大数据

  • 努力提升智慧城市的质量

    努力提升智慧城市的质量

    当今,随着物联网、大数据、云计算、人工智能等新一代信息技术的不断发展,智慧城市行业也得到了很大的发展。 在1990年,一场主题为“智慧城市、全球网络”的国际议会在旧金山举行,这是智慧城市思想首次被提出。2020年,恰是智慧城市理念诞生的整整30年。在这30年间,智慧城市经历无数新兴技术的应用,如信息化时代的数字城市,互联网时代的无线城市等等,虽然以智慧城市为建设目标的城市有很多,但绝大多数的城市,仍然只有智慧城市的“外壳”,而缺乏智慧城市的“灵魂”。 近年来,在城镇化发展不断加快的背景下,城市人口的持续增多和各种各样城市病的日益凸显,加剧了城市建设的要求与难度。为满足市民对于高质量、高水平城市生活的不懈追求,智慧城市建设开始受到越来越高的重视。依托各种前沿技术助推城市朝着可持续、绿色和智慧方向发展,也成为各省市的主要目标。 全自动化的生产线、细致入微的智能教学、休假工作两不误的折叠屏电脑、不见面即可深入讨论产品细节的VR视频会议……如今,随着5G时代的到来,数字化、信息化技术快速发展,正在重塑着城市的运行模式,让智慧城市迸发出日益强大的活力。 据不完全统计,目前中国有超过500个城市宣布了智慧城市建设计划。而在全球,已经启动或在建的智慧城市超过了1000个。但什么才算得上是真正的智慧城市?一个城市如能被冠以智慧之名,它的智慧必然是流动的,流转在不同的场景之间,并串联起这些场景和人。 几十年来,来自交通的挑战一直是城市发展最为头疼的问题。在人口和车辆数量急剧增多的情况下,城市交通拥堵、交通事故多发、停车困难等问题的频频出现,严重干扰了人们正常的生活与出行。在此背景下,推动智慧城市建设,交通问题解决刻不容缓。而无人机的出现和应用,刚好为交通问题的解决带来了福音。一方面,无人机能够通过对于城市道路的巡查,了解和发现交通问题产生的原因、范围等各种信息,有助于管理部门更好预防和应对各种问题的发生,同时做好未来道路规划,避免问题重复发生。 相信在我国政府的大力支持下和各大科技企业的共同参与下,我国在智慧城市领域将会取得更大的进步和发展。

    时间:2020-12-02 关键词: 物联网 智慧城市 大数据

  • 多项成果亮相2020绿色计算产业峰会,绿色计算跑出加速度

    2020,对很多产业、企业和个人来说,都是变局丛生的一年。   计算产业也不例外。随着富士通基于Arm架构研发的超级计算机Fugaku连续两次次登上 TOP500超算榜首,苹果基于Arm架构开发的M1芯片应用于自家Mac电脑后展现出全面优于Intel芯片的性能,那个根植于不少IT人脑中多年的“X86=高性能”铁律正在被快速击破。   11月26日,由绿色计算产业联盟(GCC)主办,电子技术标准化研究院、中国软件行业协会、中国计算机行业协会、边缘计算产业联盟协办,openEuler社区、openGauss社区、openLooKeng社区鼎力支持的2020绿色计算产业峰会在北京盛大召开,发布了一系列重大成果,给计算产业的多样化发展画上浓墨重彩的一笔。   其中,绿色计算产业联盟下设的标准与评测组通过对比测试发现,在大数据、分布式存储、高性能计算、Web应用四大服务器典型应用场景,绿色计算服务器相较传统架构服务器在多项测试用例中均有至少10%的性能提升,展现出极强的市场竞争力,对推动绿色计算架构进入更多计算场景提供了有力依据。   绿色计算大势所趋,计算产业迈向大协同 成立于2016年的绿色计算产业联盟,系顺应软件开源、硬件开放的信息技术发展趋势而组建,旨在汇聚全球产业链优势资源,以ARM计算芯片等开放技术为基础,为最终企业用户提供更容易使用和管理的绿色节能产品。目前绿色计算产业联盟已汇聚国内外成员单位100余家,涵盖国内外主流芯片、设备和软件厂商,用户以及相关研究机构、高校等。   2020绿色计算产业峰会,是绿色计算产业联盟举行的首届大规模会议。综合与会嘉宾分享的观点看,新基建时代,数据成为新的生产资料,算力成为新的生产力,要实现高质量可持续发展,计算产业全面迈向高效率、低成本、低能耗的绿色计算时代是大势所趋。   支持多架构算力、多业务场景的绿色计算,可以有效应对5G、人工智能、云计算、大数据、AR/VR等产业快速发展带来的业务多样性、数据多样性,以及数据中心AI、HPC算力飙升导致的巨大算力缺口,而传统单一的计算架构,则很难再以“一招鲜吃遍天”。   共识已经形成!本次会议吸引了650多位来自全球的顶级行业专家、企业领袖、生态伙伴和行业分析师,全面研讨绿色计算前沿技术、发展趋势,集中展示绿色计算创新应用、发展成果,共同推动绿色计算生态构建、生态繁荣,将大会“凝心聚力,共赢绿色计算新时代”的主题体现得淋漓尽致。   在绿色计算产业联盟的积极推动下,计算产业已经实现大协同。联盟成员在过去一年里各展所长、聚合资源、协同创新,于本次大会上发布了系列重要成果,包括多项绿色计算产业联盟标准、绿色计算服务器典型应用场景性能对比测试分析报告、绿色计算服务器机密计算安全白皮书等,将绿色计算从理念落实到实处,加速产业跃迁。   值得一提的是,每一个重要成果的背后,都有联盟相应领域成员单位的携手共创。基于开放的绿色计算架构,国内底层基础硬件、操作系统、服务器整机等领域的主流玩家此前已经开展相互之间广泛的适配兼容,积极推进小协同。这些小协同在绿色计算产业联盟大平台之下最终汇聚成全产业链参与的全栈大协同,勾勒出一幅欣欣向荣的共赢绿色计算时代的生态图卷。   四大场景评测结果发布,绿色选型有据可依 开篇提及的四大服务器典型应用场景评测结果,正是绿色计算产业联盟在此次峰会上发布的重要成果之一,堪称绿色计算从理念到实践的一记大招。   早在去年底,联盟理事单位中国电子技术标准化研究院便召集相关单位共同研制绿色计算产业联盟服务器分场景评测标准,联盟各会员单位积极响应,共同讨论确定了大数据、分布式存储、高性能计算、Web应用四个首批服务器典型应用场景,然后由联盟内相应领域龙头企业牵头组织编制,其他成员单位密切配合,形成各自场景的评测标准。   在编制分场景测评标准的同时,中国电子技术标准化研究院也积极组织相关会员单位进行标准的试验验证工作。本次峰会同期发布的四大服务器典型应用场景评测结果,便是由该院组织星环信息科技(上海)有限公司、星辰天合(北京)数据科技有限公司、华为技术有限公司、北京东方通科技股份有限公司这几家牵头单位共同测试完成的。   评测结果显示,在大数据场景,采用绿色计算架构的数仓/数集、实时处理、在线查询等组件性能平均提升了30%。在分布式存储场景下,采用绿色计算架构的随机小IO、顺序大IO性能提高了10%。在高性能计算场景,采用绿色计算架构的访存密集型场景性能平均提升了15%。在Web应用场景下,采用绿色计算架构的静态页面请求处理性能平均提高了10%。   这些典型场景测试结果表明,绿色计算服务器在大多数测试用例中展示出优于传统架构的性能表现。这意味着,绿色计算解决方案已经完全能够各行各业对应用性能的需求。这样的结果及时出炉,在当前数字化转型如火如荼,全场景计算对多样性算力需求日益上升的时代,无疑将给数智化转型升级期的用户提供一份清晰的选型指南!   据悉,接下来绿色计算产业联盟还将组织会员对更多场景展开评测,同时将基于上述分场景测评工作的阶段性成果,为联盟孵化绿色计算软硬件评测Benchmark体系,建设权威兼容认证测试中心,以推动联盟标准成为业内事实标准,推动计算产业朝着多重架构和多样性算力方向发展,给用户提供多样化、绿色节能的计算选择。 于变局中开新局,开放式创新孕育增长奇迹 回过头看,此次峰会呈现出来的变道超车后的柳暗花明,真应了那句“于变局中开新局”。探究绿色计算产业联盟在这个时间段内成果大爆发的原因,开源、开放、共享、共赢一定是绕不过去的关键词。   顺应软件开源、硬件开放的信息技术发展趋势而组建的绿色计算产业联盟,在其官方介绍中就明确提出,“联盟以构建绿色、开放、自主、共享生态体系为目标,致力于推动绿色计算产业发展,建设产业交流与合作平台,以促进企业在PC、服务器、存储、操作系统、数据库等领域的提升,推动在计算领域的合作共赢。”   从中可见,如果说绿色则是绿色计算产业联盟对市场需求和技术发展的准确把脉,那么开源、开放、共享、共赢正是通向绿色计算时代的“船票”。峰会上,无论是绿色计算产业联盟整体还是具体的成员单位,其创新成果无不镌刻着开源、开放、共享、共赢的印记。   作为绿色计算产业生态中的重要部分,华为技术有限公司鲲鹏计算业务总裁张熙伟在做主题演讲时介绍,本着“硬件开放,软件开源,使能合作伙伴”的理念,鲲鹏计算产业过去一年里聚合了12家OEM整机合作伙伴,1000+行业合作伙伴,30万鲲鹏开发者,在全国各地开设了21个鲲鹏应用创新中心,并通过“沃土计划”投入2亿美金扶持生态链,在硬件、软件、应用、人才等方面均取得长足发展,奠定了鲲鹏产业格局,构建了核心生态群体。   天津飞腾信息技术有限公司总经理窦强在分享中指出,生态对芯片企业非常重要,飞腾非常重视这方面的构建和发展,目前为止已联合1000多家国内软硬件厂商,研发了900多种主机产品和2000多个软件的适配优化。去年飞腾的芯片销量是30万片,今年交付应用的芯片超过了150万片。未来公司会在绿色计算产业联盟之下,一起把产业生态继续做大。   麒麟软件有限公司执行总裁韩乃平表示,麒麟以操作系统为核心,在CPU、硬件、中间件等相关应用方面非常丰富,目前有超过千家合作伙伴,有超过16000件软硬件适配的产品。经过十年的发展,现在国产操作系统已是非常成熟了,越来越多的得到应用。在绿色计算基础上整个体系也越来越完善了,市场也在增大。麒麟操作系统今年新中标的套件已经超过150万套,而去年也就20万套左右。   除了上述芯片、操作系统等领域的主要玩家外,做整机设备的宝德、做网络智能化的浩瀚深度,以及金融行业应用领域的长亮科技,SmartX及其金融行业客户中信建投的代表都登台做了分享,纷纷表示已经拥抱基于开放生态打造的绿色计算产品,并在实际应用中取得优秀的表现。   纵观上述底层基础硬件、操作系统、应用软件、整机设备、系统集成,乃至行业用户的理念及实践,无不蕴含着开源、开放、共享、共赢的开放式创新思维。相比传统计算一家独大之后的“挤牙膏”式升级,绿色计算产业联盟成员凭借原生的多场景计算架构,最先进的制程,全栈协作的开放式创新生态,不仅在产品性能上实现快速迭代全面赶超传统架构,也在商业上给用户提供了多样化、绿色经济的新选择。   正是这样“你中有我我中有你”、可大幅降低创新门槛的开放式创新,形成了中国计算产业最广泛的大协同,催生了适配兼容性好、端到端性能表现优异的全栈绿色计算解决方案,有效满足了“卡脖子”后多个行业多个场景的可持续、高质量发展需求,孕育了上述巨大的增长奇迹。   与会专家普遍预测,这种增长奇迹在今年已经有显著体现,未来两三年将展现出更加惊人的成长加速度。这意味着,在不久的将来,传统计算架构会加速落幕,一个崭新的绿色计算时代将加速到来! 免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

    时间:2020-11-29 关键词: 云计算 计算架构 大数据

  • 智慧城市的发展需要5G的支持

    智慧城市的发展需要5G的支持

    当前,5G和智慧城市都是十分热门的。将5G技术融合到智慧城市的建设中来将会具有很多意想不到的效果。5G将有利于推动智慧城市的发展。 随着经济社会的快速发展和加速转型,传统城市管理模式的局限性日益显现。随着全球城市化进程的加快,为了应对人口、资源、环境等对城市发展的挑战,全球各国都以“智慧城市”建设作为全新的城市发展理念和实践路径。 11月19日,2020中国5G﹢工业互联网大会“5G﹢智慧城市”专题论坛在武汉召开。 11月23日,随着2020世界互联网大会开启“乌镇时间”,无数目光正汇聚乌镇。据了解,如今的乌镇已经是一座“云享乌镇”,‘一位一码’可实现治理数据空间管理;‘一物一码’可实现设备一键报修;‘一事一码’可实现危险一键报警……通过5G、物联网、大数据、人工智能等先进技术赋能,这些城镇精细化管理服务水平正不断丰富人民群众的智慧生活体验。无独有偶,近日被世界目光聚焦的还有第十届全球智慧城市大会。11月18日,上海拿下世界智慧城市大奖,同时这也是中国城市首次获得智慧城市行业领域的“奥斯卡”。 “当生产力越来越具备数字化、网络化、智能化特点的时候,数据抓取将不再刻意,而是随着某一个经济行为所自然带出的行为,这样,数据的信度、效度才能大大提高,基于此得出的数据模型才更加靠谱。”对于未来智慧城市的数字化发展趋势,兰建平如是预判。 5G作为新型基础设施建设的重点领域,已成为推动我国经济高质量发展的重要举措。同时,5G以其为基础的泛在传感网络实现智慧城市万物智联,人、机、物深度融合发展。5G与云计算、大数据、人工智能以及物联网等为代表的新一代信息技术的深度融合,通过使5G网络根据末端应用场景灵活配置网络资源,满足智慧城市对网络差异化需求,成为支撑城市发展的重要毛细血管,为智慧城市赋能。 中国信息经济学会副理事长吕廷杰针对“5G新动能到算力网络”发表了演讲。他表示,连接﹢计算是新基建的核心,数据正在成为新的要素。5G的发展助力工业互联网进入智能制造时代,5G促进人工智能的发展及算力从云走向边缘和终端,整个算力融入网络的汪洋大海中,计算和网络将深度融合,云边端算力将全面协同,应用部署匹配计算,网络转发感知计算,网络发展将迈向智能算力网络的新阶段,为智慧地球提供数字动力,重构数字经济新生态。 中国移动作为全球最大通信运营商,拥有云网、数据、生态、能力、运营五大优势,在智慧城市领域充分整合自身体系和第三方专业公司,具备智慧城市方案设计、建设实施、运维服务的集成能力。同时,布局5G+AICDE战略,将5G与人工智能、物联网、云计算、大数据、边缘计算结合,构成数字中国的核心引擎,全力打造新型智慧城市运营商。 5G所具有的很多优点相信不用小编介绍很多人都知道。5G不仅能够直接给我们带来很多便利,它还能与其他产业结合在一起,给我们提供更好的服务。

    时间:2020-11-29 关键词: 智慧城市 5G 大数据

  • 高交会上展示智慧城市的风采

    高交会上展示智慧城市的风采

    当今,随着物联网、大数据、云计算、人工智能等新一代信息技术的不断发展,我国在智慧城市领域取得了很大的发展。 伴随大数据、云计算、物联网、人工智能、5G网络等技术的发展,正构建起一个万物互联、融合创新、智能协同、安全可控的新一代信息技术产业体系,并成为建设智慧城市的数字基座。深圳会展中心6号展馆举行的第二十二届高交会智慧城市展以“智启未来,慧联万物”为主题,是把脉中国城市数字化转型成效,透视中国智慧城市建设总体水平的重要窗口。 在第二十二届高交会的华为展区,华为城市管理服务指挥中心数字系统一目了然,一连串数字清晰展示了智慧城市建设的成果。在“协同中心”板块,可以实时看到城管执法局、市场监管局、绿化市容局、生态环保局受理、办结事项的最新进展。 本届高交会重点展示新一代信息技术、智慧城市、航空航天等高科技前沿领域的先进产品和技术,并举办论坛、专业技术会议及相关活动等。其中“智慧城市展”以“智造新驱动,慧革旧产城”为主题,汇集城市规划和管理各相关领域技术与产品,展示当今创新应用技术、优秀研发成果和成功智慧城市建设案例。平安智慧城市在“智慧城市展”展区内设置专馆,带来智慧政务、医疗、生活、教育、交通等十多个板块的城市级落地应用,结合多种的形式,呈现围绕“优政、惠民、兴业”三大目标搭建的“1+N”一体化解决方案,即:以一个城市大脑为引领,一朵智慧城市云为依托,打造智慧政务、市民、企业三大一体化平台,全面赋能N个智慧城市功能模块。 在展示现场,安邮中心的工作人员熟练地通过指令下达,实现了智慧社区管理,并享受到了来自终端的智慧服务,“除了上述账单查询、水气电管理等功能外,借助智慧邮,还可以完成移动办公、实时文件批复等,在云计算、大数据的背景下,可顺畅实现各个应用系统和个人真实身份之间的互联互通、互相感知,达到信息同享和协同处理。” 作为智慧城市的领军企业,华为公司一举囊括了“Asia-Pacific Leading Smart City Vendor 2019”、“2019中国智慧城市领军解决方案提供商”、“2019中国领军人工智能解决方案提供商”、“2019中国智慧城市领军云计算解决方案提供商”、“2019中国智慧城市领军信息安全解决方案提供商”、“2019中国领军智慧城市顶层设计解决方案提供商”、 “2019中国智慧园区解决方案提供商”、和“2019智慧城市生态圈建设杰出贡献奖”八项大奖。 让城市更聪明、更智慧,是推动城市治理体系和治理能力现代化的必由之路。平安智慧城市打造的智能培训一体化平台——平安知鸟获得了此次“2020中国领军智慧教育解决方案提供商”的称号。该平台相关负责人介绍,信息时代的职业教育发展方向逐步多元化。近几年,其从单纯的企业培训逐渐拓展至政府、市民的培训服务领域,将行业继续教育、企业内部培训、个人考证提升等多方面教育体系联动到一起,助力政府、企业和个人提升培训和受训的质效,推动职业教育产业智慧化升级。 平安智慧城市相关负责人表示,未来将继续围绕“优政、兴业、惠民”的建设目标,整合平台科技、服务能力及生态资源,为更多城市的数字化进程及社会民生发展做出应有的贡献,实现“让城市更平安,更智慧”。 小编相信,随着智慧城市的不断发展,我们的生活将会变得更加的舒适和便捷。让我们一起为智慧城市的发展努力吧。

    时间:2020-11-29 关键词: 智慧城市 人工智能 大数据

  • 大力发展5G终端的芯片

    大力发展5G终端的芯片

    当今,随着物联网、大数据、云计算、人工智能等新一代信息技术的不断发展,5G技术也得到了很大的发展。然而,5G的普及却远没有想象中那么简单。 “5G终端的普及对5G成功商用至关重要。”工信部数据显示,中国5G终端的连接数目前也已超过了1.8亿个。5G商用以来,运营商携手产业链不断丰富5G终端形态,增加终端数量,并推动终端应用落地。 据消息称,中国联通终端与渠道支撑中心副总经理陈丰伟日前透露,因为芯片缺货、元器件缺货,原定于今年四季度千元5G 手机大规模上市的情况并没有出现,大概会推迟一个季度。首款千元5G 手机 realme V3于9月1日发布,搭载联发科天玑720芯片,起售价999元,现已全面开售。但相比于另一款稍贵一点的 realme Q2该机并没有引起太大声音,甚至除官网外多个平台已经处于无货状态。 中国电信坚持终端引领,推进5G普及,2021年的目标是发展5G终端超1亿,全面切换SA;中国移动将通过多项举措,携手产业链,共同推进SA(独立组网)芯片和终端快速成熟;中国联通积极推动终端“四化”进程,持续构建5G终端产业链新生态……发展5G终端,将带动产业链全新升级。 11月10日,紫光展锐同盟同伴大会在上海谨慎召开,在5G+AI家当立异论坛上,中国联通终端与渠道支持中间/联通华盛通讯有限公司副总司理陈丰伟刊登了《5G终端发作从“芯”开始》的主题演讲,对中国联通5G商用一周年来开放同盟获得的功效举行了复盘,同时对2021年5G终端家当开展局势举行了研判。疫情并未影响5G的疾速开展,5G在网页、终端、使用等方面超预期开展。开始5G网页建设范围超预期,中国联通与中国电信共建分享,已建成5G基站超33万站,已具有SA底子网页才气。终规矩面,中国联通连接推动5G终端“四化”,即手机5G化、制式通用化、费用公众化、终端泛在化。 5G终端作为连接5G网络基础设施底座和相关应用的桥梁,在5G产业链中发挥关键平台和控制中心的作用,将借助5G eMBB、uRLLC、mMTC三大应用场景全面覆盖To B端和To C端,催生出新型产业形态与商业模式。 在5G的加持下,终端将向着5G+AI+区块链+云的方法演化,屏幕将从“单纯不变屏”演化到“多屏组合”,届时“终端+终端”的组合将缔造出新的使用场景。全体上2021年末端家当情况固然存在多个“不断定性”,有益有弊,不过利大于弊,变更的局势将使家当链同盟同伴同盟加倍慎密,终端的发作必将从“芯”开始。“开放同盟”创“新机”。中国联通继承“同盟共赢”的理念,连接为家当链同盟同伴赋能。在2020年2月到4月,中国联通团结100多家终端生态同盟同伴举行了线上系列举止,经历主题日的模式为同盟同伴的产物打call。 总的来说,要想高质量地发展和普及5G终端设备,就必须大力地发展5G终端芯片。让5G为我们提供更高质量的生活。

    时间:2020-11-28 关键词: 芯片 5G 大数据

  • 5.5G是产业愿景,也是对5G场景的增强和扩展

    5.5G是产业愿景,也是对5G场景的增强和扩展

    当今,随着物联网、大数据、云计算、人工智能等新一代高新技术的不断发展,5G技术也得到了很大的发展。要说5G技术,相信很多人第一时间想到的便是华为。 在中国,现在已经部署了超过60万个5G基站,覆盖300多个城市,可以说中国现在拥有全球最好的5G网络,不过从整体情况来看,5G网络主要还是集中在一些城市商圈,周边或者较为偏僻一点的地方就完全没有5G信号了。造成这一问题的主要原因就是5G基站建设成本非常高,单个5G基站的建设成本大概在60万元人民币左右,高额的成本一定程度上影响了快速大面积的普及,5G想要达到4G当前的覆盖率,还需要很长远的路要走。 相比于3G和4G,5G发展速度前所未有。截止当前,全球已部署的5G商用网络超过110张,5G站点超过80万个,5G智能手机发货占比超过60%;短短一年时间,全球5G用户数已经超过2亿,而3G和4G时代,这个数字分别只有32万和40万。 4G改变生活,5G改变社会。要达成5G的使命,需要持续推动5G产业发展。在2020全球移动宽带论坛(Global MBB Forum)上,华为携手行业伙伴探讨5G最新价值和机遇,引领全球MBB产业发展。 在2020全球移动宽带论坛上,华为常务董事汪涛表示,5.5G是5G的演进,其能够提升个人实时交互体验,增强蜂窝物联能力,并且可以断探索上行超宽带UCBC、实时宽带交互RTBC和感知定位HCS等新场景。 据悉,在面向个人用户建设5G精品网方面,华为通过5G全场景覆盖方案,使用户可以随时随地接入5G网络,且保持信号稳定。手机驻留5G网络之后,需要通过全频段设备多天线演进、4G/5G协同建设等方案,优化联接体验,保障用户一致性体验。此外,华为率先提出极简站点的概念,通过设备全室外部署,减少天面/站点/机房的租金,降低网络TCO。 借助完整的毫米波5G,服务器无法容纳媒体,而介于两者之间的因特网体系结构却不能限制无线连接的瓶颈。这类似于今天许多千兆位因特网客户看到的内容,他们从内容交付网络中只能看到每秒50兆字节的速度,而整个互联网连接可以承载每秒100兆字节的速度。因此,除了可以访问5G 毫米波信号的相对有限的位置之外,用户还可以期望不久的将来,完全利用其承诺的速度。 我想呼吁一下产业链,能够尽快将5G网络普及,能够将5G资费降下来,因为现在5G手机的出货量已经相当大了,今年1-10月国内市场5G手机累计出货量1.24亿部,占比分别为49.4%,已经逼近一半,但很多消费者并未用上5G网络。 总的来说,5G的普及可不是一件简单的事情,需要考虑到很多方面的情况。不过小编相信,在以后,随着5G技术的不断发展和成熟,5G资费也会大大降低。

    时间:2020-11-27 关键词: 物联网 5.5G 大数据

  • 5G赋能多行业发展

    5G赋能多行业发展

    当今,随着物联网、大数据、云计算、人工智能等新一代信息技术的不断发展,5G技术得到了很大的发展。除此之外,5G技术还能赋能很多行业的发展。 正式商用一年来,我国5G发展驶入快车道。截至9月底,全国已开通5G基站69万个,提前完成2020年5G基站建设目标。目前,我国已经基本实现了地市级5G网络覆盖。 11月17日,从广东省政府新闻办召开的2020世界5G大会新闻发布会上获悉,由广东省人民政府、国家发展和改革委员会、科学技术部、工业和信息化部共同主办的2020年世界5G大会将于11月26至28日在广州举办。本届大会的主题为“5G赋能 共享共赢 5G+,By All for All”。 5G是支撑经济社会数字化、网络化、智能化转型的关键新型基础设施。在相关政策的带动和各级各部门的共同努力下,我省5G发展不断加快,5G基站开通比例位列全国第一方阵。专家表示,5G赋能工业更将深刻地驱动第四次工业革命。抢抓5G融合应用先机,山西已经在智慧矿山、智慧交通、智慧城市等方面积极探索,迈出矫健步伐。 世界5G大会是全球首个5G领域的国际性盛会,2019年在北京首次举办。大会云集世界各地的专家学者和企业高管,围绕“5G改变世界、5G创造未来”主题开展深入研讨,中共中央政治局委员、北京市委书记蔡奇,国务委员,科技部部长,工信部原部长,国家发展改革委副主任等出席了开幕式,充分体现了对5G产业发展的高度重视。 5G建设不断迈上新台阶,助推各种网络、技术、应用融入生产生活 手里拿着形似游戏中的操作手柄,广西钢铁集团有限公司冷轧厂的90后技术员彭期文坐在5G创新工作室内。他手指轻触手柄按键,操控大屏幕上显示,智能装载机已将沉重的轧辊轻松吊起,运送到磨床……有了5G技术加持,过去需要3人配合才能完成的单次吊运工作,现在1人远程就能完成。低至1至5毫秒的时延,高达1.2Gbps(吉比特每秒)的下载速率,第一视角的高清视频,实时对装载机进行监控……在冷轧厂酸轧车间磨辊班班长韦莹看来,5G给他带来全新的工作体验:既保障远程操控的精准性,又改善了工作环境,还能实现1人操控两台装载机,极大地提升了工作效率。 5G下井研发催生出新千亿级蓝海 如今,在新元煤矿,依托5G网络高速率、大连接、低时延的三大特性,井下500多米深处的操作变成了地上远程控制。以前巡检工人每天要走5—8公里,而现在这些“井下哨兵”正逐渐被机器人替代。新元煤矿通过井下5G专用网络实现了煤矿生产的少人化、自动化、可视化,开全国智能矿山之先河。新华社记者赵阳深入新元煤矿井下采访,进行5G直播连线时,最大的感受是直播信号非常好,直播视频传输非常流畅。 当前,5G的应用场景变得越来越广泛了。小编相信在5G技术的大力加持下,众多行业将会得到前所未有的发展。

    时间:2020-11-26 关键词: 物联网 5G 大数据

  • 工业物联网的“春天”来了,但还放不下海量数据存储之痛

    本文来源:物联传媒 本文作者:露西 眼下,5G、物联网、大数据、云计算、AI等信息技术的发展让市场产生了很多变化,搜索其中任何一个词条,都能找到无数与之关联的行业和公司。 在技术洪流的裹挟中,全世界的产业竞争形势变得激烈起来,关于生存和发展的问题变得日益严峻。尤其在工业场景,讲究从批量化转向定制化,从单一性走向多样性;生产周期要变短,更新速度要快;工业应用要整体朝着需求高端化、技术高端化、产品高端化发展…… 有目标当然是好,但有时候,这些"口号"恰巧制造了某种焦虑,如同坊间流传的那句——不转型等死,转不好找死,透露出"想象中"和"现实里"二者间的矛盾与拉扯。 想象中,以工业环境下数据产生、采集、传输、分析、应用为核心,工业物联网是物联网行业中最被寄予厚望的一类分支,未来将达到万亿美元市场规模。Gartner也为此做出了乐观预测——到2025年,50%的工业企业将利用工业物联网平台改善工厂运营,对比2020年这一数据仅为10%。 现实里,企业用户在上线工业物联网项目之前存在很多顾虑与难题,比如资金投入不足、系统化建设滞后、数据管理水平与数据质量不高、企业内部存在数据孤岛等。降本增效的愿景虽然很美好,但如何从没有尽头的物联网数据中快速有效地挖掘价值,似乎不是一件容易的事。 两种观点的作用下,工业物联网最终被共识为一项值得长期发展的重要事业。而回到数据才是物联网事业的核心价值这一点,由于工业场景设备众多,有些设备甚至处于偏远地带或恶劣的环境状态,如若不能用自动化、智能化的手段进行数据存储与管理,很多风险便如同隐形炸弹一般长期存在,最终将影响数据在场景应用中的变现能力。 大致说来,围绕工业场景数据存储与管理的四大痛点可以归纳如下: 01 数据爆炸 根据IDC 2018年的预测,到2025年,世界数据的总和将从33ZB增长到175ZB,其中在IoT设备上将产生90ZB的数据,并且有30%的数据将被实时消耗。 结合5G最大的应用场景在工业物联网,另有机构预测表示,未来每个智能工厂每天约产生1TB数据,每辆自动驾驶汽车每天约产生4TB数据……数据之洪流,正滚滚扑面而来,任何一次高并发或高带宽的任务请求,都有可能使存储系统空间不足而致业务中断。 02 数据分散 物联网应用最大的痛点是碎片化和分散化,这一点也体现在数据上。Gartner预测到2021年,全球联网设备将达到280亿个,其中半数以上与物联网相关。工业环境中数不尽的传感器、设备、生产线,几近24小时日夜不间断地产生数据,如果不加控制地让数据跟随设备成为一个个的信息孤岛,数据之间缺少流动和整合,那么数据的价值也就因此降低。而且在大多时候,因为各存储设备空间不共享,其实也会造成存储资源的浪费和成本的增加。 03 数据需要在边缘存储分析 依然是Gartner的预测:到2021年,40%的大型企业会将边缘计算、边缘存储与分析纳入项目范围,虽然2017年这一比例仅为不到1%。 尤其在工业物联网领域,对于数据分析提出两大要求:一是部分场景要求低时延,相比上传云端,更需要在本地对数据进行存储、分析及利用,并且这种方案也比上传到云端节省带宽成本;二是行业正强调去中心化的网状部署模式,要求边缘节点拥有智能并互相沟通,提高响应速度和应用价值。 04 数据存储安全 虽然某些非关键基础设施或者成本敏感型行业中,中小型公司对安全的诉求普遍都会降低。但对于掌握众多设备和工艺的工业应用来说,企业需要时刻确保数据的机密性、完整性以及可用性,即敏感数据不会被未授权用户侵入、系统中存储的数据是完整可靠的、已授权用户可以轻松地使用这些数据。 在一些反面案例中,往往是由于数据量激增而导致存储节点出现故障,存储业务因此中断,最终故障发生之前、发生之时的数据都已丢失或未记录,数据的完整性得不到保障。 工业物联网数据存储新风向: 西部数据最新发布IX SN530 NVMe 工业级固态硬盘 (SSD) 在近期举行的全球最大的存储行业展会——2020美国闪存峰会(Flash Memory Summit)上,西部数据首发了三款全新存储解决方案,旨在为数据中心、工业物联网、汽车和客户端应用构建以数据为中心的下一代存储架构。 针对工业物联网和汽车领域市场需求,西部数据推出了IX SN530 NVMe SSD,通过符合工业和自动驾驶应用的苛刻要求,向客户提供高性能、宽温度范围的存储解决方案。 IX SN530 NVMe SSD产品亮点: 支持广泛的温度范围:IX SN530工作温度范围在-40°C至+ 85°C,支持在复杂的工业级应用环境中可靠使用,同时减少系统设计者对于保持存储设备适宜工作温度的担忧。 为崎岖和极端条件而制:IX SN530强化了产品在撞击和振动环境下保持稳定性能的能力,其运行抗冲击力高达20Gs,适用于工厂自动化、运输、医疗、机器人、无人机、国防、零售等严苛的应用场景。此外,IX SN530预计寿命最高达24,000 TBW,更方便编写管理偏远地区的密集型应用程序。 稳健可靠的设计:IX SN530 是完全垂直集成的固态驱动器,集成了西部数据公司的 96 层 3D NAND 技术、内部控制器和固件开发、内部验证和认证,以及广泛的测试等环节,使其成为处理各种工业和汽车用例的理想工具。另外,IX SN530 提供TLC和SLC两种配置,TLC系列已开始提供样品,SLC版本预计于2021年1月正式上市。 为 NVMe SSD 做好准备:IX SN530 提供M.2 2230 和 M.2 2280两种形状因素,提供从85GB到2TB的容量范围,支持满足各种系统设计和机械约束条件。这种紧凑的解决方案有助于降低维护成本并增强可服务性,简化向工业级 PCIe NVMe SSD 的过渡。 总的来说,与西部数据以往推出的产品相比,IX SN530强化了其面向工业物联网场景的性能与功效,是一款更具有针对性意义的高规格产品。 并且值得一提的是,相较于消费级产品,工业级场景下用户对存储设备的可靠性、稳定性和使用寿命的要求只高不低,这在技术实现上本就是一大挑战。 以及物联网仍然属于成本敏感型产业,若在提供优质技术的同时展现可接受的成本投入,存储方案被客户采纳的概率将大大提高,因此具有规模化生产和生态聚合能力的存储厂商将具有更大市场优势。 西部数据的"存储版图" 作为一家具有50年存储业技术和商业积淀的国际公司,西部数据拥有6 个世界级晶圆厂,主要采用一体化IDM模式运营,集芯片设计、制造、封装、测试、销售等多个产业链环节于一身,面向行业提供从芯片到系统的全线存储解决方案。 包括此次发布的IX SN530 NVMe SSD 是面向工业物联网和自动驾驶领域的一款专业产品,结合此前推出的e.MMC嵌入式闪存、UFS嵌入式闪存、SD存储卡、microSD存储卡,PCIe SSD、SATA SSD等产品,西部数据正在构建丰富多元、性能优异的工业级闪存产品矩阵,进一步扩大市场份额。 以现有的产品矩阵为基础,未来,就如同西部数据公司闪存业务执行副总裁兼总经理Robert Soderbery所表示的: "西部数据将持续为云、企业存储、工业和客户端计算应用程序推出全新的固态硬盘产品。这些全新的固态硬盘将成为数字世界的重要组成部分,由新的体系架构赋能,为不同客户提供比以往更多的选择,以确保他们的数据存储能够快速、安全、有保障。" ~END~ 免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

    时间:2020-11-18 关键词: 物联网 5G 大数据

  • 信科新实践,共促新发展——中国电机工程学会一行赴中国信科集团参观交流

    信科新实践,共促新发展——中国电机工程学会一行赴中国信科集团参观交流

    近日,以“数字新基建,电力领先锋”为主题的2020年电力行业信息化年会顺利召开,本届年会由中国电机工程学会电力信息化专业委员会和国家电网有限公司信息通信分公司联合举办。中国工程院院士李建成、国家电网有限公司互联网部主任魏晓菁、国网大数据中心主任王继业、中国南方电网有限责任公司改革发展研究中心特聘研究员王志英等众多业内知名信息化专家参与了大会。本次会议旨在促进现代信息技术在电力行业的应用、电力信息通信先进技术的传播、行业技术标准的制定,进一步推动电力行业信息化蓬勃发展。 当日,根据大会议程,中国电机工程学会电力信息化专委会副主任委员欧阳述嘉、秘书长王思宁、副秘书长董杰带领一行15位专家参观了中国信科展厅及楚天云大数据中心。 来到中国信科展厅,各位专家参观了中国芯、海缆、智慧城市、智慧党建、云计算、大数据等服务于各行业的智慧解决方案。这些“智慧”解决方案离不开数据和云端,这也正是本次信息化大会关注的重点论题。中国信科自主研发的服务器已在芯片、GPU卡、智能网卡、智能SSD卡等多个核心零部件领域达到国产化,整机国产化率超过95%。随后参观了智慧灯杆模拟场景,依托于天然带电、数量众多、网状分布的优势,烽火智慧灯杆已成为智慧城市建设的极佳入口,也是多维全域感知网数据采集前端站点的优质媒介。 接着,中国信科与行业专家莅临湖北省楚天云有限公司进行参观。楚天云是智慧湖北的重大工程,是集云计算、大数据于一体的全省统一云基础设施综合服务平台和数据交换枢纽平台。包括政务云、产业云、民生云,一期实现了180+厅局委办业务的接入,迁移660个业务系统至云平台,汇聚核心数据220亿条。 疫情发生已来,楚天云公司依托云计算和大数据两大资源平台,构建全省防疫“一张图”,累计处理疫情数据109.13亿条,提供疫情人群标签接口服务30.3亿次,同时建设疫情数据标准11项。此外,还创建了湖北健康码、鄂汇办疫情服务平台、武汉战疫小程序、医院捐赠物资管理系统等各类疫情应用系统。在武汉市卫健委的指导支持下,积极响应政策要求和居民就医需求,充分发挥“互联网+”优势,基于“健康武汉官微”微信小程序发布互联网医院服务功能,极大解决了疫情期间生病患者开药续方的难题,减少了不必要的出行。 参观后,行业专家与领导对中国信科在信息通信领域做出的努力和引领表示肯定,中国信科也将在未来提供更加丰富的电力信息化相关解决方案,助力电网智慧转型。

    时间:2020-11-17 关键词: 云计算 电力 大数据

  • 曙光入选中国新基建之王“大数据领域50强”榜单

    曙光入选中国新基建之王“大数据领域50强”榜单

    11月9日,由36氪创投研究院评选的中国新基建之王“大数据领域TOP50企业”榜单揭晓,中科曙光以业内领先的大数据技术和生态能力,跻身中国大数据企业50强。 该榜单是由36氪创投研究院从企业的资本价值力、研发与创新力、产业影响力三个维度出发,经过对大数据市场资料研究、行业调研、企业访谈等多个环节,充分评估企业实力及发展潜力后作出的排名。与中科曙光一同入选50强名单还有阿里巴巴、华为、腾讯、百度、金山等公司。 中科曙光在发展大数据的过程中,构筑了自身差异化的特色,形成了四大核心能力,即“敏捷、智能、融合、安全”,并取得了系列成绩:服务器产品突破了TPC-BB全球大数据标准测试性能;XData大数据智能引擎刷新了TPCx-HS基准测试世界记录;载入2020年国家工信部公示的大数据产业发展试点示范项目名单;大数据平台已聚集了超过600多家生态合作企业,服务超过2000家客户,支撑了超过1000款智能应用的运行,并且累计处理超过1000PB的数据…… 榜单显示,后疫情时代,随着大数据国家战略的加速落地 ,政府、企业、社会管理部门加速“数字化”转型,大数据体量呈现爆发式增长态势,大数据企业将再次进行产业更迭,迎来新的发展机遇。未来,中科曙光也会持续加强大数据技术的研发,并以更加开放和共赢的生态合作新模式,促进大数据技术的产业化发展,助力我国大数据产业的长足发展。 更多曙光相关资讯,欢迎搜索微信公众号“中科曙光/sugoncn”,关注曙光公司官方微信。

    时间:2020-11-10 关键词: 曙光 新基建 大数据

  • 浅谈大数据中的2PC、3PC、Paxos、Raft、ZAB

    一致性 简述 一致性,是指对每个节点一个数据的更新,整个集群都知道更新,并且是一致的。假设一个具有N个节点的分布式系统,当其满足以下条件时,我们说这个系统满足一致性: 全认同: 所有N个节点都认同一个结果 值合法: 该结果必须由N个节点中的过半节点提出 可结束: 决议过程在一定时间内结束,不会无休止地进行下去 面临着的问题 消息传递异步无序: 现实网络不是一个可靠的信道,存在消息延时、丢失,节点间消息传递做不到同步有序 节点宕机: 节点持续宕机,不会恢复 节点宕机恢复: 节点宕机一段时间后恢复,在分布式系统中最常见 网络分化: 网络链路出现问题,将N个节点隔离成多个部分 拜占庭将军问题: 节点或宕机或逻辑失败,甚至不按套路出牌抛出干扰决议的信息 如下形象demo: 周五我:晚上下班吃鸡周六凌晨xc:好的                             // 消息延迟我:WC---------------------------------我:晚上下班吃鸡xc:No(两小时后)xc:No problem!                     // 宕机节点恢复我:WC---------------------------------我:晚上下班吃鸡...                                 // 节点宕机---------------------------------我:晚上下班吃鸡cx:好,我们去大保健!                 // 拜占庭将军我:WC 前面 已经讨论过,在分布式环境下,有很多不确定性因素,故障随时都回发生,也讲了CAP理论,BASE理论。我们希望达到在分布式环境下能搭建一个高可用的,且数据高一致性的服务,目标是这样,但CAP理论告诉我们要达到这样的理想环境是不可能的。这三者最多完全满足2个。 在这个前提下,P(分区容错性)是必然要满足的,因为毕竟是分布式,不能把所有的应用全放到一个服务器里面,这样服务器是吃不消的,而且也存在单点故障问题。所以,只能从一致性和可用性中找平衡。 怎么个平衡法?在这种环境下出现了BASE理论:即使无法做到强一致性,但分布式系统可以根据自己的业务特点,采用适当的方式来使系统达到最终的一致性;BASE由Basically Avaliable 基本可用、Soft state 软状态、Eventually consistent 最终一致性组成,一句话概括就是:平时系统要求是基本可用,除开成功失败,运行有可容忍的延迟状态,但是,无论如何经过一段时间的延迟后系统最终必须达成数据是一致的。 其实可能发现不管是CAP理论,还是BASE理论,他们都是理论,这些理论是需要算法来实现的,今天讲的2PC、3PC、Paxos算法,ZAB算法就是干这事情。 所以今天要讲的这些的前提一定是分布式,解决的问题全部都是在分布式环境下,怎么让系统尽可能的高可用,而且数据能最终能达到一致。 2PC 2PC(tow phase commit)两阶段提交。它本身是一致强一致性算法,所谓的两个阶段是指:第一阶段:准备阶段(投票阶段) 第二阶段:提交阶段(执行阶段)。我们将提议的节点称为协调者(coordinator),其他参与决议节点称为参与者(participants, 或cohorts)。 阶段1 在阶段1中,协调者发起一个提议,分别问询各参与者是否接受,如下图: 在这里插入图片描述 阶段2 在阶段2中,协调者根据参与者的反馈,提交或中止事务,如果参与者全部同意则提交,只要有一个参与者不同意就中止。如下图: 在这里插入图片描述 实例 下面我们通过一个例子来说明两阶段提交协议的工作过程:A组织B、C和D三个人去爬山:如果所有人都同意去爬山,那么活动将举行;如果有一人不同意去爬山,那么活动将取消。用 2PC 算法解决该问题的过程如下: 首先A将成为该活动的协调者,B、C和D将成为该活动的参与者。 阶段1: A发邮件给B、C和D,提出下周三去爬山,问是否同意。那么此时A需要 等待B、C和D的邮件。 B、C和D分别查看自己的日程安排表。B、C发现自己在当日没有活动安排,则发邮件告诉A它们同意下周三去爬山。由于某种原因, D白天没有查看邮 件。那么此时A、B和C均 需要等待。到晚上的时候,D发现了A的邮件,然后查看日程安排,发现周三当天已经有别的安排,那么D回复A说活动取消吧。 阶段2: 此时A收到了所有活动参与者的邮件,并且A发现D下周三不能去爬山。那么A将发邮件通知B、C和D,下周三爬山活动取消。 此时B、C回复A太可惜了,D回复A不好意思。至此该事务终止。 数据库中的2PC 在innodb存储引擎,对数据库的修改都会写到undo和redo中,不只是数据库,很多需要事务支持的都会用到这个思路。 对一条数据的修改操作首先写undo日志,记录的数据原来的样子,接下来执行事务修改操作,把数据写到redo日志里面,万一捅娄子,事务失败了,可从undo里面回复数据。 不只是数据库,在很多企业里面,比如华为等提交数据库修改都回要求这样,你要新增一个字段,首先要把修改数据库的字段SQL提交给DBA(redo),这不够,还需要把删除你提交字段,把数据还原成你修改之前的语句也一并提交者叫(undo) 数据库通过undo与redo能保证数据的强一致性,要解决分布式事务的前提就是当个节点是支持事务的。 这在个前提下,2pc借鉴这失效,首先把整个分布式事务分两节点,首先第一阶段叫准备节点,事务的请求都发送给一个个的资源,这里的资源可以是数据库,也可以是其他支持事务的框架,他们会分别执行自己的事务,写日志到undo与redo,但是不提交事务。 当事务管理器收到了所以资源的反馈,事务都执行没报错后,事务管理器再发送commit指令让资源把事务提交,一旦发现任何一个资源在准备阶段没有执行成功,事务管理器会发送rollback,让所有的资源都回滚。这就是2pc,非常非常简单。 说他是强一致性的是他需要保证任何一个资源都成功,整个分布式事务才成功。 在这里插入图片描述 优缺点 在异步环境并且没有节点宕机的模型下,2PC可以满足全认同、值合法、可结束,是解决一致性问题的一种协议。从协调者接收到一次事务请求、发起提议到事务完成,经过2PC协议后增加了2次RTT(propose+commit),带来的时延增加相对较少。优点: 优点:原理简单,实现方便 缺点: 缺点:同步阻塞,单点问题,数据不一致,容错性不好 同步阻塞 在二阶段提交的过程中,所有的节点都在等待其他节点的响应,无法进行其他操作。这种同步阻塞极大的限制了分布式系统的性能。 单点问题 协调者在整个二阶段提交过程中很重要,如果协调者在提交阶段出现问题,那么整个流程将无法运转。更重要的是,其他参与者将会处于一直锁定事务资源的状态中,而无法继续完成事务操作。 数据不一致 假设当协调者向所有的参与者发送commit请求之后,发生了局部网络异常,或者是协调者在尚未发送完所有 commit请求之前自身发生了崩溃,导致最终只有部分参与者收到了commit请求。这将导致严重的数据不一致问题。 容错性不好 二阶段提交协议没有设计较为完善的容错机制,任意一个节点是失败都会导致整个事务的失败。 3PC 三阶段提交(Three-phase commit),是二阶段提交(2PC)的改进版本。与两阶段提交不同的是,三阶段提交有两个改动点。 引入超时机制。同时在协调者和参与者中都引入超时机制。 在第一阶段和第二阶段中插入一个 准备阶段。保证了在最后提交阶段之前各参与节点的状态是一致的。也就是说,除了引入超时机制之外,3PC把2PC的 准备阶段再次一分为二,这样三阶段提交就有CanCommit、PreCommit、DoCommit三个阶段。 在这里插入图片描述 第一阶段canCommit 3PC的CanCommit阶段其实和2PC的准备阶段很像。协调者向参与者发送commit请求,参与者如果可以提交就返回Yes响应,否则返回No响应。 1.事务询问 协调者向参与者发送CanCommit请求。询问是否可以执行事务提交操作。然后开始等待参与者的响应。2. 响应反馈 参与者接到CanCommit请求之后,正常情况下,如果其自身认为可以顺利执行事务,则返回Yes响应,并进入预备状态。否则反馈No 第二阶段PreCommit 协调者根据参与者的反应情况来决定是否可以记性事务的PreCommit操作。根据响应情况,有以下两种可能。假如协调者从所有的参与者获得的反馈都是Yes响应,那么就会执行事务的预执行。 发送预提交请求 协调者向参与者发送PreCommit请求,并进入Prepared阶段。 事务预提交 参与者接收到PreCommit请求后,会执行事务操作,并将undo和redo信息记录到事务日志中。 响应反馈 如果参与者成功的执行了事务操作,则返回ACK响应,同时开始等待最终指令。 假如有任何一个参与者向协调者发送了No响应,或者等待超时之后,协调者都没有接到参与者的响应,那么就执行事务的中断。 发送中断请求 协调者向所有参与者发送abort请求。中断事务 参与者收到来自协调者的abort请求之后(或超时之后,仍未收到协调者的请求),执行事务的中断。 第三阶段doCommit 该阶段进行真正的事务提交,也可以分为以下两种情况。 执行提交 发送提交请求 协调接收到参与者发送的ACK响应,那么他将从预提交状态进入到提交状态。并向所有参与者发送doCommit请求。 事务提交 参与者接收到doCommit请求之后,执行正式的事务提交。并在完成事务提交之后释放所有事务资源。 响应反馈 事务提交完之后,向协调者发送Ack响应。 完成事务 协调者接收到所有参与者的ack响应之后,完成事务。 中断事务协调者没有接收到参与者发送的ACK响应(可能是接受者发送的不是ACK响应,也可能响应超时),那么就会执行中断事务。 发送中断请求 协调者向所有参与者发送abort请求 事务回滚 参与者接收到abort请求之后,利用其在阶段二记录的undo信息来执行事务的回滚操作,并在完成回滚之后释放所有的事务资源。 反馈结果 参与者完成事务回滚之后,向协调者发送ACK消息 中断事务 协调者接收到参与者反馈的ACK消息之后,执行事务的中断。 所有数据库的分布式事务一般都是二阶段提交,而这三阶段的思想更多的被借鉴扩散成其他的算法。 优缺点 与2PC区别: 第二阶段才写undo和redo事务日志 第三阶段协调者出现异常或网络超时参与者也会commit 优点: 改善同步阻塞 改善单点故障 缺点: 同步阻塞 单点故障 数据不一致 容错机制不完善 Paxos算法 这算法的提出者莱斯利·兰伯特在前面几篇论文中都不是以严谨的数学公式进行的。其实这个paxos算法也分成两阶段。首先这个图有2个角色,提议者与接收者。 第一阶段 提议者对接收者吼了一嗓子,我有个事情要告诉你们,当然这里接受者不只一个(一半要奇数个),它也是个分布式集相当于星期一开早会,可耻的领导吼了句:“要开会了啊,我要公布一个编号为001的提案,收到请回复”。这个时候领导就会等着,等员工回复1“好的”,如果回复的数目超过一半,就会进行下一步。如果由于某些原因(接收者死机,网络问题,本身业务问题),导致通过的协议未超过一半, 这个时候的领导又会再吼一嗓子,当然气势没那凶残:“好了,怕了你们了,我要公布一个新的编号为002的提案,收到请回复1”【其实和上学时候老师讲课很像,老师经常问听懂了吗?听懂的回1,没懂的回2,只有回复1的占了大多数,才能讲下个知识点】 第二阶段 接下来到第二阶段,领导苦口婆心的把你们叫来开会了,今天编号002提案的内容是:“由于项目紧张,今天加班到12点,同意的请举手”这个时候如果绝大多少的接收者都同意,那么好,议案就这么决定了,如果员工反对或者直接夺门而去,那么领导又只能从第一个阶段开始:“大哥,大姐们,我有个新的提案003,快回会议室吧。。” paxos的核心就是少数服从多数。 苦逼的领导(单点问题):有这一帮凶残的下属,这领导要不可能被气死,要不也会辞职,这是单点问题。凶神恶煞的下属(一致性问题):如果员工一直都拒绝,故意和领导抬杆,最终要产生一个一致性的解决方案是不可能的。 所以paxos协议肯定不会只有一个提议者,作为下属的员工也不会那么强势 协议要求:如果接收者没有收到过提案编号,他必须接受第一个提案编号 如果接收者没有收到过其他协议,他必须接受第一个协议。一旦一个提议被大家同意,那么之后的人再次提议,也是无效的,结果必须跟先前被大家接受的一致。 形象解说 Paxos算法解决的问题是在一个可能发生消息延迟、丢失、重复的分布式系统中如何就某个值达成一致,保证不论发生以上任何异常,都不会破坏决议的一致性。这 个“值”可能是一个数据的某,也可能是一条LOG等;根据不同的应用环境这个“值”也不同。 一个典型的场景是,在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行相同的操作序列,那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列,需要在每一条指令上执行一个一致性算法以保证每个节点看到的指令一致。 例如:公司商定年会举办的地点,每个人都可以提出建议。在现实环境中我们可以在一个会议室共同讨论或在微信群中讨论(基于内存共享方式);但在基于消息传递的分布式环境中每个人只能通过手机短信与其它人通过。如何在这种会延迟、丢失的环境中确定一个年会举办地点; Paxos算法是这样解决这个问题: 1、每个人都可以提出建议、同意建议、接受建议 2、少数服从多数。只要建议被多数人同意即可确定该建议。于是确定以下讨论方式:1、只有被提出来的建议才能被大家同意。2、最终只能确定一个建议 3、如果某个人认为大家同意了某 个建议,那么这个建议必须真的是被大家同意的 算法推论:情况一:如果只有一个人提出建议怎么办?如果只有一个建议被提出来那么大家必须赞同这个建议,因为如果不同意这个建议就无法确定一个年会举办地点。P1:每一个人必须同意他收到的第一个建议, 基于这样的结论会出现以下问题: 张三给王五发短信说:我建议去上海举办年会!王五给李四发短信说:我建议去广州举办年会!李四给张三发短信说:我建议去北京举办年会! 根据P1:每个人必须同意他收到的第一个建议,那么张三、李四、王五最终获得的信息是不一致的。所以再次规定:一个提议必须被大多数人同意才能生效。那么说明一个人可以同时同意多个建议,如果一个人可以同时同意多个建议最终可能出现拜占庭将军问题导致最终结果不一致。(例如:张三同意到北京举办也同意到广州举办,那么李四将获得2票一票自己的,一票张三的。他会认为自己获得多数人支持所以就确定最终是到北京举办,同理王五也会同时获得2票,也认为大家最终决定到广州举办)。   所以要避免出现这种问题,某个人只能同意的多个提议中的内容相同(公司举办的地址)就不会出现这种问题。最终协商结果是有2票是到同一个地方,这样就可以确认最终举办地!那么就会引出 这样的一个结论:一旦同意某个建议,那么之后同意的建议中提议公司举办年会的地址必须一致。问题出来了:如何确定什么是之前,什么 是之后所以必须为提议分配一个编号,在提议之间建立一个全序关系。 情况二:当张三、李四、王五三个人确定最终到郑州举办年会后。赵六、孙七2人由于手机没电,没收到通知,当他们2人开机后赵六给孙七发短信提议到海南举办,这个提议是孙七开机后第一次收到的提议,根据P1原则,他必须同意他接收到的第一个提议,所以孙七同意到海南举行年会。但这样就会导致孙七与张三、李四、王五他们确定的举办地点不一致。为了避免出现以上问题。对P2进行具体说明:P2a:一旦一个提议被大家同意,那么之后的人再次同意的提议中的公司举办年会的地址必须一致。也就是说,孙七在开机后同意的第一个提议必须是“到郑州举办”才不会出现信息不一致的现象。但孙七开机后必须得接受第一个提议(P1原则),并且无法干涉提议中的内容(公司举办年会的地址)。所以最好的办法通过某种方式让赵六的提议中的内容与张三、李四同意的地址相同(到郑州举行)。这样孙七同意的第一个提议就是“到郑州举办” 我们再次对P2a进行修改:P2b:一旦一个提议被大家同意,那么之后的人再次提议,提议中的公司举办年会的地址必须跟之前其它人解决的地址一致。 如何让刚开机的赵六提议的内容必须与张三、李四、王五讨论出来的一致(到郑州举行)? 我们继续对P2b进行强化修改:P2C:如果有一个编号为N的提议具有V(提议的内容),那么存在一个多数派,要么他们中所有人都没有同意编号小于N的任何提议,要么他们已经同意的所有编号小于N的提案中编号最大的那个提案具有V。 要满足P2C的要求,提议人在提议之前,首先要和多数人通信并获得他们进行的最后一次同意的提议。之后根据反馈的信息决定这次提议的内容,形成提议开始投票! 重点 所以整个投票决议分两个阶段: 准备阶段 1、提议人选择一个编号N,并将准备信息发送给多数人。2、如果收信人收到准备消息后,如果提议的编号大于它已经回复的所有准备信息。那么收信人将自己上次接受的提议内容回复给提议人,并承诺不再回复小于N的提议。 同意阶段 1、当一个提议人收到多数人反馈的信息后,就进入同意阶段。它要向反馈给它信息的人再次发送一个请同意该提议的请求。包含编号N和根据P2C决定的提议内容(如果回复中没有反馈他们已经接受过的提议内容,则可以自由决定提议内容) 2、在不违背向其它人承诺的前提下,收到该提议请求后立即同意该请求。 假设:只有User1、User2、User3 三个人决定1+1等于几! 提案阶段 User1 提案编号为 1 并发送给User2和User3。 因User2 和User3 根据P2c它们并没有接受过小于编号为1的提案。所以它们可以接受该提议,并反馈给User1 不再接受小于编号1的提案。这时User1收到多数人的回复,将进入第2阶段。(如果收到的回复并不能形成多数人,那么将再次进入阶段1) User2 提案编号为2 ;并发送给User1和User3。 因User1第一次收到提案,并且根据P2C它并没有同意过小于编号为2的提议,所以它可以接受该提议。User3由于接受过User1编号为1的提案,但User2的提案编号 2 > 1 所以User3也可以同意User2的提议,并反馈不再接受小于2的提议。User2也收到多数人的回复,将进行第2阶段。 User3提案编号为3 ;并发送给user1 和user2 . 因user1收到user3编号为3的提案 > user2编号为2的提案,所以接受user3的提案。因user2收到User3编号为3的提案 > user1 编号为1的提案,所以接受user3的提案。至此user3也收到多数人回复,将进行第2阶段。 同意阶段 user1 发送编号为1的提议,提议内容为:1+1=1;并发送给user2和User3 。 由于user2已经声明不再接受小于3的提案,所以拒绝user1的提案。由于User3已经声明不再接受小于2的提案,所以同样拒绝User1的提案。User1提议被多数人拒绝,再次`进入阶段1**. user2 发送编号为2的提议,提议内容为:1+1=2;并发送给User1和User3 由于User1已经声明不再接受小于3的提案,所以拒绝user2的提议。由于User3已经声明不再接受小于2的提案,该提案编号=2所以user3同意User2的提议。但User2并没有获得多数人的同意,所以同样进行阶段1. User3 发送编号为3的提议,提议内容为:1+1=3;并发送给User1和User2; 由于 user1 声明不再接受小于3的提案,所以同意User3的提议。由于 user2 声明不再接受小于3的提案,所以同意User3的提议。 至此最终User3可以获得多数人的同意。 Raft Raft 也是一个一致性算法,和 Paxos 目标相同。但他还有另一个名字:易于理解的一致性算法。也就是说,他的目标就是成为一个易于理解的一致性算法。以替代 Paxos 的晦涩难懂。 什么是 Raft 算法 首先说什么是 Raft 算法:Raft 是一种为了管理复制日志的一致性算法。 什么是一致性呢? Raft 的论文这么说的:一致性算法允许一组机器像一个整体一样工作,即使其中一些机器出现故障也能够继续工作下去。 这里的一致性针对分布式系统。 领导人选举 Raft 通过选举一个高贵的领导人,然后给予他全部的管理复制日志的责任来实现一致性。 而每个 server 都可能会在 3 个身份之间切换: 领导者 候选者 跟随者 而影响他们身份变化的则是 选举。当所有服务器初始化的时候,都是 跟随者,这个时候需要一个 领导者,所有人都变成 候选者,直到有人成功当选 领导者。角色轮换如下图:而领导者也有宕机的时候,宕机后引发新的 选举,所以,整个集群在选举和正常运行之间切换,具体如下图: 从上图可以看出,选举和正常运行之间切换,但请注意, 上图中的 term 3 有一个地方,后面没有跟着 正常运行 阶段,为什么呢? 答:当一次选举失败(比如正巧每个人都投了自己),就执行一次 加时赛,每个 Server 会在一个随机的时间里重新投票,这样就能保证不冲突了。所以,当 term 3 选举失败,等了几十毫秒,执行 term 4 选举,并成功选举出领导人。 接着,领导者周期性的向所有跟随者发送心跳包来维持自己的权威。如果一个跟随者在一段时间里没有接收到任何消息,也就是选举超时,那么他就会认为系统中没有可用的领导者,并且发起选举以选出新的领导者。 要开始一次选举过程,跟随者先要增加自己的当前任期号并且转换到候选人状态。然后请求其他服务器为自己投票。那么会产生 3 种结果: a. 自己成功当选 b. 其他的服务器成为领导者 c. 僵住,没有任何一个人成为领导者 注意: 每一个 server 最多在一个任期内投出一张选票(有任期号约束),先到先得。要求最多只能有一个人赢得选票。一旦成功,立即成为领导人,然后广播所有服务器停止投票阻止新得领导产生。僵住怎么办?Raft 通过使用随机选举超时时间(例如 150 - 300 毫秒)的方法将服务器打散投票。每个候选人在僵住的时候会随机从一个时间开始重新选举。以上,就是 Raft 所有关于领导选举的策略。 日志复制 一旦一个领导人被选举出来,他就开始为客户端提供服务。客户端发送日志给领导者,随后领导者将日志复制到其他的服务器。如果跟随者故障,领导者将会尝试重试。直到所有的跟随者都成功存储了所有日志。 下图表示了当一个客户端发送一个日志给领导者,随后领导者复制给跟随者的整个过程 4 个步骤: 客户端提交 复制数据到所有跟随者 跟随者回复 确认收到 领导者回复客户端和所有跟随者 确认提交。 可以看到,直到第四步骤,整个事务才会达成。中间任何一个步骤发生故障,都不会影响日志一致性。 可视化的Raft算法 github上有一个帮助大家理解算法的页面,地址是 https://raft.github.io/raftscope/index.html 建议用电脑浏览器打开,如果在手机微信里打开,需要选择“访问原网页” 我截了一个运行状态的截图,左侧显示五台服务器,右侧显示日志。 在服务器图标上点击鼠标右键会出现操作菜单。操作菜单对应服务节点的状态改变,其中request模拟客户端请求服务器集群执行任务,会在右边产生日志。 在这里插入图片描述 总结 Raft算法具备强一致、高可靠、高可用等优点,具体体现在: 强一致性:虽然所有节点的数据并非实时一致,但Raft算法保证Leader节点的数据最全,同时所有请求都由Leader处理,所以在客户端角度看是强一致性的。 高可靠性:Raft算法保证了Committed的日志不会被修改,State Matchine只应用Committed的日志,所以当客户端收到请求成功即代表数据不再改变。Committed日志在大多数节点上冗余存储,少于一半的磁盘故障数据不会丢失。 高可用性:从Raft算法原理可以看出,选举和日志同步都只需要大多数的节点正常互联即可,所以少量节点故障或网络异常不会影响系统的可用性。即使Leader故障,在选举超时到期后,集群自发选举新Leader,无需人工干预,不可用时间极小。但Leader故障时存在重复数据问题,需要业务去重或幂等性保证。 高性能:与必须将数据写到所有节点才能返回客户端成功的算法相比,Raft算法只需要大多数节点成功即可,少量节点处理缓慢不会延缓整体系统运行。 ZAB 很多人会误以为ZAB协议是Paxos的一种特殊实现,事实上他们是两种不同的协议。ZAB和Paxos最大的不同是,ZAB主要是为分布式主备系统设计的,而Paxos的实现是一致性状态机(state machine replication) 尽管ZAB不是Paxos的实现,但是ZAB也参考了一些Paxos的一些设计思想,比如: leader向follows提出提案(proposal) leader 需要在达到法定数量(半数以上)的follows确认之后才会进行commit 每一个proposal都有一个纪元(epoch)号,类似于Paxos中的选票(ballot) ZAB特性 一致性保证 可靠提交(Reliable delivery) -如果一个事务 A 被一个server提交(committed)了,那么它最终一定会被所有的server提交 全局有序(Total order) 假设有A、B两个事务,有一台server先执行A再执行B,那么可以保证所有server上A始终都被在B之前执行 因果有序(Causal order) - 如果发送者在事务A提交之后再发送B,那么B必将在A之后执行 只要大多数(法定数量)节点启动,系统就行正常运行 当节点下线后重启,它必须保证能恢复到当前正在执行的事务 ZAB的具体实现 ZooKeeper由 client、 server两部分构成 client可以在任何一个 server节点上进行 读操作 client可以在任何一个 server节点上发起 写请求,非leader节点会把此次写请求转发到 leader节点上。由leader节点执行 ZooKeeper使用改编的两阶段提交协议来保证server节点的事务一致性 ZXID ZooKeeper会为每一个事务生成一个唯一且递增长度为64位的ZXID,ZXID由两部分组成:低32位表示计数器(counter)和高32位的纪元号(epoch)。epoch为当前leader在成为leader的时候生成的,且保证会比前一个leader的epoch大 实际上当新的leader选举成功后,会拿到当前集群中最大的一个ZXID(因为数据最新),并去除这个ZXID的epoch,并将此epoch进行加1操作,作为自己的epoch。 历史队列(history queue) 每一个follower节点都会有一个先进先出(FIFO)的队列用来存放收到的事务请求,保证执行事务的顺序 可靠提交由ZAB的事务一致性协议保证 全局有序由TCP协议保证 因果有序由follower的历史队列(history queue)保证 ZAB工作模式 ZAB 协议是为分布式协调服务 ZooKeeper 专门设计的一种支持崩溃恢复的原子广播协议。在 ZooKeeper 中,主要依赖 ZAB 协议来实现分布式数据一致性。ZAB协议两种模式:消息广播和崩溃恢复`。 广播(broadcast)模式 在这里插入图片描述 leader从客户端收到一个写请求 leader生成一个新的事务并为这个事务生成一个唯一的ZXID, leader将这个事务发送给所有的follows节点,将带有 zxid 的消息作为一个提案(proposal)分发给所有 follower。 follower节点将收到的事务请求加入到历史队列(history queue)中,当 follower 接收到 proposal,先将 proposal 写到硬盘,写硬盘成功后再向 leader 回一个 ACK。 当leader收到大多数follower(超过法定数量)的ack消息,leader会发送commit请求 当follower收到commit请求时,会判断该事务的ZXID是不是比历史队列中的任何事务的ZXID都小,如果是则提交,如果不是则等待比它更小的事务的commit(保证顺序性) 恢复(recovery)模式 恢复模式大致可以分为四个阶段  选举、发现、同步、广播。 当leader崩溃后,集群进入选举阶段,开始选举出潜在的新leader(一般为集群中拥有最大 ZXID的节点) 进入发现阶段,follower与潜在的新leader进行沟通,如果发现超过法定人数的follower同意,则潜在的新leader将epoch加1,进入新的纪元。新的leader产生 集群间进行数据同步,保证集群中各个节点的事务一致 集群恢复到广播模式,开始接受客户端的写请求 当 leader在commit之后但在发出commit消息之前宕机,即只有老leader自己commit了,而其它follower都没有收到commit消息 新的leader也必须保证这个proposal被提交.(新的leader会重新发送该proprosal的commit消息) 当 leader产生某个proprosal之后但在发出消息之前宕机,即只有老leader自己有这个proproal,当老的leader重启后(此时左右follower),新的leader必须保证老的leader必须丢弃这个proprosal.(新的leader会通知上线后的老leader截断其epoch对应的最后一个commit的位置) ZK选举机制 每个Server会发出一个投票,第一次都是投自己。投票信息:(myid,ZXID) 收集来自各个服务器的投票 处理投票并重新投票,处理逻辑:优先比较ZXID,然后比较myid 统计投票,只要超过半数的机器接收到同样的投票信息,就可以确定leader 改变服务器状态 脑裂 ZAB为解决脑裂问题,要求集群内的节点数量为2N+1, 当网络分裂后,始终有一个集群的节点数量过半数,而另一个节点数量小于N+1, 因为选主需要过半数节点同意,所以任何情况下集群中都不可能出现大于一个leader的情况。 参考 2PC跟3PC通俗说 Paxos形象说 知乎李凯讲Paxos 不错的Paxos讲解 小灰浅谈 特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下: 长按订阅更多精彩▼如有收获,点个在看,诚挚感谢 免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

    时间:2020-11-09 关键词: 互联网 大数据

  • 智能门禁系统助力疫情防控

    智能门禁系统助力疫情防控

    当今,虽然我国的新冠肺炎防控工作进入了常态化,但是我们仍然不可松懈,要继续做好疫情防控工作。当前,智能门禁系统可以大大助力疫情防控。 目前欧美疫情持续恶化,全球防疫形式依然十分严峻,而国内疫情在AI+大数据+互联网科技的助力下得到了有效的遏制。疫情期间,政府和企业通过大数据、AI、云计算等数字化技术,在疫情监测分析、病毒溯源、防控救治、资源调配等方面更好地发挥了支撑作用力。 经过长达8个月的规划、调研、安装、试运行,11月5日,成都市第五人民医院集人脸识别、智能测温、监测防护于一体的量身定做的智能门禁系统正式投入运行。该系统覆盖了医院的两个院区所有住院楼,弥补了单纯“人防”的缺陷与风险,既方便了患者、家属与医护人员,也大大提高了工作效率,更重要的是能更标准、更科学地应对秋冬季可能发生的新冠疫情。据了解,这是四川省首家全面启用疫情防控智能门禁系统的大型三甲医院。 UCloud优刻得结合自身在AIoT领域的技术优势,目前推出了疫情防控产品:人脸识别测温平板和智能防疫一体机,可分别应用于不同场景。人脸识别测温平板通过AI算法进行人脸识别和无接触测温;一体机在平板功能的基础上,更增加了360度消毒功能。两款产品都支持数据上报、云端智能分析、开放API接口以和考勤等第三方系统打通等功能,实现非接触、多目标、高精度规范检测。 如此,进入医院住院病区人员必须经过三道防线:第一道防线是医院入口,只有健康码显示绿色以及体温正常才能通过;第二道防线是住院楼大门,必须通过智能门禁系统;第三道防线是各病区入口,再次通过智能门禁系统进入自己所在的病区。而为了疫情防控的需要,各个筛查关口的体温检测筛查人员暂未撤下,而是与系统形成“人防+技防”的秋冬季疫情防控双保险,结合医院每天坚持进行的病人、陪护以及医护人员的健康状况检测,促进疫情防控智能化、科学化、精准化。

    时间:2020-11-08 关键词: 系统 智能 大数据

首页  上一页  1 2 3 4 5 6 7 8 9 10 下一页 尾页
发布文章

技术子站

更多

项目外包