当前位置:首页 > 物联网 > 智能应用
[导读] 近日,腾讯大数据技术沙龙首站——Angel专场在深圳举办,腾讯大数据团队详细披露了腾讯大数据十年发展历程,并全面展示了腾讯第三代全栈机器学习平台Angel在大模型数据训练、深度学习、图计算等方面的技术能力,也深入分享了在微信支付、效果广告、微众银行等场景上的应用案例。

 近日,腾讯大数据技术沙龙首站——Angel专场在深圳举办,腾讯大数据团队详细披露了腾讯大数据十年发展历程,并全面展示了腾讯第三代全栈机器学习平台Angel在大模型数据训练、深度学习、图计算等方面的技术能力,也深入分享了在微信支付、效果广告、微众银行等场景上的应用案例。

作为大数据领域的前沿探索者,腾讯大数据从2009年开始, 经历离线计算、实时计算与机器学习三个阶段,在实践中积累了大量的经验。大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今,大数据技术逐渐成熟,涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。

 

会上,腾讯大数据负责人刘煜宏正式发布了"星火计划",他表示:"在腾讯大数据十年的发展历程中, 我们不断追求技术创新, 集群数从30台到突破35000台。2016年,我们打破了计算奥运会之称的Sort Benchmark 4项世界纪录,性能全球领先。腾讯大数据的发展从开源中受益,秉承着开放共享的精神, 今天我们也推出技术共享的'星火计划',希望能够助力和反哺大数据生态繁荣。"

 

 

腾讯大数据发展"三部曲"

 

据刘煜宏介绍,2009年之前,腾讯主要使用传统的关系型数据库。2009年开始,传统的单机数据库所提供的服务,在系统可扩展性、性价比方面已不再适用腾讯业务爆发式的增长。面对这种变化,腾讯大数据转向分布式,基于开源的Hadoop体系,构建了腾讯第一代大数据平台,并建设离线计算平台,主要发力规模化。腾讯大数据由此进入第一阶段。三年里,腾讯实现了从关系型数据库到自建大数据平台的全面迁移,到2012年,腾讯大数据的单集群规模突破了4400台。

2012年,移动互联网爆发,应对业务数据统计及时性、快速性的需求,腾讯大数据从Hadoop转向Spark和Storm体系,在吸收开源技术的基础上,结合腾讯自身的需求进行重写,探索流式计算、秒级采集系统的建设,构建企业级的实时数据分析体系,腾讯大数据发展进入第二阶段。

2015年至今,腾讯大数据迈入了第三阶段。随着数据挖掘、数据应用的深入,腾讯大数据再次自我迭代,于2016年推出了自研机器学习平台Angel,专攻复杂计算场景,可进行大规模的数据训练,支撑内容推荐、广告推荐等AI应用场景。它由腾讯与北京大学联合研发,兼顾了工业界的高可用性和学术界的创新性。不仅支撑腾讯自身业务需求,在行业上也具有里程碑意义。

从海量业务中来,专注图计算场景

作为面向机器学习的第三代高性能计算平台,腾讯Angel在稀疏数据高维模型的训练上具有独特优势,擅长推荐模型和图网络模型相关领域。当前业界主流的大规模图计算系统主要有Facebook的Big Graph、Power graph、Data bricks的 Spark GraphX等,但这些系统并不都支持图挖掘、图表示学习、图神经网络的三大类型算法。

 

据腾讯Angel开发负责人肖品介绍,腾讯Angel从腾讯海量业务场景中而来,是超大样本和超高维度的机器学习平台。从性能上来看,Angel优于现有图计算系统,能够支持十亿级节点、千亿级边的传统图挖掘算法,百亿边的图神经网络算法需求。它可运行于多任务集群以及公有云环境,具备高效容错恢复机制,也更容易支持新算法,同时,Angel能够较好支持图挖掘、图表示、图神经网络算法,具备图学习的能力。

 

如今,Angel已在QQ、微信支付、腾讯广告、腾讯视频等腾讯旗下产品中广泛应用,并向微众银行等行业合作伙伴全面开放,普遍适用于智能推荐、金融风险评估等图计算业务场景。

到开源中去,积极贡献社区

发布仅一年时间,2017年,腾讯Angel就正式开源。2018年8月,腾讯将Angel捐赠给Linux旗下专注人工智能的LF AI基金会,结合基金会成熟的运营,全面升级的 Angel与国际开源社区深入互动,致力于让机器学习技术更易于上手研究及应用。

 

"Angel在2018年加入LF AI基金会进行孵化后,一直按照开源社区的模式进行运营,增长速度非常快,增加了特征工程、自动机器学习等很多新的功能,在Github上增加了超过2000个Star。" Linux Foundation APAC大中华区总监杨轩表示: "Angel是LF AI基金会下最活跃的项目之一,相信不久的将来,Angel将进入LF AI的顶级项目之列。"目前,Angel在GitHub上Star数已超过5300,Fork数超过1300,总共有39位代码贡献者,提交了超过2336个commit。

面向未来,大数据、AI和云的深度融合

 

刘煜宏表示:"AI、云计算与大数据密不可分,Angel从大数据平台到全栈机器学习平台的成长,也验证了这一行业方向。未来我们将把腾讯大数据的能力和技术,与AI、与云做深度融合,进一步落地大数据的价值,更好的助力合作伙伴和用户。"

腾讯Angel在深度学习和图计算能力的演变,也与大数据的行业发展方向相契合。据刘煜宏介绍,未来,腾讯大数据将持续发力数据湖、批流统一(批量计算、流线计算的融合)、AI+大数据、云计算+大数据四个主要方向。腾讯大数据星火计划是由腾讯发起、面向大数据爱好者的技术共享体系,基于腾讯大数据10年研发与运营经验,以社区开源、网络课程、线下沙龙、技术峰会等多种形式,充分开放腾讯十多年来在大数据领域的技术积累。本次Angel专场是星火计划的首次线下活动。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

随着互联网的迅猛发展,百度、阿里巴巴、腾讯等互联网巨头逐渐崭露头角,成为了行业的领军者。这些公司在云计算、大数据、人工智能等领域积累了丰富的经验和技术实力,为开发者提供了丰富的服务和工具。在这样的背景下,BAT模块应运而...

关键字: 互联网 云计算 大数据

随着大数据时代的来临,机器学习作为人工智能的核心技术之一,已经深入到各个领域并展现出强大的潜力和价值。机器学习通过对大量数据的分析、学习和预测,为各个行业提供了前所未有的机遇。本文将详细介绍机器学习的常见任务,并探讨这些...

关键字: 机器学习 大数据

业内消息,据洛图科技新一期《中国智能盒子线上零售市场追踪》报告,2023 年中国智能盒子(智能机顶盒)出货量惨淡,年度整体销量 313 万台,较 2022 年下降 27.5%。

关键字: 电视盒子 出货量 腾讯 小米 天猫魔盒

人脸识别技术作为一种高效、准确的身份识别方式,近年来得到了广泛的应用和发展。随着人工智能、大数据等技术的不断发展,人脸识别技术的准确度和可靠性得到了显著提高。本文将探讨人脸识别技术的发展现状和未来趋势。

关键字: 人脸识别 人工智能 大数据

业内消息,近日北京市规自委官网显示,北京市海淀区学院路北端A、B、C、J地块B4综合性商业金融服务业用地、B23研发设计用地完成出让,最终由腾讯科技(北京)有限公司底价摘得,成交价格为底价64.2亿元。

关键字: 腾讯

人工智能是“十四五”规划明确优先发展的前沿科技领域之一,如何看待未来我国人工智能领域的发展前景?目前,我国机器人基础研究状况如何?

关键字: 人工智能 物联网 大数据

最新消息,《英雄联盟》开发商拳头游戏(Riot Games)公司首席执行官 Dylan·Jadeja 近日发布全员信,表示将于近期裁员 11%,共涉及 530 名员工。

关键字: 英雄联盟 裁员 拳头游戏 腾讯

北京——2024年1月23日 行业数字化服务商华讯网络系统有限公司(简称华讯)充分利用亚马逊云科技丰富的数据和安全服务以及解决方案,结合自身在安全领域的技术优势和深厚沉淀,为企业提供涵盖安全事件响应、云原生安全大数据平台...

关键字: 大数据 数据分析 互联网

2023年,重庆云谷·永川大数据产业园通过大力发展科技影视、自动驾驶和服务外包产业,已形成科技影视、自动驾驶、服务外包“三足鼎立”之势,释放出高质量发展强劲动力。

关键字: AI 科技 大数据

业内消息,近日深圳市迅雷网络技术有限公司及旗下深圳市迅雷网文化有限公司新增两则开庭公告,原告为腾讯科技(北京)有限公司、重庆腾讯信息技术有限公司,其中一起案件原告还包括深圳市腾讯计算机系统有限公司,案由均为不正当竞争纠纷...

关键字: 腾讯 迅雷
关闭
关闭