当前位置:首页 > > AI科技大本营
[导读]整理|田玮靖出品|CSDN(ID:CSDNnews)当前,新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,同时,云数据库、HTAP数据库、AI向量数据库等物种的出现,为数据库领域带来了新的技术难题和业务痛点。如:分布式中的一致性,那么多数据一致性模型,到...

腾讯、阿里、字节竟然是这么做数据库的?!
整理 | 田玮靖出品 | CSDN(ID:CSDNnews)当前,新一轮科技革命使得数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,同时,云数据库、HTAP数据库、AI向量数据库等物种的出现,为数据库领域带来了新的技术难题和业务痛点。如:分布式中的一致性,那么多数据一致性模型,到底有什么不一样?如何保障数据安全与业务稳定发展?云数据库有哪些关键技术,怎么实现?“多云共存”,怎么进行数据库管控?以上问题有你正在关注、疑惑的地方吗?不妨看看国内大厂都是如何解决诸多难题的吧。10月23-24日,第二届“长沙·中国1024程序员节”(1024.csdn.net)重磅来袭,除16大数据库掌门人齐聚之外,组委会更特别推出“数据库技术实践与未来展望”主题论坛,邀请分布式数据库、云原生数据库、开源数据库、图数据库等领域的技术专家,围绕开发者广泛关注的数据库技术,结合大厂优秀实践,为你详细解读数据库技术痛点解决方案、前沿技术实现、技术应用趋势,希望你在处理好业务的同时,能够及时抓住发展机遇。腾讯、阿里、字节竟然是这么做数据库的?!接下来,我们一起来看来自腾讯TDSQL、阿里巴巴PolarDB、PostgreSQL、蚂蚁集团OceanBase、字节跳动、人大金仓、云和恩墨的大咖们都将带来哪些精彩的分享。


腾讯、阿里、字节竟然是这么做数据库的?!分布式数据库中的一致性创新技术

我们经常谈论一致性,但很多人又不明确一致性的含义。其实,在不同场景下,有着不同的一致性,腾讯数据库首席架构师李海翔就分布式数据库范围内的各种一致性做深度剖析,并对它们之间的关系做深度探索,最后还提出业界最新的一致性技术,并就多种主流数据库在一致性层面的差异做深度分析和解读。腾讯、阿里、字节竟然是这么做数据库的?!李海翔,腾讯数据库首席架构师、CCF数据库专委会委员,著有《数据库查询优化器的艺术》《数据库事务处理的艺术》《分布式数据库原理、架构和实践》等。
演讲大纲:1. 一致性技术的问题和挑战
  • 1.1 为什么要做到一致性?
  • 1.2 什么是一致性?
2. 有哪些一致性技术?
  • 2.1 架构层面的一致性
  • 2.2 数据层面的一致性
  • 2.3 事务处理的一致性
  • 2.4 分布式一致性
3. 如何实现分布式数据库的强一致性技术?
  • 3.1 在分布式数据库中,如何实现强一致性?
  • 3.2 主流数据库强一致性的优劣对比

腾讯、阿里、字节竟然是这么做数据库的?!云原生数据库、Serverless数据库与分布式数据库领域的发展和统一

近年来,随着高速总线技术与网络设备的进一步演进,分离式数据中心(Disaggregated Data Center)极有可能发展为未来云机房的标准,因此,阿里巴巴设计了下一代的云数据库架构,以内存池化、多租户、热迁移、混合逻辑时钟等技术为基础,融合了云原生数据库、Serverless数据库和分布式数据库等多个领域的数据库技术,向用户提供更加简单透明的扩展体验。来自阿里巴巴的研究员、PolarDB创始人曹伟(鸣嵩)将介绍云原生数据库、Serverless数据库和分布式数据库的关键技术,以及下一代云数据库架构的技术实现。腾讯、阿里、字节竟然是这么做数据库的?!曹伟(鸣嵩),阿里巴巴研究员,设计和主导研发了中国首个自主可控的云原生数据库PolarDB。演讲大纲:1. 云原生数据库的关键技术
  • 1.1 技术与存储分离
  • 1.2 RDMA、NVM等高速硬件
  • 1.3 共识算法
  • 1.4 日志下推
  • 1.5 计算下推
2. Serverless数据库的关键技术
  • 2.1 Auto Scale、Auto Pause
  • 2.2 Scaling Transparency
  • 2.3 Self-Driving
3. 分布式数据库的关键技术
  • 3.1 分布式事务
  • 3.2 分布式查询
  • 3.3 HTAP与湖仓一体
4. 下一代云数据库架构展望
  • 4.1 分离式数据中心与内存池化
  • 4.2 多租户与热迁移技术
  • 4.3 Scale-Out on top of Scale-Up

腾讯、阿里、字节竟然是这么做数据库的?!

基于PostgreSQL的技术生态发展历程和演进趋势

PostgreSQL是一专多长的全栈式数据库,其凭借丰富的特性,稳定的表现,友善的协议,开放的生态,在广大数据库用户中倍受赞誉,三次摘得DB-Engines年度数据库桂冠!PostgreSQL中国区主席将为你介绍PostgreSQL扩展相关的生态,展现PostgreSQL内核之外的世界,为广大PG数据库的使用者,提供更多更优的解题思路,还会介绍一些基于PostgreSQL的分支、分叉、分布式、时序、流式数据库的解决方案。

腾讯、阿里、字节竟然是这么做数据库的?!张文升,PostgreSQL中国社区主席,探探数据库负责人,《PostgreSQL实战》《PostgreSQL指南:内幕探索》等书籍译者。演讲大纲:1. 运行在PostgreSQL上的扩展生态
  • 1.1 行业事实标准PostGIS
  • 1.2 流式数据处理 Extension Pipelinedb
  • 1.3 时序数据Extension Timescaledb
  • 1.4 基于Extension机制的分布式解决方案 Citus
2. 基于PostgreSQL的创新历程和实践
  • 2.1 早期的分布式实现PG-XC,PG-XL
  • 2.2 PostgreSQL在国内的创新分叉 openGauess
  • 2.3 分布式解决方案创新产品 PalarDB-PG,TDSQL-PG,antDB
  • 2.4 时序数据库新秀MatrixDB
  • 2.5 PostgreSQL之于信创
3. PostgreSQL关键技术的演进趋势
  • 3.1 可插拔存储引擎(TAM)对PostgreSQL生态演进方向的影响
  • 3.2 人工智能和云基础设施和新兴硬件构建新时代的数据库应用形态
  • 3.3 数据库服务和支撑体系的变革

腾讯、阿里、字节竟然是这么做数据库的?!

数字化转型中面临的关键挑战和尝试

企业在数字化转型中,对数据管理的主要诉求及面临的挑战是连续性和先进性,企业需要在这个战略性变革中平滑过渡,还需要能够长期演进的数据库产品、技术和解决方案。来自OceanBase的产品部负责人王南将为你介绍他们的解决方案和建议。

腾讯、阿里、字节竟然是这么做数据库的?!王南,OceanBase产品部负责人,原华为openGauss数据库总经理,曾负责GaussDB、openGauss和GMDB等业务。演讲大纲:1. 数字化过程中面临的新挑战2. 怎么解决这些挑战和问题
  • 2.1 集中式到分布式的业务改造
  • 2.2 数据的平滑迁移
  • 2.3 容灾技术和方案
  • 2.4 HTAP能力
  • 2.5 混合基础设施部署
  • 2.6 成本和风险控制
3. 下一步还需要做什么
  • 3.1 新场景、新硬件和新技术的挑战
  • 3.2 OceanBase的尝试

腾讯、阿里、字节竟然是这么做数据库的?!

字节跳动图数据库和图计算实践

随着移动互联网的深入发展,数据实体之间的关联性越发凸显,Graph在解决关联性问题时有种种优势,也成为学术界和工业界关注的热点。Gartner预测,到2025年图技术在数据和分析创新中的占比将从2021年的10%上升到80%。该技术将促进整个企业机构的快速决策。

在字节跳动多条产品线上,拥有大量图状关系数据,如何存储、查询、分析乃至挖掘这些图状数据不仅关系到核心数据资产的安全,也影响到是否能够充分挖掘数据价值赋能业务。因此,图数据的存储和计算,是字节跳动架构工程团队的核心方向之一。字节跳动图数据库与图计算平台负责人张帅将以字节跳动的业务场景为例,分享图数据库和图计算技术如何解决具体数据处理问题。

腾讯、阿里、字节竟然是这么做数据库的?!

张帅,字节跳动图数据库与图计算平台负责人,中科院计算所硕士毕业,专注基础架构领域。演讲大纲:1. 图形数据无处不在
  • 1.1 字节跳动的图数据场景举例
  • 1.2 如何用图来对数据建模
2. 图数据库系统
  • 2.1 现有图数据库架构比较
  • 2.2 字节跳动实践架构演进
  • 2.3 字节图数据库的未来演进
3. 图计算系统
  • 3.1 图计算系统有哪些典型场景
  • 3.2 图计算系统和图数据库系统对比
  • 3.3 字节图数据库系统实践
4. 一站式图平台
  • 4.1 多种技术如何抽象为业务场景
  • 4.2 平台功能介绍
5. 总结
腾讯、阿里、字节竟然是这么做数据库的?!

如何在“多云共存”环境中,进行数据库管控

如今,信息化已经进入了云计算、大数据快速发展的时代,越来越多的业务在云端开展,迫切需要将数据库服务管控能力与云计算平台进行深度融合,提供可按需申请、开箱即用、稳定可靠、可弹性扩展的云端数据库服务。同时,在云时代,“多云共存”成为新一代IT基础设施的存在形态,但不同的云平台其技术标准不一、实现方式各异,使得统一申请、使用、管理数据库变成了一件难事。在此背景下,人大金仓提出了新的解决思路,其工具产品研发中心总监将在演讲中为你揭晓。 腾讯、阿里、字节竟然是这么做数据库的?!黄新著,北京人大金仓信息技术股份有限公司工具产品研发中心总监,拥有20年IT行业从业经验,具备丰富的软件产品、软件架构设计和研发实战经验。演讲大纲:1. 云数据库时代的RDS2. 金仓云数据库服务(KRDS)管控新思路
  • 2.1 立于多云环境之上的KRDS
  • 2.2 平台化与服务化的KRDS体系架构
  • 2.3 金仓云数据库全生命周期管理及关键技术
  • 2.3.1 基于智能翻译技术实现异构数据库迁移转换和改写
  • 2.3.2 无侵入的探针技术
  • 2.3.3 海量数据迁移加速技术
  • 2.3.4 数据库性能诊断、分析与调优
3. 如何实现跨越多云的RDS实例管控
  • 3.1 KRDS云适配器设计思路
  • 3.2 KRDS实例管控

腾讯、阿里、字节竟然是这么做数据库的?!

内存表MOT存储引擎的创新与实现

MOT(memory-optimized tables,内存优化表)是以内存为中心的行存储引擎,提供事务ACID保证,针对众核和大内存优化,可以提供非常高的交易型工作负载性能。云和恩墨MogDB数据库CTO张程伟,就MOT中涉及的关键技术进行介绍,并对其未来的演进方向进行探索。腾讯、阿里、字节竟然是这么做数据库的?!张程伟,云和恩墨MogDB数据库CTO,曾任华为云数据库创新LAB首席架构师,拥有个人专利23项。演讲大纲:1. 数据库的性能挑战
  • 1.1 数据库的性能分布
  • 1.2 数据库的性能优化方向
2. 以内存为中心的数据库设计
  • 2.1 MOT总体方案
  • 2.2 无锁高并发的索引设计
  • 2.3 乐观的事务并发控制协议
  • 2.4 高效Checkpoint机制
  • 2.5 内存管理机制
  • 2.6 兼容性设计
3. 未来演进方向
腾讯、阿里、字节竟然是这么做数据库的?!如何使用全面向量化技术,打造极速统一的数据分析架构

数据驱动正在深刻地改变整个世界,我们的业务数据、数据报表、数据指标越来越多,但我们分析数据的速度却越来越慢,报表构建的复杂度也越来越高。如何有效地分析这些海量数据,真正利用数据为业务创造价值?本次分享主要介绍如何使用全面向量化技术,打造极速统一数据分析架构,高效支持海量数据的多维分析、实时分析、高并发分析等多种数据分析场景。腾讯、阿里、字节竟然是这么做数据库的?!赵纯,StarRocksCTO。曾在百度作为技术负责人带领团队从零到一成功研发分布式事务数据库TafDB。作为Apache Doris初创成员之一,参与该项目的打造并主导了Doris数次架构迭代及开源、社区构建、推广等工作。演讲大纲:1. 数据分析现状和挑战2. 极速统一架构:何谓极速
  • 2.1 单表、多表极速分析
  • 2.2 向量化执行引擎
  • 2.3 CBO优化器
  • 2.4 物化视图
3. 极速统一架构:何谓统一
  • 3.1 实时,面向更新的存储引擎
  • 3.2 联邦查询
4. 应用案例:贝壳找房的统一OLAP平台俗话说,再厉害的工程师,也需要站在前人的肩膀上造轮子,才能创造更大的价值。10月24日,关于大厂如何做数据库,解决技术难题、业务痛点,这里有你想要的答案!除“数据库技术实践与未来展望”论坛外,还有先进计算与人工智能技术、工业互联网
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: 驱动电源

在工业自动化蓬勃发展的当下,工业电机作为核心动力设备,其驱动电源的性能直接关系到整个系统的稳定性和可靠性。其中,反电动势抑制与过流保护是驱动电源设计中至关重要的两个环节,集成化方案的设计成为提升电机驱动性能的关键。

关键字: 工业电机 驱动电源

LED 驱动电源作为 LED 照明系统的 “心脏”,其稳定性直接决定了整个照明设备的使用寿命。然而,在实际应用中,LED 驱动电源易损坏的问题却十分常见,不仅增加了维护成本,还影响了用户体验。要解决这一问题,需从设计、生...

关键字: 驱动电源 照明系统 散热

根据LED驱动电源的公式,电感内电流波动大小和电感值成反比,输出纹波和输出电容值成反比。所以加大电感值和输出电容值可以减小纹波。

关键字: LED 设计 驱动电源

电动汽车(EV)作为新能源汽车的重要代表,正逐渐成为全球汽车产业的重要发展方向。电动汽车的核心技术之一是电机驱动控制系统,而绝缘栅双极型晶体管(IGBT)作为电机驱动系统中的关键元件,其性能直接影响到电动汽车的动力性能和...

关键字: 电动汽车 新能源 驱动电源

在现代城市建设中,街道及停车场照明作为基础设施的重要组成部分,其质量和效率直接关系到城市的公共安全、居民生活质量和能源利用效率。随着科技的进步,高亮度白光发光二极管(LED)因其独特的优势逐渐取代传统光源,成为大功率区域...

关键字: 发光二极管 驱动电源 LED

LED通用照明设计工程师会遇到许多挑战,如功率密度、功率因数校正(PFC)、空间受限和可靠性等。

关键字: LED 驱动电源 功率因数校正

在LED照明技术日益普及的今天,LED驱动电源的电磁干扰(EMI)问题成为了一个不可忽视的挑战。电磁干扰不仅会影响LED灯具的正常工作,还可能对周围电子设备造成不利影响,甚至引发系统故障。因此,采取有效的硬件措施来解决L...

关键字: LED照明技术 电磁干扰 驱动电源

开关电源具有效率高的特性,而且开关电源的变压器体积比串联稳压型电源的要小得多,电源电路比较整洁,整机重量也有所下降,所以,现在的LED驱动电源

关键字: LED 驱动电源 开关电源

LED驱动电源是把电源供应转换为特定的电压电流以驱动LED发光的电压转换器,通常情况下:LED驱动电源的输入包括高压工频交流(即市电)、低压直流、高压直流、低压高频交流(如电子变压器的输出)等。

关键字: LED 隧道灯 驱动电源
关闭