阿里巴巴电商搜索推荐实时数仓演进之路

• 数据处理阶段直接将用户维表、商品维表、商家维表以行存模式存储到Hologres中，以此替代Hbase存储。Flink中的作业可以直接读取Hologres的维表，与行为日志进行关联。

• 在数据查询和服务阶段，我们将Flink处理输出的实时明细数据统一存储至Hologres，由Hologres提供高并发的数据实时写入和实时查询。

04

基于Hologres的最佳实践

实时数仓2.0版本因为Hologres的接入，既精简了架构，节约了资源，也真正实现了流批一体。这个架构也一直使用至今，下面是Hologres基于此架构在搜索推荐具体多个业务场景中的最佳实践。

1. 行存最佳实践

Hologres支持行存和列存两种存储模式，行存对于key-value查询场景比较友好，适合基于primary key的点查和 scan，可以将行存模式的表看作是一张类似于Hbase的表，用不同的表存储不同实体的维度信息。在Flink实时作业中可以高效地从Hologres行存表中读取维表数据，与实时流中的实体进行关联。

2. 列存最佳实践

Hologres中默认表的存储模式是列存，列存对于OLAP场景较为友好，适合各种复杂查询。

基于Hologres的列存模式，我们搭建了搜索、推荐业务的实时数据查询看板，在实时看板上可以支持数十个不同维度的实时筛选过滤。 在最高峰值每秒写入条数（RPS）超过500万的同时仍然可以秒级查询多个维度筛选下的聚合指标结果。

同时Hologres表支持设置表数据TTL的属性，一般我们将一张实时表的生命周期设置为48小时，超过48小时的数据会被自动删除，在实时看板中支持用户对最近两天内的实时数据进行查询，避免了不必要的资源浪费。

3. 流批一体最佳实践

Hologres不仅支持基于实时明细的数据的即席分析查询，也支持直接加速查询MaxCompute离线表，因此我们利用这一特性，实现流批一体的查询（实时离线联邦分析）。

在天猫大促活动中，我们利用Hologres的联邦分析能力搭建了核心商家的目标完成率、去年同期对比看板，为运营算法决策提供了有效的数据支撑。

其中目标完成率看板开发借助实时离线联邦分析变得更为简单，即通过Hologres实时查询大促当天的指标，并用实时表的当天指标除以离线表中设定的目标指标，从而让运营能够看到实时更新的核心商家当天目标的完成情况。

去年同期对比实时看板的计算逻辑也是类似的，可以在SQL中将实时表与去年的离线表JOIN后进行关键指标的同比计算。

所有的计算都可以在Hologres中完成，通过SQL表达计算逻辑即可，无需额外的数据开发工作，一份数据一套代码，降低开发运维难度，真正实现流批一体。

4. 高并发实时Update

在一些场景下，我们不仅需要向OLAP引擎实时增量写入数据，还需要对写入的数据进行更新操作（update）。

例如，在订单成交归因时，Flink实时作业会将订单提交数据流与进度点击数据流进行双流JOIN，并且在还需要取订单提交前的最后一次点击事件进行关联。当有多条点击事件先后到达时，我们就需要更新订单归因明细数据，此时需要利用Hologres的update支持，通过数据的主键更新原有数据，保证成交归因的数据准确性。在实践中Hologres的update写入峰值能达50W，满足业务高并发实时更新需求。

05

未来展望

我们希望未来基于Hologres引擎持续改进现有的实时数仓，主要的方向主要有：

1. 实时表JOIN

Hologres现阶段支持百亿级表与亿级表之间的JOIN，秒级查询响应。基于这个特性，期望将原本需要在数据处理阶段由Flink实时作业完成的维表关联工作，可以改为在查询Hologres阶段实时JOIN计算。例如表1是明细数据表，表2是用户维表，在查询阶段的JOIN可以通过筛选用户维表，然后与明细数据表关联，达到筛选过滤数据的目的。这样的改进将带来几个好处：

• 减少Hologres中的数据存储量，避免实时表中存储大量的数据冗余（如：同一个商品ID的数据会重复存储）；
• 提升实时数据中维度属性的时效性，在查询阶段实时JOIN维表数据后进行计算，可以使得我们在通过维度筛选数据的时候，始终用的是最新的维度属性。

2. 持久化存储

我们未来将探索如何将常用维度的实时数据，利用Hologres的计算和存储能力，将计算结果持久化存储。

嘉宾介绍：

张照亮

阿里巴巴 | 高级技术专家

张照亮，阿里花名"士恒"，阿里巴巴搜索事业部高级技术专家，目前主要负责搜推大数据解决方案迭代演进和部分业务侧数据产品架构设计和研发工作。