支付宝广告进阶篇｜支付宝商业广告算法｜支付宝广告代理商开户找我们

1. 背景

随着支付宝广告业务的不断发展，我们也不断接入了一些新的流量场景。下图展示了支付宝手机应用内的某个广告场景的产品样式。

在新的流量场景接入过程中，我们面临着一些较大的业务挑战。这些挑战包括：

a) 上线初期，由于缺乏场景内用户反馈样本数据，我们面临着新场景冷启问题。

b) 在中期阶段，广告的点击率较低，我们面临着进一步扩大流量的难题（只有当点击率满足一定阈值条件后，才能允许进一步放量）。

c) 在后期阶段，我们面临着提升广告 CPM 和业务收益的压力。

为了解决这些不同阶段的业务问题挑战，我们进行了相应的算法优化，主要包括以下三个方面：

1. 我们通过基于样本增强的方法来优化新场景冷启问题。

2. 我们利用跨场景知识迁移和用户分层知识迁移的方式，提升广告的点击率。

3. 我们进行了算法优化，以提升广告系统的时效性。

经过多轮技术迭代升级，我们成功地提升了场景内广告的点击率模型技术指标 AUC 的量达到了0.10。业务效果方面，相对于初始状态，广告的点击率提升了超过，CPM（每千次展示费用）提升了超过200%。这是运营、产品和技术团队共同努力的结果。图2和图3展示了技术指标和业务指标的变化曲线。为了确保数据安全，本文中的业务数据指标已经进行了脱敏处理，量数值已经省略。

2. 新场景冷启问题优化

在2023年6月之前，支付宝的某个推荐卡片仅用于推荐内容流量。而在6月份之后，推荐卡片开始接入广告，并与推荐内容混合展示。然而，在上线初期，由于缺乏广告样本数据，我们面临着新场景冷启问题。

为了解决这个问题，我们想到了一个自然的方法，即将展位内的自然推荐样本引入到广告样本中，通过增强推荐领域的样本来缓解新广告场景的冷启问题。我们根据推荐和广告在线系统的埋点日志，使用 trace_id 将两个系统的样本数据进行关联，将用户侧特征与广告系统特征对齐，并进行增强样本的处理逻辑（详见图4）。需要说明的是，推荐物料和广告物料是异构的，它们之间没有交集，也就是说推荐物料无法映射到广告物料。由于当前无法对齐广告 ad 侧特征和推荐 content 侧特征，我们使用推荐 content_id 替代广告 ad_id，并将广告 ad 侧的其他特征补0。

这种样本增强策略在上线初期取得了显著的离线技术指标提升：AUC 提高了0.01，成为该场景基准模型。

随着场景内广告样本数据不断积累，基于自然推荐样本增强策略的效果逐渐减弱。因此，我们进一步打通广告单元和推荐物料的内容理解，深入挖掘广告单元和推荐物料可迁移的泛化特征，例如图片/文本多模态特征、行业类目体系特征、实体特征等。同时，推荐和广告场景的联合建模也是我们未来优化的方向之一，其中还有很大的挖掘空间。

3. 知识迁移学习

3.1 跨场景知识迁移

在支付宝广告投放的场景非常多，我们长时间以来采用了多场景/多任务统一建模的方法。在工业界，有一些代表性的技术方案被应用于多场景/多任务统一建模，例如SharedBottom、MMOE、PLE、ESSM、STAR、PPNet、M2M、APG等（参考文献[1-4]）。这些方法的优点包括：能够通过多场景数据增强来缓解小场景样本稀疏问题，提高模型的泛化能力；统一建模也方便了模型的维护和统一优化。然而，统一建模也存在明显的缺点：不同场景之间的数据分布差异很大，可能会导致梯度冲突和跷跷板现象；尤其是在样本量丰富的大场景中，独立建模场景模型的效果可能优于统一建模。

3.2 用户分层知识迁移

为了解决冷启动广告单元预估性能低的问题，在精准排序（CVR）模型中，我们早期采用了基于元学习框架MAML（Model-Agnostic Meta-Learning）[5]的方法。通过有效利用非冷启动单元学到的知识，将其迁移到冷启动单元上，取得了良好的业务效益。元学习是以任务为训练样本，在不同任务上学习先验信息。即使在样本量较少的情况下，也能够利用先验信息获得较好的结果。元学习范式包括基于度量、基于模型和基于优化的方法。其中，基于度量学习的方法需要对每个类别学习一个表征，并通过距离度量来进行分类。然而，在搜广推中，特征大多是高维稀疏的，基于距离度量的方式并不适用于简单地将点击和非点击归为一类。基于模型的元学习方法主要利用深度网络模拟一个优化器，但需要额外学习网络参数，训练难度较大。基于优化的方法（如MAML）由于其模型无关、易于实现等优点，成为了广泛应用的元学习范式。许多基于元学习的算法也都采用了MAML，通过为新任务学习一个较好的初始化网络参数。

从数学推导和贝叶斯概率论的角度来看，基于meta-train得到的初始化参数可以作为新任务的一个较好先验知识。它具有较高的灵活性，能够解决任务不平衡性问题，并且具有较强的解决分布外（OOD）任务的能力。这是由于二阶段模式带来的好处：内循环解决任务参数私有性问题，外部循环汇集所有任务的共同知识。因此，目前在搜广推领域，基于MAML的路线比较主流。

场景（Task）的划分方式直接影响基于MAML的模型效果。良好的场景划分方式应具备以下特点：a）同场景样本内聚性强，避免样本分布差异过大导致学习难度增加，影响模型泛化能力；b）场景之间具有关联性，