产品展示

OPPO智能增长算法核心架构与应用

  本文将分享在智能手机这一制造业下，OPPO Andes智能云团队所采用的智能增长算法的核心架构，和相关的应用场景。

  国家统计局统计显示手机上网人数10.65亿人，还未手机上网的一般是未成年、老年人，手机行业基本上没有增量。在存量客户的真实需求端，用户的换机周期慢慢的变长。去年和前年的对比，1-2年的持机用户占比从15%下降到13%，2~3年的用户占比从28%下降到22%，3~4年的用户占比从24%增加到28%，4年及以上的用户占比从28%增加到31%。

  从供给端看，20年、21年经历了供给内卷，所有厂商都在疯狂出新品，竞争剩余的增量。去年新品数量恢复到19年水平，但是上市2年以上的机型年年在下降，根本原因可能是老机型产品没有竞争力，被迫退出市场。进入23年，国内安卓阵营竞争更加剧烈，在微博、B站等社区都能看出战场痕迹。

  随着智能手机风口过去，手机公司可能面临许多挑战。一般来说，它们能从以下四个方向来应对这些挑战：

  第二个方向是增加手机的附加值，例如提升手机互联网服务的平均用户收入（ARPU）。

  第四个方向是提升渠道效率和营销模式，例如增加效果营销，或通过线下和线上渠道的互补来促进用户的粘性。

  OPPO在过去两年的智能增长探索中，主要积累了第三和第四个方向上的经验。接下来将分享相关的增长策略。

  近年来，在深度学习的推动下，各行业的智能算法架构大多数都采用TensorFlow或PyTorch作为底座，以此为基础进行构建，降低了技术门槛，同时享受到了技术红利，做出有行业特色的创新和优势。就手机行业而言，它既拥有互联网巨头的数据优势，又面临着制造业智能改造的挑战。

  以下是OPPO团队的整体算法架构。手机增长的算法架构最重要的包含基础数据、数据建设、特征画像、模型建设和应用场景这五个部分。

  手机状态：一般是操作系统层面的各类字符串或数值类型的状态数据，大多数都用在建模用户生命周期。

  营销投放：指在智能增长过程中干预用户的数据，通常包括RTA、RTB以及广告投放的数据，或其他消息日志。

  为了提升数据复用效率和扩展性，要在基础数据的基础上，做一系列标准化、规范化处理，再基于手机的流转关系抽取用户的流转关系图。这里的自然人是描述手机和自然人的映射关系。完成数据建设后，特征画像的建设和业界大多数做法比较相似，包括实时统计类、实时序列类、内容理解、用户长期画像，不过也有一部分是行业特有的，手机流转画像和营销节点画像，主要刻画手机市场的竞争关系和因应手段。

  因果模型（Uplift）：用于刻画营销的边际收益，并减少负向干预，用于换机预测。

  PU-learning方法：用于准确找到干预的精准人群，减少对用户个人信息的干扰。

  从工程层面，我们看下如何来解决智能改造的技术方案。最最侧的智选模块，完成算法场景的自动接入。手机增长涉及的链路很长，比如从新机卖点洞察、人群营销洞察、新机预热、首销、促销，并且每个链路的场景很多，智选主要满足了场景快速接入的需求，并且解耦运营、工程、算法，支撑算法专注在效果优化上。营销云大多数都用在素材生成、广告投放管理、分析监控。中间引擎模块是推荐引擎，通过召回、粗排、精排、重排、策略算子的自由组合，满足定制化需求。为了逐步提升引擎的灵活性，我们对多样性、多目标、重排、策略模块做了DSL改造，支撑团队的算法探索。另外由于机器成本的约束，上面的很多步骤在使用时都可以0成本的插拔，以降低延迟、提升吞吐。

  上述算法架构主要是基于OPPO的Andes智能云完成的。得益于智能云的基础设施的灵活性和易用性，我们在协作方面，特别是跨团队、跨部门和跨系统的协作上拥有较好的解决方案。

  接下来将分享4 个具体的应用场景案例，第一个案例是基于 AIGC 的内容供给；第二个案例是在商城中，基于多场景、多目标、多模态的推荐；第三个案例是基于因果推断的精准人群定位；第四个案例是在手机行业里的广告精准营销。

  首先，我们意识到在非算法领域或传统制造业中，业务团队在大多数情况下要一些科普才能理解内容供给的重要性。因此，我们与业务伙伴合作时采用了讲道理和数据展示的方式，在一些小的场景中通过实验验证了扩大内容供给量的益处。我们观察到，通过增加内容供给量，可以明显提高点击率，获得15%的点击率提升，从而达成了共识。

  另一个挑战是供给效率和人力成本。最初，内容供给的流程依赖于人工，即设计师输出一些素材，经过安全审核后投放到线上。这样的一个过程相对低效。为此，我们团队进行了第一次改造，采用工程模板制图的方式。这样，内容供给的流程发生了改变：设计师集中精力在模板创作上，然后通过模板生成大量候选素材，经过初审和安全审核后进行投放。通过这次改造，每天初审的内容数量明显地增加。然而，也出现了新的问题：模板的重复率较高，生成的候选素材信息量不足，容易让用户感到千篇一律。

  目前，随着AIGC技术的不断成熟，我们调研了AIGC的相关方案，并发现该技术实际上能增加模板的创作难度同时增加信息量。因此，我们与相关的团队合作，引入AIGC技术来增加素材创作的信息量，以提升用户体验。

  目前，个人会使用的AIGC模型主要是CLIP模型，它的主要思路是通过大量的图像数据和文本数据来进行模型预训练，使模型能够理解图像和自然语言之间的对应关系，以此来实现跨模态的语义推理。为实现这个目标，我们生成模型的框架涉及两个组件。第一个是图像编码器，基于Transformer架构，将图像特征转化为Embedding向量。第二个是文本编码器，基于VILT架构，将自然语言转化为特征向量。基于这两种向量，我们结合交叉熵学习和对比学习的方法，进行模型的训练。在预训练阶段，我们参考了一些开源数据和OPPO私有的图像和文本数据，并在Andes智能云的GPU集群上进行训练。

  在生成部分，我们经过了多次尝试，以使AIGC输出的内容符合广告投放的需求。目前发现，通过添加关键词、卖点、营销话术、图文风格、负面反馈以及图像细节的提示，可以有助于生成素材。最右侧的示例展示了结合素材和模板生成的最终结果，其中背景图就是一个例子。

  如上图所示，我们目前的业务场景主要是在商城界面进行推荐。例如，在首页的横幅广告部分、格子位、瀑布流推送以及积分、社区、优惠券发放等场景中进行推荐。

  在算法接口方面，我们已接入了近几百个业务场景，要关注点击率、转化率、GMV等业务指标。同时，手机行业内存在人力约束，这对算法提出了不同的需求。

  我们一开始就采用了跨场景多目标的模型方案来进行推荐，随着场景的增加，我们不断对模型进行迭代优化。后来，我们还增加了一些非产品内容的推荐，例如社区、视频等。此外，对于内容素材的需求，我们也需要在多模态模型中引入一些新的能力。

  经过不断迭代，我们的模型如上图所示。左侧部分是多模态的理解，模型主要基于ViLT的结构。通过对比发现，经过业务数据微调的ViLT模型比公开的ViIT模型效果更好。咱们进行了大量的分析，发现实际业务场景的数据与公开数据集存在比较大差异，特别是在营销话术等垂直领域方面。右侧部分是推荐模型，该模型结构融合了最新论文的进展。底层模型主要基于历史行为、上下文和候选物料三个部分。对于候选物料，我们目前采用对应的多模态预训练特征。实时统计的行为会使用Encoding 的办法来进行向量化表示，而上下文内容我们会额外区分场景和domain特征进行向量化。

  在多模态多感场景感知模块中，我们主要使用Transformer和场景专属的方法。在最上层，我们为目标设置了专门的tower，最终得到目标的比例结果。经过测试对比，我们得知引入AITM的多目标校准办法能够获得一定的收益。在多目标层面，与传统电商相比，我们会加入更多的目标，这与行业特点有关。例如，在手机行业中，每个用户在大多数情况下要两三年才会更换手机，这导致转化率很低。同时，换机用户中复购的比例也较低。因此，为了准确捕捉用户当前的换机意图，我们应该增加其他目标来辅助发现用户的意图，例如评论查看、时长相关和商险相关的目标。得到这些目标后，个人会使用近似排序公式计算得分，该得分是各个目标的连乘结果。同时，每个目标受到三个超参数α、β、γ的约束，目前这些超参数通过离散超参模型学习得到。

  经过多次迭代，包括增加更多目标、引入多模态、优化超参数等措施，相较于原有模型，我们在转化率（CVR）上取得了累计20%以上的收益。

  手机行业中的“精准人群”概念与电子商务平台的划分不一样，是因为用户购买手机的行为具有不一样的特点。举个例子，假设用户A，他可能会选择继续购买当前品牌的手机，也有一定可能会换到另外的品牌。对于已购买当前品牌的用户，他们可能有两种行为，一种是自己使用电子设备（留存），另一种是赠送给他人。然而，由于线上和线下数据的隐私安全等问题，手机公司只能获取到部分购买和换机的数据。手机行业的增长目标是通过现有数据识别出购机和留存用户，并通过营销活动增加商品的粘性。这就是精准人群的背景场景。

  因此，在算法团队进行人群建模时，主要关注两个指标：准确率和召回率。通常情况下，我们很难获取到完整准确的营销数据，因此在实践中，我们会花费更多时间进行特征画像和用户分析，通过多种方法挖掘真实的购机用户，并叠加相应的模型方案，从而得到最终的精准人群。

  在营销中，只有精准人群是不足够的，因为对于营销四象限图中的B、C、D三个象限的人群进行营销可能效果甚微，不符合预期。我们的核心目标仍然是针对A人群，因此这样的一个问题实际上转化为一种因果推断的问题。

  在算法层面上，在满足一定条件的情况下，因果推断可以等价于计算Uplift，这种模型通常有三种建模思路：

  Two-Model：分别建模基准组、控制组的模型，两者相减就是结果。缺点是两个模型有误差累积

  在典型的推广搜算法领域，假设训练数据和预测数据独立同分布，能不断产出很好的结果。在因果推断上，由于一个人要么有干预、要么没有干预，没办法在同一环境下同时观察到基准组、控制组的结果。因此就需要使用因果模型来解决uplift建模问题。Uplift建模时有两个挑战：

  一般业务只会保留很小一部分用户作为基准组，样本数量不均，也会给模型建模带来困难。

  我们尝试了DESCN的论文思路，使用了干预组和控制组的全样本，这样的结构相当于使用了Single-Model的思路实现。这篇论文主要创新点在于使用了meta-learning的思想，引入一个网络来学习中间变量treatment。

  在深入迭代时我们还会遇到具体的业务问题，比如在t1时间段，业务需要干预左边和右边的人群，过了一段时间后在t2时刻，业务需要干预中间的人群，在t3时刻干预的人群又变了。这种业务人群变化剧烈的问题给因果推断提出了更高的挑战。

  我们是这么来看待这样的一个问题，这样的一个问题本质上属于曝光选择偏差的问题，需要对曝光bias给消除掉才能准确建模。我们参考了EUEN（Explicit Uplift Effect Network 显式提升效应网络）的论文方法，μt(X，最终的uplift) = μc(x, 控制组的转化率) + ω(X， 曝光概率) · τe(X， 曝光组的uplift)。基于样本是否曝光的修正，降低业务曝光选择偏差导致的模型有偏。

  由于因果推断的反事实特性，上线验证成本很高，所有的优化都会优先在离线验证全部细节，离线保证了正确性，再开展线上实验。在当前的增量实验里能看到和最初的监督模型，在增量ROI上提升了11.3%。

  对于手机生产厂商来说，数据隐私是至关重要的，所有数据都一定要保持在企业内部，不允许泄露。因此，在进行营销活动时，我们第一步考虑的是数据安全性，在域外投放或者在其他广告平台基于人群包投放的这类方法是行不通的。我们采用了一些更安全的方法来获取流量，如实时API（RTA）和实时竞价（RTB）的模式。基于RTA和RTB，我们还建立了内部的营销云平台，用于整合不同渠道的流量，以提高迭代效率。

  简单介绍一下RTA和RTB。RTA代表实时API（Real Time API），它决定了我们是不是选择某个流量。RTB代表实时竞价（Real Time Bidding），它决定了我们是不是参与竞价以及以何种价格参与竞争某个流量。

  在RTB渠道的竞价过程中，模型主要考虑三个目标：竞价成功率、点击率和转化率。竞价成功率指的是在基础出价下成功获得流量的概率，该目标用于后续的价格调整策略；转化率指的是用户点击后进行转化的概率，该目标也会影响出价策略的调整，并且在很大程度上决定了整体投放的投资回报率（ROI）。

  模型的整体结构与多任务多路输出（MMOE）的结构相似，我们额外增加了每个目标单独的输出层。特征部分最重要的包含长期特征、实时特征和多模态特征。通过观察发现，渠道的实时特征对ROI影响非常大，而多模态特征对于冷启动问题非常有帮助。

  我们发现，在RTB中，点击率（CTR）预估的准确性对于流量竞价的投资回报率（ROI）有很大的影响。例如，如果CTR的预估值高于实际统计值，会导致竞得的流量价值高于实际值，以此来降低投放的ROI；而如果CTR的预估值低于实际统计值，则会导致竞得率下降，没有办法获得足够的流量，无法充分的利用预算。

  我们的目标是希望模型的预估值和后验统计值能够在相应的水平线上，以准确预估真实情况。通常情况下，原始模型和后验模型之间有一定的差距，有必要进行调整。我们当前的校准策略是采用了特征敏感的树模型的分箱策略，参考了一篇22年的公开论文。相对于原有的模型，经过CTR分桶校准后的模型，PCOC值会下降约44%。PCOC反映了预估值和真实值之间的偏差。PCOC值下降意味着模型更加准确，相应的ROI也会有较大提升。

  下面介绍我们在投放时的出价策略。我们在RTB上采用了与业界常规不同的公式，考虑了更多因素。首先是素材的基础出价，然后是素材的CTR打分。我们还会预估素材的流量价值，最重要的包含转化率、用户换机概率以及在换机时成为增量用户的概率。此外，我们还会考虑预算和ROI的限制。同时，我们还会增加竞得率因子。所有这一些因素通过连乘计算。在实际应用中，我们可能会对计算结果进行排序或进行截断操作。

  经过多次迭代和实验，我们得知，针对ROI的这些多因素考虑可以使其提升约25%。

  在手机行业做增长的过程中，有一些方法论是必要的，其中最重要的是要确定一个北极星指标，即定义出识别增长的核心指标。我们大致梳理了一下，包括新机激活、老用户留存、复购率、用户流失以及干预的投资回报率（ROI）等宏观指标。这些宏观指标对于制造行业尤其重要，能够显著让我们凝聚数据业务逻辑的共识。除了北极星指标外，我们在具体的链路上也制定了可量化的指标。总结来说，最重要的包含以下几块内容：

  首先是新机洞察，这是增长的源泉，通过进一步探索其中的逻辑，能够显著提升业务。这部分最重要的包含行业特点的分析，如竞品的卖点分析、同期市场的社会分析，以及可应用于营销的策略和首销期用户的反馈。

  接下来是从花钱的角度来看增长，大概能分为免费增长和付费增长两类。在免费增长方面，我们注重通过提升现有流量的效率来实现增长，关注的指标有很多，例如点击率、竞得率、转化率、品类流转和增量ROI等。这些指标可能会随着迭代的进行而增加或剔除，以符合当前的业务需求。

  在付费增长方面，我们主要关注预算分配等指标。预算分配不仅限于广告领域，还包括不同渠道和资源方之间的动态调度，比如京东和自营之间的动态分配，或者首周不同时间段的预算调度。我们总结发现，在不同时间段或跨渠道之间进行资源分配对于投放ROI有很大的影响。