.. _gr_intro:

推荐范式的演进
==============


在过去的十余年里，推荐系统领域经历了从传统机器学习到深度学习的演进，模型的表达能力不断增强，业务指标也持续提升。然而，当我们回顾这一发展历程时会发现，无论模型如何演变，其底层的建模范式始终没有改变——我们一直在做\ **判别**\ 。给定一个候选物品集合，模型需要判断用户是否会对某个物品感兴趣，本质上是在解决一个分类或排序问题。

这种判别式范式在工业界已经发展得相当成熟。从简单的协同过滤，到矩阵分解，再到如今复杂的深度神经网络，模型的核心目标始终是学习一个打分函数
:math:`f_\theta(u, i, c)`\ ，用于估计用户 :math:`u` 在上下文 :math:`c`
下对物品 :math:`i`
的兴趣程度。为了应对海量物品库和严苛的延迟约束，工业推荐系统进一步演化出了多阶段级联架构：从粗粒度的召回，到精细化的粗排和精排，再到最终的重排序，每个阶段都承担着特定的任务，共同完成从百万量级物品到最终推荐列表的筛选过程。

这套体系在实践中行之有效，却也逐渐暴露出一些深层次的局限：多阶段级联带来的目标不一致和误差累积问题难以根治，判别式模型对每个物品独立打分的方式难以捕捉序列依赖性，而海量参数的Embedding层又难以充分利用现代硬件的计算能力。

正是在这样的背景下，\ **生成式推荐**\ 作为一种全新的建模范式开始崭露头角。与判别式模型不同，生成式推荐不再将推荐视为一个对候选集打分的过程，而是将其重新定义为一个\ **序列生成任务**\ 。模型不再被动地判断“这个物品是否应该被推荐”，而是主动地学习“用户接下来会与哪些物品交互”的生成过程。这一范式转变看似微妙，却带来了根本性的改变：从局部的打分决策转向全局的概率建模，从多阶段级联转向端到端优化，从固定的候选集转向开放的生成空间。

在接下来的内容中，我们将首先回顾判别式推荐的经典建模方式，剖析其核心思想与固有局限；随后引入生成式推荐的基本概念，阐明其如何通过序列生成视角重新定义推荐任务；最后，我们将深入对比两种范式在目标函数、信息流动方式和架构设计上的本质差异，帮助读者建立起对生成式推荐的完整认知框架。

判别式推荐的建模方式
--------------------

判别式推荐的核心是学习一个条件概率分布
:math:`p(y=1|u, i, c)`\ ，用于预测用户 :math:`u` 在上下文 :math:`c`
下对物品 :math:`i`
产生正向交互（如点击、购买）的概率。这一建模方式直观且高效，在工业界得到了广泛应用。

现代深度学习推荐模型几乎都遵循“Embedding &
MLP”范式。首先，将用户ID、物品ID以及各类特征通过嵌入层（Embedding
Layer）映射为稠密向量；随后，这些向量经过多层感知机（MLP）或更复杂的特征交互模块进行处理，最终输出一个标量分数，表示用户对该物品的兴趣强度。这一范式的优势在于其灵活性——通过设计不同的特征交互模块（如FM、DeepFM、DCN等），模型可以捕捉各种高阶特征交互模式；通过引入序列建模模块（如DIN、SIM等），模型可以刻画用户的短期兴趣和长期偏好。

然而，这种建模方式也带来了一些固有的问题：

**参数效率问题**\ ：Embedding层通常占据了模型90%以上的参数量，但这些参数是稀疏的、低效的，难以充分利用现代硬件的计算能力。

**语义建模缺失**\ ：判别式模型将每个物品视为独立的原子单元，物品ID之间没有任何语义关联，缺乏对物品语义关系的建模，导致冷启动问题难以解决。

**多阶段级联困境**\ ：为了应对海量物品库和毫秒级延迟约束，工业推荐系统不得不采用多阶段级联架构。召回、粗排、精排、重排序等各个阶段通常由不同的模型负责，每个模型的优化目标各不相同（召回关注相关性，排序关注点击率或转化率），导致全局目标难以对齐。更严重的是，每一次级联都会丢失信息——召回阶段可能因为简单的相似度计算而过滤掉潜在的优质物品，这些物品在后续阶段根本没有机会被模型看到。这种逐级筛选的方式虽然保证了效率，却也让系统陷入了“局部最优”的困境，难以实现真正的端到端优化。

生成式推荐的核心思想
--------------------

生成式推荐从根本上重新定义了推荐任务。它不再将推荐视为一个对候选集打分的判别问题，而是将其建模为一个\ **序列生成过程**\ 。给定用户
:math:`u`\ 、上下文 :math:`c` 以及用户的历史交互序列
:math:`i_{1:T}`\ ，生成式推荐的目标是学习这个序列的生成概率：

.. math::


   p_\theta(i_{1:T} | u, c) = \prod_{t=1}^{T} p_\theta(i_t | i_{<t}, u, c)

这个公式看似简单，却蕴含着深刻的建模思想。它不再孤立地看待每个物品，而是将用户的交互行为视为一个连续演化的过程。模型需要学习的不是“某个物品是否应该被推荐”，而是“在已知历史行为的条件下，用户接下来最可能与哪个物品交互”。这种自回归建模方式天然地捕捉了用户行为的序列依赖性，也为模型提供了更丰富的学习信号。

自回归建模的优势不仅体现在序列依赖的刻画上，更重要的是它为端到端优化打开了大门。模型可以通过一次前向传播直接生成推荐结果，无需依赖复杂的多阶段架构，从而消除了级联带来的误差累积和目标不一致问题。更重要的是，生成式模型可以通过优化全局目标（如用户的长期满意度、平台的生态平衡等）来进行端到端的强化学习，这在判别式框架下是难以实现的。

此外,生成式推荐的另一个重要优势在于其对物品的表示方式。传统的判别式模型为每个物品分配一个随机初始化的ID，这些ID之间没有任何语义关联，导致模型难以泛化到新物品或跨域场景。而生成式推荐则可以通过文本描述或语义ID（Semantic
ID）来表示物品，这些表示天然地包含了物品的语义信息，使得模型能够更好地处理冷启动和跨域推荐问题。

两种范式的本质区别
------------------

判别式推荐与生成式推荐的差异不仅仅体现在建模公式上，更深层次地反映在目标函数、信息流动方式以及对模型架构的要求等多个维度。

从\ **目标函数**\ 的角度看，判别式模型优化的是局部的决策边界——给定一个候选物品集，模型需要学习区分正负样本的决策边界，使得正样本的预测分数尽可能高，负样本的预测分数尽可能低。这种优化方式虽然直接，却也局限于候选集的范围，难以刻画全局的物品分布。相比之下，生成式模型优化的是完整的概率分布
:math:`p_\theta(i | u, c)`\ ，它不仅关注“哪些物品应该被推荐”，更关注“整个交互序列是如何生成的”。这种全局建模的方式使得生成式模型能够更好地捕捉用户偏好的演化规律，也为多目标优化提供了更自然的框架。

在\ **信息流动方式**\ 上，两种范式也存在显著差异。判别式模型通常采用前馈网络结构，信息从输入层经过多层变换后流向输出层，每个物品的打分是独立计算的，这种方式虽然高效，却忽略了推荐列表中物品之间的依赖关系。生成式模型则采用自回归结构，当前时刻的预测依赖于之前所有时刻的输出，信息在时间维度上形成了循环流动。这种设计使得模型能够捕捉序列中的长程依赖，也为引入强化学习等高级优化技术提供了基础。

最后，两种范式对\ **模型架构**\ 的要求也截然不同。判别式推荐系统为了适应不同阶段的需求，往往需要设计多种专用模块——召回阶段使用双塔模型或图神经网络，排序阶段使用复杂的特征交互网络，重排序阶段则需要考虑列表级的约束。这些模块通常是异构的、高度定制化的，导致系统复杂度高、维护成本大。生成式推荐则倾向于采用统一的Transformer架构，通过自注意力机制和前馈网络的堆叠来处理所有任务。这种架构的统一性不仅简化了系统设计，也使得模型能够充分利用现代硬件的计算能力——Transformer的矩阵运算密集型特点与GPU、TPU等加速器的设计高度契合，能够实现远超判别式模型的硬件利用率（MFU）。

更深层次地看，生成式推荐与判别式推荐的区别，本质上是\ **建模哲学的差异**\ 。判别式范式追求的是“在给定候选集下做出最优选择”，它假设候选集已经通过某种方式（如召回）被确定，模型的任务是在这个有限的空间内进行排序。而生成式范式则试图“学习用户行为的生成过程”，它不预设候选集的存在，而是让模型从全体物品空间中直接生成推荐结果。前者是一种“自上而下”的工程化思路，适合处理明确定义的优化问题；后者则是一种“自下而上”的建模思路，更接近人类决策的本质——我们在做选择时，往往不是对所有选项逐一打分，而是基于经验和偏好\ **生成**\ 一个候选方案。

这种范式转变的意义不仅在于技术层面的创新，更在于它为推荐系统的未来发展指明了方向。随着大语言模型在自然语言处理领域取得的巨大成功，生成式建模已经证明了其在处理复杂序列任务时的强大能力。将这一思想引入推荐系统，不仅能够解决判别式范式的固有局限，也为推荐系统与语言模型、多模态模型的深度融合打开了新的可能性。在接下来的章节中，我们将深入探讨生成式推荐的核心技术——从tokenization的设计，到模型架构的选择，再到优化策略的制定，逐步揭示这一新范式的全貌。