本书概览

理解了推荐系统的核心逻辑后,我们现在需要为这个复杂的技术体系绘制一份清晰的地图。本书沿着判别式与生成式两条主线组织内容,同时串联起推荐算法从记忆、泛化到理解、推理的能力演进。前半部分深入判别式推荐的工业实践,按照召回、排序、重排的流水线逐步展开;后半部分转向生成式推荐,从基础范式出发,经由规模化架构、端到端建模、推理能力和扩散模型,展现这一新范式的完整技术图景。最后通过完整的项目实践将理论落地,帮你建立从认知到构建的完整知识框架。


上篇:判别式推荐的工业实践

第二章:快速候选召回

召回是推荐流水线的起点,需要在毫秒级时间内从亿级物品库中筛选出千级候选。本章沿着技术演进的脉络,分五节展开。协同过滤(2.1节)是推荐的经典起点,从ItemCF的物品相似度计算出发,经Swing的工业优化和UserCF的用户视角,到矩阵分解将用户和物品映射为隐向量,开启了向量化表示的先河。I2I召回(2.2节)将Word2Vec的序列建模思想迁移到推荐场景,通过用户行为序列学习物品向量,从Item2Vec的直接迁移,到EGES融合属性信息,再到Airbnb将业务目标融入序列构建。双塔模型(2.3节)将用户和物品分别编码为向量,以FM、DSSM和YoutubeDNN为代表,实现高效的U2I向量检索。序列召回(2.4节)关注被前面方法忽略的时序信息,MIND用多向量表示用户的多元兴趣,SDM分离长短期偏好并通过门控机制动态融合。流式索引召回(2.5节)跳出模型内部压缩的思路,Trinity通过聚类统计保留全量历史兴趣,Streaming VQ让索引结构实时适应数据分布的变化。

第三章:精准偏好预测

经过召回的快速筛选,排序阶段需要对千级候选进行精准的偏好打分。这里是深度学习泛化能力的主战场:模型要将学到的知识推广到训练时未曾见过的用户-物品组合。

本章从 Wide & Deep 模型(3.1节)出发,它通过联合训练线性模型和深度网络,确立了”记忆 + 泛化”的基础框架。在此基础上,特征交叉 (3.2节) 技术从 FM 的二阶交叉(3.2.1节)起步,经 DeepFM、xDeepFM 逐步走向自动化的高阶交叉(3.2.2节),让模型摆脱人工特征工程。序列建模3.3节)让排序感知用户兴趣的动态变化,DIN 引入注意力机制根据候选物品动态激活相关历史行为,DIEN 进一步显式建模兴趣的时序演化。面对真实业务中多个优化目标共存、多个场景差异化的需求,多目标优化3.4节,如 MMoE、ESMM)和多场景建模3.5节)在共享与独立之间寻求平衡,让排序模型适应复杂的业务环境。

第四章:重排多样性建模

排序输出的列表按分数排列,往往高度同质化。重排阶段的任务是在保持相关性的前提下优化整张列表的体验。贪心策略4.1节)如 MMR 通过线性组合平衡相关性与多样性,DPP 则用行列式数学框架实现更精确的多样性控制。个性化重排4.2节)进一步将用户偏好融入列表级优化,PRM 用 Transformer 建模物品间的相互影响,实现端到端的个性化列表生成。


下篇:生成式推荐的技术图景

第五章:生成式推荐基础

本章为后续所有生成式章节奠定基础。我们首先对比判别式与生成式两种范式的本质差异(5.1节):前者对候选逐一打分,后者直接生成推荐序列。随后介绍两大架构基石(5.2节),Transformer 的自注意力机制和扩散模型的加噪-去噪过程,以及大语言模型从预训练到偏好对齐的基本流程(5.3节)。

最后深入探讨生成式推荐的核心难题:物品 Token 化5.4节)。这是从”记忆ID”到”理解内容”的技术枢纽。稀疏 ID 面临词表爆炸和零泛化的困境,文本 ID 虽语义丰富却效率低下,基于 VQ-VAE 和 RQ-VAE 的语义 ID 方案在表示效率与语义丰富度之间找到了平衡,物品不再是不透明的符号,而是被编码为结构化的语义 Token 序列,使模型能够真正理解物品的内容含义。这一技术贯穿后续所有章节。

第六章:Scaling Law 架构探索

大语言模型证明了”更大的模型 + 更多的数据 = 更好的性能”,但传统推荐模型在规模化时遭遇了计算成本与候选数量的线性绑定、GPU 利用率不足等瓶颈。本章介绍工业界探索出的两条互补路径。HSTU 架构演进 (sec_hstu_optimization) 以 Meta 的 HSTU(6.1节)为代表,将传统的逐候选打分转变为用户级序列建模,通过 KV caching 解除计算成本与候选数量的绑定,支持数万长度的用户行为建模。硬件感知架构设计 (sec_hardware_optimization) 以阿里 RankMixer(6.4节)为代表,用统一的 Transformer 替代碎片化的手工模块,将 GPU 利用率从传统 DLRM 的 4-5% 提升至接近大语言模型的水平。

第七章:端到端生成式建模

有了规模化的基础,本章展示如何用一个统一模型替代整条多阶段流水线。在推荐场景7.1节),快手的 OneRec 通过语义 ID、Decoder-Only 架构和基于 DPO 的偏好对齐,直接从用户历史生成推荐序列。在搜索场景7.2节),OneSug 和 OneSearch 分别将查询补全和商品检索重新定义为生成任务,绕过传统的倒排索引 + 多阶段排序链路。在广告场景7.3节),EGA 将竞价机制融入生成过程,在满足激励相容性约束的同时实现端到端的广告分配。

第八章:会思考的推荐模型

前面的生成式模型虽能高效生成推荐,但其决策过程仍是隐式的黑箱。本章要赋予推荐模型”先思考、再推荐”的显式推理能力,完成从”理解”到”推理”的最后一步跨越。

要实现这一目标,需攻克两个递进问题。首先是语义对齐8.1节):推荐系统的协同过滤信号与 LLM 的语言语义说着不同的”语言”,LC-Rec 通过多任务对齐框架将两者融合到统一表征空间。在此基础上,推理激活8.2节)让模型学会显式思考,OneRec-Think 通过”物品对齐→推理激活→推理增强”三阶段框架,让模型在推荐前生成结构化的推理过程。更进一步,RecZero 探索了自主推理8.3节):抛弃人工设计的推理模板,仅靠强化学习的奖励信号,让模型自主演化出推理策略。

第九章:基于扩散的推荐模型

与前几章的自回归生成不同,扩散模型通过”加噪-去噪”过程提供了另一种生成范式 (9.1节) 。本章展示其在推荐中的两类应用。在数据增强9.2节)方面,DiffuASR 通过条件扩散生成高质量的用户交互序列前缀,缓解短序列用户的数据稀疏问题。在特征增强与多样性优化9.3节)方面,AsymDiffRec 用离散特征 dropout 替代高斯噪声构建前向过程,天然适配推荐场景中的特征缺失问题;DMSG 则利用扩散模型的随机采样机制,为推荐列表引入可控的多样性。


第十章:生产级推荐系统构建

理论的最终目标是应用。本章通过一个完整的电影推荐项目(10.1节),展示如何将前述算法整合为可运行的系统(10.2节)。项目覆盖离线训练(10.3节,特征工程、YoutubeDNN 召回模型、DeepFM 排序模型)和在线服务(10.4节,多路召回、实时排序、MMR 多样性重排)两条流水线,前端界面(10.5节)使用 Vue.js 构建,整体通过 Docker Compose 编排部署(10.6节),帮助读者掌握从数据处理到模型部署的全链路工程实践。