深度推荐算法实践（小麦书）

深度推荐算法实践

从级联架构到生成式范式

中文 | English

• 前言
• 准备工作
• 符号

• 1. 推荐系统概述
  • 1.1. 微观视角：推荐问题的两种根本范式
  • 1.2. 工业视角：规模化的两条技术路线
  • 1.3. 宏观视角：构建多方共赢的生态系统
• 2. 快速候选召回
  • 2.1. 协同过滤
    • 2.1.1. 物品的协同过滤
    • 2.1.2. Swing：面向工业场景的优化
    • 2.1.3. 用户的协同过滤
    • 2.1.4. 矩阵分解
  • 2.2. I2I召回
    • 2.2.1. Word2Vec：序列建模的理论基础
    • 2.2.2. Item2Vec：最直接的迁移
    • 2.2.3. EGES：用属性信息增强序列
    • 2.2.4. Airbnb：将业务目标融入序列
  • 2.3. 双塔模型
    • 2.3.1. FM（因子分解机）：双塔模型的雏形
    • 2.3.2. DSSM：深度结构化语义模型
    • 2.3.3. YouTubeDNN：从匹配到预测用户下一行为
  • 2.4. 序列召回
    • 2.4.1. MIND：用多个向量捕捉用户的多元兴趣
    • 2.4.2. SDM：融合长短期兴趣，捕捉动态变化
  • 2.5. 流式索引召回
    • 2.5.1. 聚类统计的全量兴趣召回
    • 2.5.2. 实时更新的流式索引
  • 2.6. 本章总结
• 3. 精准偏好预测
  • 3.1. 记忆与泛化
  • 3.2. 特征交叉
    • 3.2.1. 二阶特征交叉
    • 3.2.2. 高阶特征交叉
  • 3.3. 序列建模
    • 3.3.1. 局部激活的注意力机制
    • 3.3.2. 兴趣的演化建模
    • 3.3.3. 从行为序列到会话序列
  • 3.4. 多目标建模
    • 3.4.1. 基础结构演进
    • 3.4.2. 任务依赖建模
    • 3.4.3. 多目标损失融合
  • 3.5. 多场景建模
    • 3.5.1. 多塔结构
    • 3.5.2. 动态权重建模
  • 3.6. 本章总结
• 4. 重排多样性建模
  • 4.1. 基于贪心的重排
    • 4.1.1. 最大边际相关性重排
    • 4.1.2. 行列式点过程重排
  • 4.2. 基于个性化的重排
    • 4.2.1. Transformer个性化重排模型
    • 4.2.2. 基于排列组合的重排模型
  • 4.3. 本章小结
• 5. 生成式推荐基础
  • 5.1. 推荐范式的演进
    • 5.1.1. 判别式推荐的建模方式
    • 5.1.2. 生成式推荐的核心思想
    • 5.1.3. 两种范式的本质区别
  • 5.2. 生成式架构的基石
    • 5.2.1. Transformer架构
    • 5.2.2. Diffusion模型
  • 5.3. LLM建模的基本流程
    • 5.3.1. LLM建模的三阶段范式
    • 5.3.2. 从LLM到生成式推荐
  • 5.4. 推荐中的Tokenizer技术
    • 5.4.1. Tokenizer范式演进
    • 5.4.2. 端到端离散化技术
    • 5.4.3. 工业级方案
    • 5.4.4. 核心挑战与应对
  • 5.5. 本章总结
• 6. Scaling Law架构探索
  • 6.1. Scaling Law的首次探索
    • 6.1.1. 范式转变：从物品序列到行为序列
    • 6.1.2. 统一异构特征空间
    • 6.1.3. 训练效率的飞跃
    • 6.1.4. HSTU架构：为推荐优化的序列模型
    • 6.1.5. 训练与推理的工程优化
    • 6.1.6. 推荐系统的Scaling Law
    • 6.1.7. 为什么HSTU能够突破？
  • 6.2. HSTU的工程突破
    • 6.2.1. 追本溯源：什么才是本质
    • 6.2.2. Action-Oriented：重新理解任务本质
    • 6.2.3. 位置与时间：该学习什么、该编码什么
  • 6.3. MTGR: 混合范式建模
    • 6.3.1. 范式的再思考：生成 vs 判别
    • 6.3.2. 架构创新的原理
  • 6.4. Rankmixer: 硬件效率优化
    • 6.4.1. RankMixer整体架构
    • 6.4.2. Token Mixing机制
    • 6.4.3. Per-Token FFN
    • 6.4.4. Sparse MoE扩展
  • 6.5. OneTrans: 统一序列与特征交差
    • 6.5.1. 统一 Tokenization
    • 6.5.2. Mixed Parameterization 的核心机制
    • 6.5.3. Pyramid Stack 渐进式蒸馏
    • 6.5.4. Cross-Request KV Caching
    • 6.5.5. 统一建模的本质
  • 6.6. 本章总结
• 7. 端到端生成式建模
  • 7.1. OneRec的架构演进
    • 7.1.1. OneRec-V1：开创性探索
    • 7.1.2. OneRec-V2：效率与性能突破
  • 7.2. 查询补全与商品检索
    • 7.2.1. OneSug：查询补全生成
    • 7.2.2. OneSearch：商品检索生成
  • 7.3. 竞价机制与多场景广告
    • 7.3.1. EGA：统一竞价与生成
    • 7.3.2. GPR：预训练驱动的广告生成
  • 7.4. 本章总结
• 8. 会思考的推荐模型
  • 8.1. 协同语义与语言语义的统一
    • 8.1.1. 物品索引学习
    • 8.1.2. 语义对齐训练
    • 8.1.3. 工业级语义对齐：PLUM框架
  • 8.2. OneRec-Think的思考框架
    • 8.2.1. 物品对齐
    • 8.2.2. 推理激活
    • 8.2.3. 推理增强
    • 8.2.4. Think-Ahead架构
  • 8.3. 自主推理的探索
    • 8.3.1. RecZero:纯强化学习的自主推理
    • 8.3.2. RecOne:冷启动增强的混合范式
    • 8.3.3. 自主推理的未来图景
  • 8.4. 本章总结
• 9. 基于扩散的推荐模型
  • 9.1. 推荐中的扩散模型基础
    • 9.1.1. Diffusion模型的分类
    • 9.1.2. 前向加噪与反向去噪过程
    • 9.1.3. 扩散模型的训练与采样
    • 9.1.4. 条件生成与可控性
  • 9.2. 基于扩散的数据增强
    • 9.2.1. 序列增强：DiffuASR
    • 9.2.2. 跨场景增强：Diff-MSR
  • 9.3. 特征增强与多样性优化
    • 9.3.1. 特征增强：AsymDiffRec
    • 9.3.2. 多样性优化：DMSG
  • 9.4. 本章总结
• 10. 生产级推荐系统构建
  • 10.1. 项目背景与目标
    • 10.1.1. 本章的目标
    • 10.1.2. 离线与在线的差异
    • 10.1.3. 技术选型与数据集
    • 10.1.4. 获取项目代码
    • 10.1.5. 本章的学习路径
  • 10.2. 系统架构设计
    • 10.2.1. 离线与在线系统
    • 10.2.2. 整体架构图
    • 10.2.3. 关键设计决策
  • 10.3. 离线流水线
    • 10.3.1. 代码结构
    • 10.3.2. 特征工程
    • 10.3.3. 召回模型训练
    • 10.3.4. 排序模型训练
    • 10.3.5. 特征上线与模型部署
  • 10.4. 在线流程
    • 10.4.1. 代码结构
    • 10.4.2. 冷启动检测与处理
    • 10.4.3. 多路召回
    • 10.4.4. 精准排序
    • 10.4.5. 多样性重排
    • 10.4.6. API 集成与服务启动
  • 10.5. 前端与交互
    • 10.5.1. 前端概述
    • 10.5.2. 项目结构与路由配置
    • 10.5.3. 核心组件设计
    • 10.5.4. API 集成与状态管理
    • 10.5.5. 搜索功能实现
    • 10.5.6. 用户认证与冷启动
  • 10.6. 部署与运维
    • 10.6.1. 为什么使用 Docker Compose
    • 10.6.2. Docker Compose 配置详解
    • 10.6.3. 环境准备与启动流程
    • 10.6.4. 服务健康检查与调试
  • 10.7. 本章总结

• 参考文献