2.5. 流式索引召回

前面介绍的MIND和SDM通过多向量表示或长短期分离来深化用户兴趣建模,但它们仍然是在模型内部做“压缩”——把用户行为序列编码成固定数量的向量。当行为序列增长到数千甚至数万条时,固定容量的表示不可避免地会丢失信息,尤其是那些低频但真实的长尾兴趣。

召回阶段还有另一个问题:索引的时效性。传统的向量索引需要定期重建,重建间隔内新提交的内容和用户兴趣的即时变化都无法被及时捕捉。在内容快速更迭的平台上,这种延迟意味着推荐系统可能错过用户当前的真实需求。

本章介绍两种跳出“压缩”思路的方法,分别从兴趣覆盖和索引更新两个角度推进:

聚类统计的全量兴趣召回。Trinity不再把用户行为压缩成向量,而是将物品映射到聚类空间,用统计直方图来记录用户在每个聚类上的行为计数。直方图没有容量限制,行为序列再长也不会丢失任何兴趣主题。在此基础上,Trinity设计了多元兴趣、长尾兴趣和长期兴趣三个互补的召回器。

实时更新的流式索引。Streaming VQ解决的是索引时效性问题。它让物品到聚类的映射关系随训练流程实时更新,聚类中心通过指数移动平均持续适应数据分布的变化,不再需要定期中断重建。同时通过流行度调节和扰动机制保持索引的平衡性,避免热门物品聚集在少数头部聚类。