总结

本节我们主要讲了“特征交叉自动化”，看推荐模型怎么摆脱复杂的人工特征工程。从FM开始，它用隐向量内积解决了二阶交叉的参数爆炸和数据稀疏问题。之后二阶特征交叉技术不断发展：AFM加入了注意力机制，NFM用神经网络学习交叉特征的高阶表示，PNN试了不同的乘积操作，FiBiNET加入了特征重要性学习，让二阶特征交互变得更精细。接着，我们讲了高阶特征交互技术：DCN用残差连接做元素级别的高阶交叉，xDeepFM的CIN网络做向量级别的高阶特征交互，AutoInt用了Transformer的自注意力机制，让高阶特征交互更灵活。

至此，我们已经能够高效、自动地捕捉特征间的静态组合关系。然而，这些模型大多将用户的历史行为视为一个无序的集合，忽略了行为发生的时间顺序和其背后蕴含的兴趣演化过程。当用户最近浏览了鼠标和键盘，再向他推荐显示器，这与他先浏览乐谱再浏览键盘的场景，其推荐逻辑显然不同。如何捕捉这种动态的、随时间演化的用户兴趣，将是我们下一章将要探讨的核心问题。