排序模型教程

本教程将介绍如何使用 Torch-RecHub 中的各种排序模型。我们将使用 Criteo 和 Avazu 数据集作为示例。

数据准备

首先，我们需要准备数据并进行特征处理：

import pandas as pd
import numpy as np
from rechub.utils import DataGenerator
from rechub.models import *
from rechub.trainers import *

# 加载数据
df = pd.read_csv("criteo_sample.csv")

# 特征列定义
sparse_features = ['C1', 'C2', 'C3', ..., 'C26']
dense_features = ['I1', 'I2', 'I3', ..., 'I13']
features = sparse_features + dense_features

Wide & Deep 模型

Wide & Deep 模型结合了记忆和泛化能力：

# 模型配置
model = WideDeep(
    wide_features=sparse_features,
    deep_features=features,
    hidden_units=[256, 128, 64],
    dropout_rates=[0.1, 0.1, 0.1])

# 训练配置
trainer = Trainer(model=model,
                 optimizer_params={'lr': 0.001},
                 n_epochs=10,
                 device='cuda:0')

# 训练模型
trainer.fit(train_dataloader, val_dataloader)

DeepFM 模型

DeepFM 模型通过因子分解机和深度网络建模特征交互：

# 模型配置
model = DeepFM(
    features=features,
    hidden_units=[256, 128, 64],
    dropout_rates=[0.1, 0.1, 0.1],
    embedding_dim=16)

# 训练配置
trainer = Trainer(model=model,
                 optimizer_params={'lr': 0.001},
                 n_epochs=10)

DIN (Deep Interest Network)

DIN 模型通过注意力机制建模用户兴趣：

# 生成行为序列特征
behavior_features = ['item_id', 'category_id']
seq_features = generate_seq_feature(df,
                                  user_col='user_id',
                                  item_col='item_id',
                                  time_col='timestamp',
                                  item_attribute_cols=['category_id'])

# 模型配置
model = DIN(
    features=features,
    behavior_features=behavior_features,
    attention_units=[80, 40],
    hidden_units=[256, 128, 64],
    dropout_rate=0.1)

# 训练配置
trainer = Trainer(model=model,
                 optimizer_params={'lr': 0.001},
                 n_epochs=10)

DCN-V2 模型

DCN-V2 通过交叉网络显式建模特征交互：

# 模型配置
model = DCNV2(
    features=features,
    cross_num=3,
    hidden_units=[256, 128, 64],
    dropout_rates=[0.1, 0.1, 0.1],
    cross_parameterization='matrix')  # 或 'vector'

# 训练配置
trainer = Trainer(model=model,
                 optimizer_params={'lr': 0.001},
                 n_epochs=10)

模型评估

使用常见的排序指标进行评估：

# 评估模型
auc = evaluate_auc(model, test_dataloader)
log_loss = evaluate_logloss(model, test_dataloader)
print(f"AUC: {auc:.4f}")
print(f"LogLoss: {log_loss:.4f}")

特征工程技巧

特征预处理

# 类别特征编码
from sklearn.preprocessing import LabelEncoder
for feat in sparse_features:
    lbe = LabelEncoder()
    df[feat] = lbe.fit_transform(df[feat])

# 数值特征归一化
from sklearn.preprocessing import MinMaxScaler
for feat in dense_features:
    scaler = MinMaxScaler()
    df[feat] = scaler.fit_transform(df[feat].values.reshape(-1, 1))

特征交叉

# 手动特征交叉
df['cross_feat'] = df['feat1'].astype(str) + '_' + df['feat2'].astype(str)

高级应用

自定义损失函数

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, pred, target):
        # 实现 Focal Loss
        pass

trainer = Trainer(model=model,
                 loss_fn=FocalLoss(alpha=0.25, gamma=2))

学习率调度

from torch.optim.lr_scheduler import CosineAnnealingLR

trainer = Trainer(model=model,
                 scheduler='cosine',  # 使用余弦退火调度
                 scheduler_params={'T_max': 10})

注意事项

合理处理缺失值和异常值
注意特征工程的重要性
选择合适的评估指标
关注模型的可解释性
平衡模型复杂度和效率
处理样本不平衡问题