第五章：生产系统的工程实践

阶段一：单机原型
├── 数据规模：< 100万文档
├── QPS：< 100
└── 关注点：算法正确性

阶段二：小规模分布式
├── 数据规模：千万级文档
├── QPS：1000-10000
└── 关注点：横向扩展能力

阶段三：大规模生产系统
├── 数据规模：百亿级文档
├── QPS：> 100万
└── 关注点：成本效益、稳定性

常见查询特征：
├── 查询长度（字符数、词数）
├── 查询意图分类（导航型、信息型、交易型）
├── 查询频率（历史查询次数）
├── 查询改写信号（是否为改写查询）
└── 时间特征（查询时间、星期几、节假日）

文档质量信号：
├── PageRank/权威度分数
├── 文档长度和结构
├── 更新频率和新鲜度
├── 历史点击率（全局CTR）
├── 停留时间分布
└── 用户评分/反馈统计

相关性特征体系：
├── 文本匹配
│   ├── BM25分数
│   ├── 完全匹配/短语匹配
│   ├── 同义词匹配度
│   └── 语义相似度（BERT、Sentence-BERT）
├── 点击反馈
│   ├── 历史CTR（该查询-文档对）
│   ├── 跳过率（Skip rate）
│   └── 满意度指标（SAT点击）
└── 结构化匹配
    ├── 标题匹配度
    ├── URL匹配度
    └── 锚文本匹配度

用户画像：
├── 人口统计（年龄、性别、地域）
├── 历史行为（搜索、点击、购买）
├── 兴趣标签（主题偏好）
└── 行为序列（最近N次交互）

GBDT特征重要性：
Importance(f) = Σ(节点分裂增益 × 使用该特征的节点数)

神经网络敏感度分析：
Sensitivity(f) = |∂NDCG/∂f|

过滤式选择（Filter）：
优点：快速、与模型无关
缺点：忽略特征间依赖
适用：初步筛选

包裹式选择（Wrapper）：
优点：考虑特征组合效果
缺点：计算开销大
适用：精细调优

嵌入式选择（Embedded）：
优点：训练中自动选择
缺点：依赖特定模型
适用：L1正则化、树模型

FM系列模型的二阶交叉：
f(x) = w₀ + Σwᵢxᵢ + ΣΣ<vᵢ,vⱼ>xᵢxⱼ

Deep & Cross Network：
x_{l+1} = x₀ × xₗᵀ × w + b + xₗ

AutoInt（自注意力交叉）：
Attention(Q,K,V) = softmax(QKᵀ/√d)V

搜索场景的经典组合：
├── 查询词频 × 文档长度（TF归一化）
├── 查询意图 × 文档类型（意图匹配）
├── 用户地域 × 商品发货地（同城偏好）
└── 查询时间 × 内容新鲜度（时效性需求）

实时特征（< 1秒更新）：
├── 当前会话行为
├── 实时库存/价格
└── 在线用户状态

准实时特征（分钟级）：
├── 短期点击率统计
├── 热门趋势信号
└── 流量异常检测

近线特征（小时级）：
├── 用户短期兴趣
├── 文档质量更新
└── 相关性缓存更新

离线特征（天级）：
├── 长期用户画像
├── 文档静态属性
└── 全局统计特征

查询请求
    ↓
[特征网关]
    ├→ [实时特征服务] ← Redis/内存KV
    ├→ [准实时特征] ← Kafka/Flink
    ├→ [近线特征缓存] ← Memcached
    └→ [离线特征存储] ← HBase/BigTable
         ↓
    [特征拼接]
         ↓
    [模型推理]

// 并行获取不同来源的特征
futures = [
    async_get_user_features(user_id),
    async_get_doc_features(doc_ids),
    async_get_realtime_features(session)
]
features = await_all(futures, timeout=20ms)

if latency > threshold:
    use_simple_features()  // 使用简化特征集
if feature_service_down:
    use_default_values()   // 使用默认值

位置点击概率分解：
P(Click|pos, rel) = P(Examine|pos) × P(Click|Examine, rel)
                    ↑                   ↑
                位置偏差              相关性判断

典型搜索引擎的位置CTR衰减：
位置1: 100% (基准)
位置2: 60-70%
位置3: 40-50%
位置4: 30-35%
位置5: 20-25%
...
位置10: 5-10%

P(C=1|u,d,k) = γₖ × ρᵤ,ᵈ

其中：

- γₖ: 位置k的检查概率
- ρᵤ,ᵈ: 文档d对用户u的吸引力（相关性）

E步：计算隐变量期望
Eₖ,ᵤ,ᵈ = P(E=1|C) = {
    1,           if C=1
    γₖρᵤ,ᵈ/(1-γₖρᵤ,ᵈ), if C=0
}

M步：更新参数
γₖ = Σᵤ,ᵈ Eₖ,ᵤ,ᵈ / |{(u,d): position=k}|
ρᵤ,ᵈ = Σₖ Eₖ,ᵤ,ᵈ × Cₖ,ᵤ,ᵈ / Σₖ Eₖ,ᵤ,ᵈ

用户行为假设：

1. 从位置1开始顺序浏览
2. 点击后以概率λ继续浏览
3. 未点击则继续浏览下一个

P(E=1|k) = ∏ᵢ₌₁ᵏ⁻¹ P(not satisfied at i)

状态转移：
Eᵢ₊₁ = {
    1,     if Eᵢ=1 ∧ Cᵢ=0  (未点击，继续)
    1,     if Eᵢ=1 ∧ Cᵢ=1 ∧ Sᵢ=0  (点击但不满意)
    0,     if Eᵢ=1 ∧ Cᵢ=1 ∧ Sᵢ=1  (点击且满意)
    0,     if Eᵢ=0  (已停止浏览)
}

无偏风险估计：
R̂ᵘⁿᵇⁱᵃˢᵉᵈ = 1/n Σᵢ (δᵢ/pᵢ) × loss(rankᵢ, relᵢ)

其中：

- δᵢ: 文档i是否被观察（点击）
- pᵢ: 文档i被观察的倾向得分
- loss: 排序损失函数

propensity[pos] = clicks[pos] / impressions[pos]
# 平滑处理避免零除
propensity[pos] = (clicks[pos] + α) / (impressions[pos] + β)

if random() < ε:  # ε ≈ 0.01-0.05
    show_random_ranking()
    collect_unbiased_clicks()

R̂ᴰᴿ = 1/n Σᵢ [m̂(xᵢ) + δᵢ/pᵢ × (rᵢ - m̂(xᵢ))]

其中 m̂(x) 是相关性的直接预测模型

梯度计算（LambdaRank + IPW）：
λᵢⱼ = -σ/(1 + e^(sᵢ-sⱼ)) × |ΔNDCGᵢⱼ| × (1/pᵢ - 1/pⱼ)
                                         ↑
                                    位置偏差校正

点击数据的极度稀疏性：

- 平均CTR: 2-5%
- 95%+的展示无点击
- 正负样本比例严重失衡

简单但可能采到相关文档
P(sample|d) = 1/|D|

避免采样热门（可能相关）文档
P(sample|d) ∝ (freq(d))^α, α ∈ [0, 1]

选择排名靠前但未点击的文档
更有区分度，加速收敛

In-batch negatives:
对于查询q的正样本d⁺，批次内其他查询的文档作为负样本

好处：

- 计算效率高（共享编码）
- 负样本质量较高
- 自然的难度递增

经验法则：
├── 初始训练：1:4 到 1:10
├── 精调阶段：1:20 到 1:50
└── 在线学习：1:100+（使用全量数据）

动态调整策略：
if model_converging:
    increase_negative_ratio()
if overfitting_detected:
    decrease_negative_ratio()

样本权重体系：
├── 点击样本：w = 1.0
├── 跳过样本（展示但未点击）：w = 0.1-0.3
├── 随机负样本：w = 0.05-0.1
└── SAT点击（满意点击）：w = 2.0-3.0

满意点击判定：

- 停留时间 > 30秒
- 有后续交互（收藏、购买）
- 未立即返回（无pogo-sticking）