背景

排序问题和分类回归问题本质差异在于优化的目标不同，除此之外，分类回归问题的模型应该都能用。
但是排序问题存在一些非连续优化目标，如NDCG，直接优化该目标并不容易。Lambda Rank是一种近似优化方法。

排序问题归根结底也是对每个样本打分，目标是使得应该排在前面的样本得分更高！
通常排序会有一个GROUP，GROUP之间的序关系没有意义，有意义的是GROUP内部的序关系。
例如搜索排序中，query就是一个GROUP，对给定的一个GROUP，将另外一种实体e进行排序。

一般将二元组(q, e)看做一个样本，如果考虑个性化，还要加上用户这个实体。总而言之，将这些实体多元组看做一个样本，
提取一些列特征$(x_i)$，然后构建一个模型$(f)$对它进行打分$(f(x))$。

Rank Net

将样本$(U_i)$排在$(U_j)$前面的概率$(P(U_i \succ U_j))$建模成得分差值的sigmoid函数！

$$
P_{ij} = P(U_i \succ U_j) = \frac{1}{1 + e^{-\sigma(s_i - s_j)}} \\
s_i = f(x_i)
$$

通过对所有可比较的样本对计算此概率值，然后进行极大似然估计得到损失函数。
由于一个样本$(x_i)$会同时出现在多个样本对中，损失函数对$(s_i)$的梯度$(\lambda_i)$会跟多个样本对有关，

$$
\lambda_i = \frac{\partial l}{\partial s_i} = \sum_k \frac{\partial l_k}{\partial s_i}
$$

参考

1. From RankNet to LambdaRank to LambdaMART: An Overview