Table of Contents

关于

CEM，交叉熵方法，是一种在线求解目标变量最优解的方法。

基本原理

假设待优化向量为w，可以观察到参数w下的回报S(w)
S被当做黑盒，不建模
最简单的想法是，随机一批w，然后观察S(w)，然后选出最优w即可
如果w空间很大，一次迭代难以得到足够的数据来确定最优w，可以利用在线更新的方法（类似汤普森采样）
先假设w的一个先验分布，比如高斯分布$(w ~ N(\mu, \sigma))$
然后每轮采样n个wi，执行策略并观察回报S(wi)
取前K(K<n)个w，重新估计参数$(\mu, \sigma)$，即用这K个w计算新的均值和方差
$$
\mu_{new} = \frac{\sum_{i \in I_K} w_i}{|I_K|} \\
\sigma^2_{new} = \frac{\sum_{i \in I_K} (w_i-\mu_{new})^T(w_i-\mu_{new})}{|I_K|} + Z
$$
Z是一个随机噪声，避免过快收敛