Energy-Based Model (EBM)

约 717 个字 7 张图片 预计阅读时间 4 分钟

设 $P_{\theta }(x)=\frac{1}{Z(\theta )}{g}_{\theta }(x)$，其中 $Z(\theta )=\int g_{\theta }(x)dx$，$g_{\theta }$ 有非常灵活的选择，一般选择较为简单的，可以计算积分的，然后用这种较小的块去搭建更大、更复杂的模型，例如

• Autoregressive：products of normalized objects $P_{\theta }(x)P_{{\theta }^{\prime }(x)}(y)$

$${\int }_x{\int }_y{P}_{\theta }(x)P_{{\theta }^{\prime }(x)}(y)dydx={\int }_x{P}_{\theta }(x)dx=1$$

• Latent variables：Mixture of normalized objects $\alpha P_{\theta }(x)+(1-\alpha )P_{{\theta }^{\prime }}(x)$

$${\int }_x\alpha P_{\theta }(x)+(1-\alpha )P_{{\theta }^{\prime }}(x)dx=\alpha +(1-\alpha )=1$$

一般选择令

$$P_{\theta }(x)=\frac{1}{Z(\theta )}\exp f_{\theta }(x)$$

$Z(\theta )={\int }_x\exp f_{\theta }(x)dx$ 称为 partition function，当维度太高时，基本无法计算

Training

目标：最大化 $\frac{\exp \{f_{\theta }(x_{train})\}}{Z(\theta )}$，即让分母尽可能小，分子尽可能大

Contrastive Divergence

由于 $Z(\theta )$ 很难算出，可以用 MC 估计：采样 $x_{sample}$ 服从 $P_{\theta }$ ，计算

$${\mathrm{\nabla }}_{\theta }(f_{\theta }(x_{train})-f_{\theta }(x_{sample}))$$

称为 Contrastive divergence，推导：

$$\begin{array}{rl}& {\mathrm{\nabla }}_{\theta }\log \frac{\exp \{f_{\theta }(x_{train})\}}{Z(\theta )}\\ & ={\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-{\mathrm{\nabla }}_{\theta }\log Z(\theta )\\ & ={\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-\frac{{\mathrm{\nabla }}_{\theta }Z(\theta )}{Z(\theta )}\\ & ={\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-\frac{1}{Z(\theta )}{\int }_x{\mathrm{\nabla }}_{\theta }\exp \{f_{\theta }(x)\}dx\\ & ={\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-\frac{1}{Z(\theta )}{\int }_x\exp \{f_{\theta }(x)\}{\mathrm{\nabla }}_{\theta }{f}_{\theta }(x)dx\\ & ={\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-{\int }_x\frac{\exp \{f_{\theta }(x)\}}{Z(\theta )}{\mathrm{\nabla }}_{\theta }{f}_{\theta }(x)\\ & ={\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-{\mathbf{E}}_{x\sim x_{sample}}[{\mathrm{\nabla }}_{\theta }{f}_{\theta }(x)]\\ & \approx {\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{train})-{\mathrm{\nabla }}_{\theta }{f}_{\theta }(x_{sample})\end{array}$$

这里 $x_{sample}\sim P_{\theta }(x)=\frac{\exp (f_{\theta }(x))}{Z(\theta )}$，难以取样得到，可以采用下述两个迭代算法：

都需要迭代取样，非常慢。可以改进为 training without sampling，使用 score function：

$$s_{\theta }(x)={\mathrm{\nabla }}_x\log p_{\theta }(x)={\mathrm{\nabla }}_x{f}_{\theta }(x)$$

也就是计算对数化之后的梯度，可视化：

Score Matching

参考 Score-Matching

直观上看，就是想要先让梯度近似相等，然后在除以 partition function $Z(\theta )$ 的时候并不会影响梯度，那么两个分布就应该很接近了。最终结果：

$$\begin{array}{rl}{D}_F(p_{data},p_{\theta })& \approx \frac{1}{n}\sum _{i=1}^n\frac{1}{2}{\Vert {\mathrm{\nabla }}_x\log p_{\theta }(x_i)\Vert }^2+\mathrm{tr}({\mathrm{\nabla }}_x^2\log p_{\theta }(x_i))\\ & =\frac{1}{n}\sum _{i=1}^n\frac{1}{2}\Vert {\mathrm{\nabla }}_x{f}_{\theta }(x_i){\Vert }^2+\mathrm{tr}({\mathrm{\nabla }}_x^2{f}_{\theta }(x_i))\end{array}$$

问题是，计算 trace 太过 expensive。

Noise Contrastive Estimation

参考 Noise-Contrastive-Estimation

将 $Z(\theta )$ 看作是一个独立的参数，模型从 $p_{\theta }(x)$ 变成了 $p_{\theta ,Z}(x)$，最后结果只需要分别采样 $x_1,\dots ,x_n\sim p_{data}(x),y_1,\dots ,y_n\sim p_{noise}(y)$，然后计算 NCE loss:

$$\begin{array}{rl}& \frac{1}{n}\sum _{i=1}^n[f_{\theta }(x_i)-\log \text{sum}\exp (f_{\theta }(x_i),\log Z+\log p_{noise}(x_i))\\ & +\log Z+p_{noise}(y)-\log \text{sum}\exp (f_{\theta }(y_i),\log Z+\log p_{noise}(y_i))]\end{array}$$

推导：

Adversarial Training

Summary