Summary

刻画概率分布的方式¶

Probability Density / Mass Functions¶

最容易想到的刻画方式，一般只涉及一阶导，不涉及二阶导，故而计算较能被接受。根据不同的切入点会有很不一样的处理手段。

• Autoregressive-Models
• Flow-Models
• Variational Autoencoders
• Energy-Based-Model-(EBM)

Sampling Progress¶

通过样本间接刻画分布，推导中不村在分布的直接参与，难点在于训练不稳定

Score Function¶

也就是通过刻画 log-derivative 来间接刻画分布，难点在于会有原函数的二阶导出现，需要去除以提高计算效率

• Score-based-Model

刻画概率分布之间的距离¶

• two sample test (见 GAN)
• Maximum-Likelihood-Learning
• Score-Matching
• Noise-Contrastive-Estimation

生成模型的评估¶

Support Me!