Update 7_Restricted_Boltzmann_Machine_受限波尔兹曼机.md

Author: Syndrome777

7_Restricted_Boltzmann_Machine_受限波尔兹曼机.md

@@ -5,7 +5,7 @@
 
 本节的所有代码都可以在[这里](http://deeplearning.net/tutorial/code/rbm.py)下载。
 
-###基于能量模型（Energy-Based Models）
+## 基于能量模型（Energy-Based Models）
 基于能量的模型（EBM）把我们所关心变量的各种组合和一个标量能量联系在一起。训练模型的过程就是不断改变标量能量的过程，使其能量函数的形状满足期望的形状。比如，如果一个变量组合被认为是合理的，它同时也具有较小的能量。基于能量的概率模型通过能量函数来定义概率分布：
 
 ![energy_fun](/images/7_ebm_1.png)
@@ -20,7 +20,7 @@
 
 其中随机梯度为![gradient](/images/7_ebm_4.png)，其中theta为模型的参数。
 
-####包含隐藏单元的EBMs
+### 包含隐藏单元的EBMs
 
 在很多情况下，我们无法观察到x样本的全部分布，或者我们需要引进一些没有观察到的变量，以增加模型的表达能力。因而我们考虑将模型分为2部分，一个可见部分（x的观察分布）和一个隐藏部分h，这样得到的就是包含隐含变量的EBM：
 
@@ -47,7 +47,7 @@
 通常我们很难精确计算这个梯度，因为式中第一项涉及到可见单元与隐含单元的联合分布，由于归一化因子Z(θ)的存在，该分布很难获取。 我们只能通过一些采样方法（如Gibbs采样）获取其近似值，其具体方法将在后文中详述。
 
 
-###受限波尔兹曼机（RBM）
+## 受限波尔兹曼机（RBM）
 
 波尔兹曼机是对数线性马尔可夫随机场（MRF）的一种特殊形式，例如这个能量函数在它的自由参数下是线性的。为了使得它们能更强力的表达复杂分布（从受限的参数设定到一个非参数设定），我们认为一些变量是不可见的（被称为隐藏）。通过拥有更多隐藏变量（也称之为隐藏单元），我们可以增加波尔兹曼机的模型容量。受限波尔兹曼机限制波尔兹曼机可视层和隐藏层的层内连接。RBM模型可以由下图描述：
 
@@ -68,7 +68,7 @@ RBM的能量函数可以被定义如下：
 ![prob_rbm](/images/7_rbm_4.png)
 
 
-####二进制单元的RBMs
+### 二进制单元的RBMs
 在使用二进制单元（v和h都属于{0,1}）的普通研究情况时，概率版的普通神经激活函数表示如下：
 
 ![activation_fun](/images/7_rbm_binary_units_1.png)
@@ -80,15 +80,15 @@ RBM的能量函数可以被定义如下：
 ![free_energy_binary](images/7_rbm_binary_units_1.png)
 
 
-####二进制单元的更新公式
+### 二进制单元的更新公式
 
 我们可以获得如下的一个二进制单元RBM的对数似然梯度：
 
 ![equations](/images/7_update_e_b_u_1.png)
 
 这个公式的更多细节推倒，读者可以阅读[这一页](http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/DBNEquations)，或者[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/%7Elisa/publications2/index.php/publications/show/239)的第五节。在这里，我们将不使用这些等式，而是通过Theano的`T.grad`来获取梯度。
 
-###在RBM中进行采样
+## 在RBM中进行采样
 
 p(x)的样本可以通过运行马尔可夫链的汇聚、Gibbs采样的过渡来得到。
 
@@ -109,20 +109,20 @@ p(x)的样本可以通过运行马尔可夫链的汇聚、Gibbs采样的过渡
 在这个理论里面，每个参数在学习进程中的更新都需要运行这样几个链来趋近。毫无疑问这将耗费很大的计算量。一些新的算法已经被提出来，以有效的学习p(v,h)中的样本情况。
 
 
-###对比散度算法（CD-k）
+## 对比散度算法（CD-k）
 
 对比散度算法，是一种成功的用于求解对数似然函数关于未知参数梯度的近似的方法。它使用两个技巧来技术采样过程：
 * 因为我们希望p(v)=p_train(v)（数据的真实、底层分布），所以我们使用一个训练样本来初始化马尔可夫链（例如，从一个被预计接近于p的分布，所以这个链已经开始去收敛这个最终的分布p）。
 * 对比梯度不需要等待链的收敛。样本在k步Gibbs采样后就可以获得。在实际中，k=1时就可以获得惊人的好的效果。
 
 
-####持续的对比散度
+### 持续的对比散度
 
 持续的对比散度[Tieleman08](http://deeplearning.net/tutorial/references.html#tieleman08)使用了另外一种近似方法来从p(v,h)中采样。它建立在一个拥有持续状态的单马尔可夫链上（例如，不是对每个可视样例都重启链）。对每一次参数更新，我们通过简单的运行这个链k步来获得新的样本。然后保存链的状态以便后续的更新。
 
 一般直觉的是，如果参数的更新是足够小相比链的混合率，那么马尔科夫链应该能够“赶上”模型的变化。
 
-###实现
+## 实现
 
 ![RBM_impl](/images/7_implementation_1.png)
 
@@ -426,21 +426,21 @@ class RBM(object):
         return monitoring_cost, updates
 ```
 
-###进展跟踪
+## 进展跟踪
 
 RBMs的训练是特别困难的。由于归一化函数Z，我们无法在训练的时候估计对数似然函数log(P(x))。因而我们没有直接可以度量超参数优化与否的方法。
 
 而下面的几个选项对用户是有用的。
 
-####负样本的检查
+### 负样本的检查
 
 在训练中获得的负样本是可以可视化的。在训练进程中，我们知道由RBM定义的模型不断逼近真实分布，p_train(x)。负样例就可以视为训练集中的样本。显而易见的，坏的超参数将在这种方式下被丢弃。
 
-####滤波器的可视化跟踪
+### 滤波器的可视化跟踪
 
 由模型训练的滤波器是可以可视化的。我们可以将每个单元的权值以灰度图的方式展示。滤波器应该选出数据中强的特征。对于任意的数据集，这个滤波器都是不确定的。例如，训练MNIST，滤波器就表现的像“stroke”检测器，而训练自然图像的稀疏编码的时候，则像Gabor滤波器。
 
-####似然估计的替代
+### 似然估计的替代
 
 此外，更加容易处理的函数可以被用于做似然估计的替代。当我们使用PCD来训练RBM的时候，可以使用伪似然估计来替代。伪似然估计（Pseudo-likeihood,PL）更加简于计算，因为它假设所有的比特都是相互独立的，因此有：
 
@@ -449,11 +449,11 @@ RBMs的训练是特别困难的。由于归一化函数Z，我们无法在训练
 
 
 
-###主循环
+## 主循环
 
 
 
-###结果
+## 结果