Skip to content

Commit a40e1ae

Browse files
committed
update SdA
1 parent 6775808 commit a40e1ae

File tree

2 files changed

+6
-1
lines changed

2 files changed

+6
-1
lines changed

6_Stacked_Denoising_Autoencoders_层叠降噪自动编码机.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -356,7 +356,7 @@ class SdA(object):
356356
这个微调(fine-tuning)循环和[多层感知机](https://github.com/Syndrome777/DeepLearningTutorial/blob/master/3_Multilayer_Perceptron_多层感知机.md)中的非常类似,唯一的不同是我们将使用在`build_funetune_functions`中给定的新函数。
357357

358358
###运行这个代码
359-
默认情况下,这个代码在以块数目为1下,每一层循环15次预训练。错差等级(corruption level)在第一层被设为0.1,第二层被设为0.2,第三层被设为0.3。预训练的学习速率为0.001,微调学习速率为0.1。预训练花了585.01分钟,平均每层13分钟。微调在36次迭代,444.2分钟后完成。平均每层迭代12.34分钟。最后的验证得分为1.39%,测试得分为1.3%。所有的结果都是在Intel Xeon E5430 @ 2.66GHz CPU,GotoBLAS下得出。
359+
默认情况下,这个代码以块数目为1,每一层循环15次来进行预训练预训练。错差等级(corruption level)在第一层被设为0.1,第二层被设为0.2,第三层被设为0.3。预训练的学习速率为0.001,微调学习速率为0.1。预训练花了585.01分钟,平均每层13分钟。微调在36次迭代,444.2分钟后完成。平均每层迭代12.34分钟。最后的验证得分为1.39%,测试得分为1.3%。所有的结果都是在Intel Xeon E5430 @ 2.66GHz CPU,GotoBLAS下得出。
360360

361361
###技巧
362362
这里有一个方法去提高代码的运行速度(假定你有足够的可用内存),是去计算这个网络(直到第k-1层时)如何转换你的数据。换句话说,你通过训练你的第一个dA层来开始。一旦它被训练,你就可以为每一个数据节点计算隐单元的值然后将它们储存为一个新的数据集,以便你在第2层中训练dA。一旦你训练完第2层的dA,你以相同的方式计算第三层的数据。现在你可以明白,在这个时候,这个dAs被分开训练了,它们仅仅提供(一对一的)对输入的非线性转换。一旦所有的dAs被训练,你就可以开始微调整个模型了。
Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
受限波尔兹曼机(Restricted Boltzmann Machines)
2+
==============================================
3+
4+
5+

0 commit comments

Comments
 (0)