自编码器

各种自编码器

• https://www.zhihu.com/question/41490383

代码 https://www.atyun.com/16921.html

堆叠自编码器

一般用来作逐层无监督预训练，但自从dropout、relu等提出后，已经没什么人用了。

去噪自编码器

对于常见的分类任 务，一般分为以下两个阶段：

• layer-wise pre-training （逐层预训练）
• fune-tuning （微调）

注意到，前述的各种SAE，本质上都是非监督学习，SAE各层的输出都是原始数据的不同表达。对 于分类任务，往往在SAE顶端再添加一分类层（如Softmax层），并结合有标注的训练数据，在误 差函数的指导下，对系统的参数进行微调，以使得整个网络能够完成所需的分类任务。

对于微调过程，即可以只调整分类层的参数（此时相当于把整个SAE当做一个feature extractor），也可以调整整个网络的参数（适合训练数据量比较大的情况）。

稀疏自编码器

就是在损失函数加入一个项，表示神经元

• https://blog.csdn.net/u010278305/article/details/46881443
• https://blog.csdn.net/jiede1/article/details/76681371

代码 https://blog.csdn.net/m0_37744293/article/details/70767843

关键代码部分

# Construct model
P=0.1
beta=1
encoder_op = encoder(X)
decoder_op = decoder(encoder_op)

Pj=tf.reduce_mean(encoder_op,0)
sparse_cost=tf.reduce_mean(P*tf.log(P/Pj)+(1-P)*tf.log((1-P)/(1-Pj)))

# Prediction
y_pred = decoder_op
# Targets (Labels) are the input data.
y_true = X

# Define loss and optimizer, minimize the squared error
cost = tf.reduce_mean(tf.pow(y_true - y_pred, 2))+sparse_cost*beta

Pj是一个batch的每个神经元的平均激活值

逐层贪婪预训练

参考深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

• 什么Autoencoder、RBM，现在都已经没人用了。现在都用relu和dropout等。
• 现在所常说的 pre-training (预训练) ，其实 专指 migration learning (迁移学习)，那是一种无比强大又省事儿的trick。