自编码器Auto-Encoders

无监督学习

大多数的数据都是没有自己的标签的,因为数据过于庞大,手工识别标记标签过于困难,而为了充分利用这些unlabel的数据,可以使用自编码器,从无标签数据中学习,属于无监督学习。

Auto-Encoders

对于没有label的数据,无法像有监督学习一样设置label为目标,所以autoencoders以输入本身为目标。

特点

  1. 输入维度和输出维度是相同的
  2. 网络层中间有一个neck,先对输入进行降维,然后再对降维后的neck特征进行升维,还原到原本的大小(部分场合下会先进行升维,再进行降维,比如一些稀疏制化的自编码器)

训练

与大部分网络一样,子编码器也是一种通过对数据的拟合在进行训练的网络,我们依旧可以以降低loss function为目的对神经网络进行训练。

loss function

  1. MSE(mean square error):$$l(f(x))=\frac1{2}\sum_k(\overline{x_k}-x_k)^2$$ 其中 \(\overline{x}\)为输出的特征,x为输入的特征
  2. cross__entorpy error:$$l(f(x))=-\sum_k(x_klog(\overline{x_k})+(1-k)log(1-\overline{x_k}))$$其中\(\overline{x}\)为输出的特征,x为输入的特征

例 自编码器处理fashion__minist

下次一定

发表评论