页面树结构

2017-11-09 ApacheCN 开源组织,第二期邀请成员活动,一起走的更远 : http://www.apachecn.org/member/209.html


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

受限玻尔兹曼机 

限制玻尔兹曼机器(RBM)是基于概率模型的无监督非线性特征学习者。当RBM或RBM层次结构提取的特征在馈入线性分类器(如线性SVM或感知器)时通常会获得良好的结果。

该模型对投入分配作出假设。目前,scikit学习只提供BernoulliRBM,它假设输入是二进制值或0和1之间的值,每个编码特定特征将被打开的概率。

RBM尝试最大化使用特定图形模型的数据的可能性。所使用的参数学习算法(随机最大似然)防止表示偏离输入数据,这使得它们捕获有趣的规律,但使得该模型对于小数据集不太有用,通常对密度估计无效。

该方法随着独立RBM的权重初始化深层神经网络而普及。这种方法被称为无监督的预训练。

图形模型和参数化

RBM的图形模型是一个完全连接的二分图。


节点是随机变量,其状态取决于它们连接到的其他节点的状态。因此,为了简化,该模型被参数化为连接的权重,以及每个可见和隐藏单元的一个截距(偏差)项。

能量函数衡量联合任务的质量:

在上式中,对于可见和隐藏层截距向量。模型的联合概率是根据能量来定义的:

限制词是指模型的两部分结构,它禁止隐藏单元之间或可见单元之间的直接交互。这意味着假设以下条件独立性:

两部分结构允许使用有效的Gibbs采样进行推理。

伯努利受限玻尔兹曼机

BernoulliRBM各单位都是二元随机单位。这意味着输入数据应该是二进制的,也可以是0到1之间的实值,表示可见单元打开或关闭的概率。这是一个很好的字符识别模型,其中的兴趣是哪些像素是活跃的,哪些不是。对于自然场景的图像,它不再适合,因为背景,深度和相邻像素的趋势取相同的值。

每个单位的条件概率分布由其接收的输入的逻辑S形激活函数给出:

物流S型函数在哪里?

 

随机最大似然学习

实施的训练算法BernoulliRBM被称为随机最大似然(SML)或持续对比发散(PCD)。由于数据可能性的形式,直接优化最大似然是不可行的:

为了简单起见,上面的等式是针对单个训练示例编写的。相对于重量的梯度由对应于上述的两个项形成。它们通常被称为正梯度和负梯度,因为它们各自的迹象。在这种实施中,按照小批量的样品估计梯度。

在最大化对数似然度的情况下,正梯度使模型更倾向于与观察到的训练数据兼容的隐藏状态。由于RBM的二分体结构,可以有效地计算。然而,负梯度是棘手的。其目标是降低模型所喜欢的联合状态的能量,从而使数据保持真实。可以通过马尔可夫链蒙特卡罗近似,使用块Gibbs采样,通过对每个v并且H给定另一个进行迭代采样,直到链混合。以这种方式产生的样品有时被称为幻想粒子。这是无效的,很难确定马可夫链是否混合。

对比分歧方法建议在少量迭代之后停止链ķ,通常甚至为1.该方法快速且方差小,但样本远离模型分布。

持续的对比分歧解决这个问题。而不是每次需要梯度启动一个新的链,并且只执行一个Gibbs采样步骤,在PCD中,我们ķ在每个权重更新之后保留一些更新Gibbs步骤的链(幻想粒子) 。这样可以使颗粒更彻底地探索空间。

  • 无标签