英语原文共 39 页，剩余内容已隐藏，支付完成后下载完整资料

---

模糊高斯混合模型

2016年10月9日

摘要

在这一章中，为了提高传统高斯混合模型（GMMs）的性能和效率，通过集成传统GMMs与主动曲线轴的GMMs拟合非线性数据集的的方式，首先提出广义GMMs。接着，在广义GMMs的基础上,受到引进基于距离的相异性函数上模糊度的模糊C均值聚类算法（FCMS）的启示，提出了两类具有更快收敛过程的模糊高斯混合模型（FGMMs）。一种被命名为基于概率的GMMs，它把相异性定义为概率密度函数的倒数；而另一种是基于距离的GMMs，它定义了相异性函数，把模糊度仅集中于点到组件中心的距离。不同于模糊C均值聚类算法，两种被提出的相异性函数都是建立在距离的指数函数之上。就拟合度与收敛速度两方面而言，FGMMs和传统的GMMs及广义的GMMs相比，实验结果显示，所提出的FGMMs不仅拥有非线性度以拟合曲线流形的数据集，而且还有更快的收敛过程，相比于GMMs节省了一半以上的计算成本。

1 介绍

统计表明，作为最成熟的聚集方法之一[1-7]，高斯混合模型（GMMs）集中被用在目标跟踪[8-10]、背景差减[11-13]、特征选择[14,15]、信号分析[16,17]、以及学习和建模[18-23]方面。为了一些特定功能发展了各种基于GMMs的方法，例如适应性的GMMs[24]，它可用于处理语音特征变化的不良效果；诸如基于马氏距离的GMMs[25]，它能够将一个组件划分为两个新组件；再者说像包裹高斯混合模型，它通过适用于圆形矢量数据的最大期望算法来建立离散相。但是，当要拟合具有非线性流形的数据集时，就需要更多的组件，因为高斯模型固有的线性度会引起相对大的拟合误差。为了解决这一问题以及接近于具有更好曲线流形的数据集，张等人提出活动区线轴高斯混合模型（AcaGMMs），这是非线性概率模型。在主平面上常用主成分分析和最小二乘拟合法来“偏向”AcaGMMs，并且通过处理主轴上的投影点来判断点。

模糊C均值聚类算法又被称作模糊迭代自组织数据分析算法，在1973年[28]由邓恩提出并在1981年[29]被贝兹德克完善。它是一种流行并有效的聚类方法，通过采用模糊划分使得一个数据点能够属于在0和1之间产生不同隶属度的所有群组。它在每一个模糊隶属度及点到中心的距离采用了一个加权指数m。而加权指数的作用是最优的m会产生最好的性能或是更快的收敛性[30,31]，并且确定加权指数的方法也已经被提出[30,32,33]。FCM和GMMs的算法框架紧密相关[34,35]。基于FCM，古斯塔夫森等人定义了聚类的模糊协方差矩阵，这意味着相同数据集的不同聚类可能有不同的几何形状。为了明确不同聚类的几何形状，特兰等人对GMMs做了进一步的优化为实现说话人识别，它把FCM函数中的距离细分为密度函数的负对数。因此，成员和距离间的关系从指数关系转移到线性关系，但是它错误的用指数距离参数来构想高斯密度函数。海瑟薇[38]给出了一个概括性的解释，GMMs的EM算法是一种硬均值聚类算法不公正的说法。市桥等人[39]提出了一种FCM的优化版本，并由模糊目标函数上的Kullaback-Leibler（KL）信息进行正则化。KLFCM和GMMs间的关系以及二者的比较一直被人们讨论[39,40]。作为一个KLFCM的算法变体，一种在模糊聚类原理下用以有限混合模型拟合的通用方法被提出并且被运用于三类有限混合模型[41]中来提升它们的性能。

为了能在数学建模中融入GMMs和FCM的优点，并在广义的高斯模型具有非线性和更好的性能而模糊高斯混合模型（FGMMs）在广义的高斯模型为了追求更快的收敛过程以更有实用性的基础上被提出的情形下，传统的高斯混合模型被率先推广。就隶属度而言，以维持成员和距离间指数关系FCM中的相异性函数需改善以满足具有模糊度的FGMMs。因此，就拟合度和收敛速度而言，相比于传统的GMMs和广义的GMMs，实验证明FGMMs不仅拥有非线性性而且还有计算量少的收敛过程。FGMMs不同于type-2 FGMMs，它用区间可能性来描述观测的不确定性[42]。Type-2FGMM致力于模式分类中不确定性足迹角色来处理GMMs的不确定平均向量或不确定协方差矩阵，而这章中FGMMs基于改良的FCM算法致力于GMMs的精确参数估计。这章的目的是提升传统GMMs的性能和效率。这章做如下安排：第二节介绍广义的GMMs；第三节提出两种基于广义GMMs的FGMMs；第四节提供了所提出的FGMMs和传统GMMs及广义GMMs分别在各类数据集的比较结果；最后用评论和未来的工作对这章进行总结。

2 广义的GMMs

在这一节中，我们把传统的GMMs推广到广义中去，这使得GMMs有能力建立曲线数据集模型。传统GMMs的简要回顾过后，为了广义的GMMs一种EM算法被提出。

2.1 传统的GMMs

描述高斯分布的概率密度函数以公式形式给出：

（1）

公式中参数的设置有，是平均值，是高斯协方差矩阵，d是向量x的维度，而exp表示指数函数。

让作为n个向量的高维观测数据集。如果X分布可以用k高斯混合建模，则每一个向量的密度为：

（2）

在这里，参数是而是k混合组件的k混合系数并使；每一个都是被参数化的密度函数。样本密度是：

（3）

函数被叫做给定数据参数的似然度或是似然函数。似然度被认为是数据不变参数的函数。在最大似然度问题中，目标是为了估算设定参数来最大限度的利用L。那就要找到

（4）

通常，是被代替用于最大化，因为它在分析上更容易。对数似然的表达如下：

（5）

直接将对数似然最大化是困难的，因此，考虑一个辅助目标函数Q；

（6）

这里的是个体类i的后验概率，i=1,...,k，并且它满足

（7）

以及

（8）

最大化相等式6保证被最大化如果用EM算法运行(e.g.,[43,44])。就旧参数而言估算新参数的EM算法的迭代被给出如下：

期望步骤：运用等式7为每一个类计算所有数据点的预期类。

最大化步骤：根据等式9-11计算出所给数据的类成员分布的最大似然。

（9）

（10）

（11）

当使用GMMs时，k均值在EM运作前先被用来初始化。当对数似然的变化值低于预设阈值时EM算法的迭代将会停止。

2.2广义的高斯模型

传统高斯模型有固有线性度因为它的所有轴线都是直线，所以当拟合非线性流形数据集时需要更多的组件。活动曲线高斯模型(AcaG)有弯曲的主轴，这使它能更有效的构建曲线数据集模型[27]。

在这一章中，广义高斯模型被解释为包含两种形式的模型：一种是拥有线性轴线的传统高斯模型，另一种是拥有弯曲主轴的弯曲高斯模型或AcaG模型。让作为n个矢量的高维观测数据。X的分布基于一种高斯或弯曲高斯。

首先，样本映射到PCA确定的坐标系中：

（12）

这里的T和Q分别代表平移矢量和PCA的旋转矩阵。让通过PCA转变到X的坐标。Y的d维则表示为。

然后最小二乘拟合法[45]用来拟合Y主平面上的坐标，其上的标准曲线被释义为：

（13）

二次项系数a表示曲线折度。a越大，主轴越弯曲。b表示曲线的偏移。经过最小二乘拟合法拟合过后，参数a和b将会被确定。根据参数a的值，传统高斯模型的主轴被释义为：

(14)

如果，这里是预设的小的正实数，则主轴可以被认为是y=b，这便意味着主轴是一条直线，此时广义高斯模型退为传统高斯模型。如果，则主轴是弯曲的并是，这时具有弯曲轴的广义高斯模型是AcaG模型。广义高斯模型的例子如图1左侧。

当主轴是直线（即），点的概率密度函数则为方程式2中的。

图1：广义的高斯模型（左侧）和主曲线轴上的投影点（右侧）

当主轴是弯曲的（即），一个样本上的投影点可以被认为是主轴上的点，它和样本间有局部最小距离。样本和沿着主轴上的点间的距离在样本的投影点上有零位派生。给出任一从转换坐标的样本，它到标准曲线上的点的距离满足

通过拉格朗日方法，中对和的偏导都为0，

消除，

（15）

在标准曲线方程式中，我们可以解出这个方程式中的所有实根，都为样品的投影点。在主平面上，一个点可能在主曲线轴上有几个投影点，因为弯曲的主轴可能会引起一个点落在曲线轴几个不同法线方向上，就像图1右侧所示。认为是样点的第j个投影点，z的弧长用公式表示为

z在标准曲线上，所以它满足。因此我们有

（16）

样点到它的投影点z的距离为

（17）

点的概率密度函数是它所有投影点的概率之和：

（18）

这里参数设置为；C代表标准曲线的控制参数；则是样点的投影点。

2.3广义的GMMs的EM算法

广义的GMMs结合了传统的GMMs和AcaGMMs，两者都是用EM算法进行参量估计。参照更新的概率密度函数18，EM算法的迭代求解广义的ＧＭＭＳ展示如下：

·求期望步骤：计算每一个类中所有数据点的“期望”类。如果，由方程式1计算；相反，则由方程式18计算。然后由方程式7计算出。

·最大化步骤：计算所给数据的类成员分布的最大似然度。由方程式9估算，接着以下便会被得到，

（19）

（20）

PCA（）是用来估算转移矩阵和旋转矩阵的主成分分析函数。LSFM（）是用来估算控制参量的最小二乘拟合法，形成了具有标准曲线的曲线轴；如果，和可以通过方程式10和11计算；相反，则可以通过以下等式计算得到。

(21)

(22)

(23)

（24）

如果样点在第i个要素上有个投影点，则第j个投影点的弧长是，并且第j个投影点到的距离为。是第i个要素上的投影点的平均弧长，而是第i个要素上第j个投影点到的距离。是含有和的高斯上的x的概率密度。和代表第i个主轴上的两个协方差，并且是正交于主平面的d-3维空间。

当广义的GMMs中的|a|非常小时，我们把AcaGMMs转变为GMM，这样和就可以仅通过方程式10和11求出，而不用方程式21-24，这将节省AcaGMMs的计算成本。切换方程14不起提升AcaGMMs拟合度的作用，但它确实在时节省了估算新的中心点和协方差时不必要的步骤。因此，所提出的广义的GMMs更快于AcaGMMs，尤其是在任何要素的主轴有个小的弯曲度时。

和传统的GMMs一样，广义的GMMs也是通过EM算法用K均值聚类初始化进行训练；在任何数据集中广义的GMMs要素的数量也需要合理选择。由于它的非线性拟合的缘故，广义的GMMs的要素要少于传统的GMMs的。正如图2中展示的一个例子。知道由方程5得到的最大似然的相对差低于预设阈值时迭代才会停止。

3模糊高斯混合模型

受到FCM结构的启发，我们向广义的GMMs引进模糊成员上的加权指数以提升收敛效率。GMMs很明显是高斯分布混合模型，各自聚点的相异性在形式上被定义为一定距离的指数函数。在指数距离代表的不同的相异性函数上两类模糊的广义GMMs被提出，即是基于概率的FGMMs和基于距离的FGMMs。

图2：用传统GMMs拟合中国汉字需要7个部分（左侧）而用广义GMMs（右侧）需要四个部分。

3.1模糊C均值聚类

让为含有n个矢量的d维观测数据，k是满足的个数，m是每一个模糊成员上的加权指数与模糊度，是第i个簇丛中心点原型，而中是第i个簇丛中的隶属度并且有

（25）

且。在目标和聚类中心间具有A标准距离测度的相异性函数是

（26）

FCM的目的是找到一个新的最小化相异性函数的聚类中心（质心），即加权平方和误差目标函数组：

（27）

最小化目标函数的处理依靠如何寻找中心点的最佳位置，同时模糊成员和标准距离会随着新的中心点的位置变化。给出先前中心点的位置，方程26将会产生基于距离的相异性。为了最小化目标函数27，新的中心点的位置将会由以下方程确定：

（28）

（29）

这里的是由具有加权指数m的隶属度估算出的第i个中心的新位置。经过一定次数方程26-29的迭代后，聚类中心经过最优处理来最小化目标函数。当目标函数时值与前值的差异低于预设阈值时迭代停止。

当FCM在方程27和29中的每个模糊成员上引进一个加权指数m，模糊度时，相比于其他簇丛更接近于一个簇丛的点对这个簇丛更重要，同时对其他的簇丛则显示的不是很重要。

3.2基于概率的GMMs

为了使GMMs的收敛速度更快，一个基于概率的GMMs相异性函数被定义为：

（30）

这里的是第i个元素的权重；是来自于的方程1或的方程18。

相较于方程26，由方程30确定的相异性函数不仅包含距离还包括协方差和混合权重，并且它正比于指数距离。目标函数由方程27扩展为：

（31）

最小化通过方程28由相同FCM操作执行。新的混合权重通过方程32估算：

（32）

在中曲线轴参数可以由方程20得到。如果（即i元素主轴弯曲），则广义的高斯模型退换为一个传统高斯模型，其中心点和协方差可以通过方程29和32得到。

(33)

否则当时，i元素主轴将被塑造为标准曲线并且广义的高斯模型将会转变成一个AcaG模型。可以通过方程20,34-36来计算出标准曲线参数（事务和旋转矩阵）

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[138000]，资料为PDF文档或Word文档，PDF文档可免费转换为Word