【呆板进修】数据处理赏罚中白化Whitening的浸染图解说明

之前在看斯坦福教程中whiteining这一章时，因为原始图像相邻像素值具有高度相干性，以是图像数据信息冗余，对付白化的浸染的描写首要有两个方面：1，镌汰特性之间的相干性；2，特性具有沟通的方差（协方差阵为1）；可是为什么这么做，以及这样做对付算法可能数据有什么甜头，一向雨里雾里的，最近看了ICA的数据预处理赏罚之后，发明一个教程图解的白化要领和浸染很好。

白化，又称漂白可能球化；是对原始数据x实现一种调动，调动成x_Whitened;使x_Whitened的协方差矩阵的为单元阵。

一样平常环境下，所得到的数据都具有相干性，以是凡是都要求对数据举办起源的白化或球化处理赏罚，由于白化处理赏罚可去除各视察信号之间的相干性，从而简化了后续独立分量的提取进程，并且，凡是环境下，数据举办白化处理赏罚与差池数据举办白化处理赏罚对比，算法的收敛性较好。

若一零均值的随机向量Z=(Z1,Z2,....Zm),满意E{Z*Z'}=I，I为单元矩阵，我们称这个向量为白色向量。白化的本质在于去相干，这个同PCA道理相似；在ICA中，对付为零均值的独立源信号S(t)=[S1(t),S2(t)......Sn(t)]，有E{Si*Sj}=E{Si}*E{Sj}=0,当i！=j时：，且协方差矩阵是单元阵cov(S)=I,（零均值时相相关数矩阵和协方差矩阵相称），因此，源信号是白色的。对视察信号X(t)，我们应该探求一个线性调动，使X(t)投影到新的子空间后酿成白化向量，即：

Z(t)=W0*X(t) ? ?;个中W0为白化矩阵，Z为白化向量

操作主分量说明，我们通过计较样本向量获得一个调动：

个中^和U别离代表协方差矩阵的特性向量矩阵和特性值矩阵。可以证明，线性调动W0满意白化调动的要求。通过正交调动，可以担保U'*U=U*U'=I。因此通过协方差阵：

再将X(t)=AS(t)式代入Z(t)=W0*X(t),在令W0*A=B；

则有：Z(t)=W0*A*S(t)=B*S(t)

因为线性调动毗连的是两个白色随机矢量Z(t)和S(t)，可以得出B必然是一个正交调动。假如把上式中Z(t)的看作新的视察信号，那么可以说，白化使原本的殽杂矩阵A简化成一个新的正交矩阵B。其拭魅正交调动相等于对多维矢量地址的坐标系举办一个旋转。按照上一篇博文中关于连系熵的先容，多维漫衍颠末坐标系的旋转后连系微分熵保持稳固，以是颠末调动后的数据信息稳固。

?在多维环境下，殽杂矩阵A是的*n的，白化后新的殽杂矩阵因为是正交矩阵，其自由度降为n*(n-1)/2（这个我也不大白为什么），以是说白化使得ICA题目的事变量险些镌汰了一半。

白化这种通例的要领作为ICA的预处理赏罚可以有用地低落题目的伟大度，并且算法简朴，用传统的PCA就可完成。用PCA对视察信号举办白化的预处理赏罚使得原本所求的解殽杂矩阵退化成一个正交阵，镌汰了ICA的事变量。另外，PCA自己具有降维成果，当视察信号的个数大于源信号个数时，颠末白化可以自动将视察信号数量降到与源信号维数沟通。

图解说明：

?我们只知道他们合成后的信号x，如下：

?此时x1和x2不是独立的（好比看最上面的尖角，知道了x1就知道了x2）。那么直接代入计较功效欠好，由于我们假定x是独立的。

可以看到数据酿成了方阵，在的维度上已经到达了独立。

????然而这时x漫衍很好的环境下可以或许这样转换，当有噪音时怎么办呢？可以先行使前面提到的PCA要领来对数据举办降维，滤去噪声信号，获得k维的正交向量，然后再行使ICA。

参考文献：

1：http://wenku.baidu.com/link?url=M9B-jE_GnXBcZBV2wpHAp8_Mj7je1IH8yetkvfRBZULqwFuTGToO__e5eE2uFcQnPxTYHRlzrizKfCE3YYw1_aw6bb3d7NZTy6UMrwUYbny

2：http://wenku.baidu.com/view/941f6782e53a580216fcfe03.html

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!