高斯过程回归中的线性算子和随机偏微分方程外文翻译资料

英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

高斯过程回归中的线性算子和随机偏微分方程

Simo Srkk

芬兰阿尔托大学生物医学工程与计算科学系

simo.sarkka@tkk.fi

摘要：在本文中，我们将讨论高斯过程（GP）回归模型的一个扩展，其中测量值被建模为基础GP的线性泛函，估计目标是过程的一般线性算子。我们将展示这一框架如何用于建模GP测量中涉及的物理过程，以及如何将物理先验信息编码成随机偏微分方程( SPDE )形式的回归模型。我们还将说明该理论在模拟应用中的实际适用性。

关键词：高斯过程回归；线性算子；随机偏微分方程；逆问题。

1. 引言

本文讨论了高斯过程（GP）回归[1,2]，它是一种贝叶斯机器学习方法，该方法将回归函数非参数化建模为高斯过程。在该方法中，我们对未知函数f(x)设一个高斯过程，然后通过调节观测值D={(x_i，y_i) : i=1,hellip;, n}，计算函数的后验分布。然后通过计算未知函数值的后验预测分布来估计任意点x*处的预测函数值。

在希尔伯特空间中作用于函数的线性算子和泛函[3]是工程和物理应用中常用的模型。在电信[4]、统计信号处理[5]和图像处理[6]中，线性算子通常是卷积核形式的积分算子，它模拟线性系统对输入或测量信号的作用。在物理学[7，8]中，线性算子是典型的微分算子，它是自然偏微分方程（PDE）模型的一部分。当PDE模型包含随机项时，就变成了随机偏微分方程(SPDE)[9]，可用于模拟具有未知子现象的空间物理过程。在本文中，我们将展示如何将线性算子自然地包含到GP回归中，并将物理和其他背景信息编码到模型中。这些信息可以通过在测量模型中包含一个线性算子或通过形成作为随机偏微分方程(SPDE)解的先验协方差函数来编码。以前也有类似的想法，例如在克里金[10,11,12,13,14]、图像处理[15,16,6]、卡尔曼滤波[17,18]和物理逆问题[19,20,21]中。在机器学习的背景下，先前也提出将线性算子包含到GP回归模型中。例如卷积多输出高斯过程[22,23]，潜力模型[24]，噪声算子方程[25,26]，导数和积分的测量和估计[27,28]都属于这类模型。本文给出了一个包含所有这些模型的通用模型，并给出了它的求解方法。

1. GPs的线性算子和泛函

在本文中，我们将表示线性算子lx在函数f（x）中的应用，这将导致另一个函数g（x）为g（x）=L_x f（x）。我们假设运算符生成的函数与其输入函数具有相同的输入域，如果输入函数是f : R^d → 那么输出函数就是g : R^d → 。也就是说，输出维度可能会改变，但输入不会。我们将明确地允许向量和矩阵值运算符，因为标量模型对于大多数建模目的来说太过限制。允许的线性算子的例子是，例如集成L_xf(x) = int;（x_i→

minus;infin;） f (x) dx_i，和雅可比矩阵的计算[L_xf（x）]_ij=part;f_i(x)/part;x_j 。

我们还需要线性泛函H_x，就像线性算子一样，但是生成向量或矩阵而不是函数。泛函可以被认为是在某一点上与结果函数的评价相结合的算子。例如，在固定点处的导数H_x f (x) = part;f（x）/part;x_i是f（x）在固定区域上的函数积分。泛函的数学处理类似于算子，因为泛函可以被认为是一类受限制的算子。

在本文中，我们对f（x）被建模为协方差函数为E[f（x）f^T (xrsquo;)] = K_ff(x，xrsquo;)的零均值高斯过程的情况感兴趣，这表示为

f (x) sim; GP(0,K_ff(x, xrsquo;)). （1）

通过应用众所周知的高斯过程线性变换规则[ 29，2 ]，我们得到如果g(x) = L_x f (x)，那么我们有

K_gf (x, xrsquo;) = L_xK_ff(x, xrsquo;)

K_fg(x, xrsquo;) = K_ff(x, xrsquo;) （2）

Kgg(x, xrsquo;) = L_xK_ff(x, xrsquo;)

在这里，我们必须小心符号——转置只是一个普通的矩阵转置，但是从右边的运算符应用来看，我们指的是一个类似于线性代数中矩阵乘的核运算。从这里开始的乘法意味着操作内核K_ff(x，xrsquo;)的第二个参数，这里通过写L_xrsquo;而不是L_x来强调这一点。这个约定需要能够一致地处理向量和矩阵算子。

为了说明正确的乘法，我们可以考虑用标量输入和协方差函数k_ff(x，xrsquo;)作用于标量高斯过程f(x)的算子L_x = (1，part;/part;x)。然后将交叉协方差K_fg（x，xrsquo;）表示为

K_fg(x, xrsquo;) = k_ff(x, xrsquo;)（1 part;/part;xrsquo;） = (k_ff(x, xrsquo;) part;k_ff(x, xrsquo;)/part;xrsquo;) （3）

用泛函计算的规则类似于算子的规则，但是当然，对函数应用泛函的结果，比如h = H_x f (x)是一个具有协方差矩阵的随机变量

K_hh = H_xK_ff(x, xrsquo;)， （4）

不是协方差函数。

1. 线性算子的高斯过程回归模型

如果我们用协方差函数K_ff(x，xrsquo;)将未知回归函数f : R^d → R^m建模为零均值高斯过程，那么基本的多输入多输出高斯过程回归模型可以表述为

f (x) sim; GP(0,K_ff(x, xrsquo;))

y_i = f (x_i) e_i， （5）

其中y_i,e_iisin;R^m。误差的联合协方差e = (e₁，...，e_n )假设由矩阵Sigma;给出。给定测量值y = (y₁，...，y_n )然后由众所周知的GP回归方程给出(例如，见[ 1，2 ] ) :

E[f(x)|y] = K_ff(x, x_1:n)[K_ff(x_1:n, x_1:n) Sigma;]^minus;1 y

Cov[f(x)|y] = K_ff(x, x) minus;K_ff(x, x_1:n) [K_ff(x_1:n, x_1:n) Sigma;]^minus;1(x, x_1:n), （6）

其中K_ff(x, x_1:n)是一个由块K_ff(x，x_j )形成的块矩阵，块中j=1，...，n并且K_ff(x_1:n, x_1:n)是一个具有块K_ff(x_i, x_j)的块矩阵，块中i=1，...，n并且j=1，...，n。

在图像处理[ 6 ]和物理逆问题[ 19，20 ]中，基于高斯过程的模型通常比方程5以更一般的形式来描述。为了模拟线性过程，例如测量过程中出现的运动模糊或物理现象，假设测量值是基础高斯过程的线性泛函，而不是过程的直接(噪声)值。此外，估计目标通常不是潜在的高斯过程，而是它的一些线性算子变换，例如它的导数或积分。有了这个动机，一个合适的广义高斯过程回归模型可以表述为

f (x) sim; GP(0,K_ff(x, xrsquo;))

y_i = H_x,i f (x) e_i, （7）

其中H_x,i是确定性线性函数，目标是估计信号d(x) = L_x f (x)的线性算子变换，其中L_x是线性算子。如同等式(5)中的基本模型一样，{y_i : i = 1, . . . , n}是m维测量值，误差e = (e₁，...，e_n )具有零均值和联合协方差矩阵Sigma;。

在这些假设下，后验过程d(x)在调整测量值后，将是一个高斯过程，平均值和协方差可以如下导出。y的联合分布=（y₁，...，y_n）和d（x）是多维高斯，具有零均值和协方差

Cov[（）]=│_xrsquo;=x， （8）

其中=（H_x，1，...，H_x，n）。执行完所有操作后，只需要替换xrsquo; = x，以使符号一致，也就是说，要清楚操作符对哪些变量进行操作。根据高斯随机变量的基本规则，我们可以计算d(x)的条件均值和协方差:

E[d(x) | y] =[]^-1y

Cov[d(x) | y]=

-[]^-1│_xrsquo;=x， （9）

其中，在表达式中的所有操作都已执行之后，将对x的所有实例执行替换xrsquo;=x。

1. 随机偏微分方程

线性随机偏微分方程是以下形式的算子方程

D_x g(x) = n(x), （10）

其中D_x是线性微分算子，n(x)是具有零均值和协方差函数K_nn(x，xrsquo;)的高斯过程。注意，SPDE通常指的是特殊情况，其中n(x)是高斯白噪声过程[ 9 ]，即协方差函数为K_nn(x，xrsquo;) =Qdelta;( x – xrsquo;)的过程，但这里我们将在上述广义意义上定义SPDE。假设我们现在想要解决相应的反问题，即，基于g(x)的测量，在等式(10)中估计n(x)。如果我们把它转换成高斯过程回归模型，将未知函数表示为f（x），并包括测量函数，则一般模型可以写成形式

f (x) sim; GP(0,K_ff(x, xrsquo;))

D_x g(x) = f (x) （11）

y_i = H_x,i g(x) e_i.

不幸的是，该模型与方程（7）中的GP模型不兼容。幸运的是，我们可以通过引入算子的格林函数G(x，xrsquo;)将模型转换成相容形式，这可以解释为算子D_x的逆。因此我们得到了g(x) = int;_X G(x，xrsquo;) f (xrsquo;) dxrsquo;的形式解，模型可以改写为

f (x) sim; GP(0,K_ff(x, xrsquo;))

y_i = H_x,iint;_X G(x，xrsquo;) f (xrsquo;) dxrsquo; e_i， （12）

其与模型( 7 )兼容。

物理定律，如电磁学定律，通常是线性偏微分方程。当线性偏微分方程由高斯过程驱动时，我们得到一个偏微分方程，其解是高斯过程。通过高斯过程回归模型和协方差函数的适当公式，也可以将物理定律编码到模型中。

1. 模拟:静电反问题

假设我们在一些预定点x_i测量静电荷密度的静电势phi;(x)。如果我们把未知电荷密度表示为f(x)，那么从麦克斯韦方程(例如，见[ 8 ])我们知道电势是泊松方程的解nabla;²phi;(x) = minus;f(x)/ϵ₀。如果我们将未知电荷密度建模为高斯过程，那么使用第4节中介绍的程序，可以将模型转换为

f(x) sim; GP(0, k_ff(x, xrsquo;))

y_i =dxrsquo; e_i，

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[18961]，资料为PDF文档或Word文档，PDF文档可免费转换为Word