在本节中，我们将展示如何使用我们在上一节中介绍的 GP 先验执行后验推理和进行预测。我们将从回归开始，我们可以在其中以封闭形式执行推理。这是一个“简而言之 GP”部分，可在实践中快速启动和运行高斯过程。我们将从头开始编写所有基本操作的代码，然后介绍 GPyTorch，这将使使用最先进的高斯过程以及与深度神经网络的集成更加方便。我们将在下一节中深入探讨这些更高级的主题。在该部分中，我们还将考虑需要近似推理的设置——分类、点过程或任何非高斯似然。
18.3.1。回归的后验推理
观察模型与我们想要学习的功能相关联， f(x), 根据我们的观察y(x), 都由一些输入索引x. 在分类上，x可以是图像的像素，并且y可能是关联的类标签。在回归中， y通常表示连续输出，例如地表温度、海平面、CO2浓度等
在回归中，我们通常假设输出是由潜在的无噪声函数给出的f(x)加上 iid 高斯噪声 ϵ(x):
和ϵ(x)∼N(0,σ2). 让 y=y(X)=(y(x1),…,y(xn))⊤是我们训练观察的向量，并且 f=(f(x1),…,f(xn))⊤是潜在无噪声函数值的向量，在训练输入中查询 X=x1,…,xn.
我们假设f(x)∼GP(m,k)，这意味着任何函数值的集合f具有联合多元高斯分布，均值向量 μi=m(xi)和协方差矩阵 Kij=k(xi,xj). RBF核 k(xi,xj)=a2exp(−12ℓ2||xi−xj||2) 将是协方差函数的标准选择。为了符号简单起见，我们将假设均值函数m(x)=0; 我们的推导可以在以后很容易地推广。
假设我们想对一组输入进行预测
那么我们想要找到x2和 p(f∗|y,X). 在回归设置中，我们可以在找到联合分布后，使用高斯恒等式方便地找到这个分布f∗=f(X∗) 和y.
如果我们在训练输入处评估等式(18.3.1)X， 我们有 y=f+ϵ
