高斯过程是什么？从视觉上理解机器学习中的高斯过程——Gaussian Process

admin管理员组

文章数量:1130349

——如何将一组小型构建块转变为解决回归问题的灵活的工具。

目录

• Introduction 简介
• Multivariate Gaussian distributions 多元高斯分布
• • Marginalization and Conditioning 边缘化（分布）和条件化（分布）
• Gaussian Processes 高斯过程
• • Kernels 核函数
  • Prior Distribution 先验分布
  • Posterior Distribution 后验分布
  • Combining different kernels 结合不同的核函数
• Conclusion 结论
• 一些思考
• 参考文献

最近看论文里用到了高斯过程Gaussian Process，好像对这个概念还不是很懂，找了一篇文章来看，原文是英文的，在这里自己翻译一下作为学习记录，也可以给有需要的小伙伴看看。英文阅读不错的同学可以直接去看看原文。原文链接在文末

高斯过程是一种为预测函数提供置信度（上图中的阴影部分）的概率方法。

Introduction 简介

  即使你已经花了一些时间阅读有关机器学习的内容，你也可能从未听说过高斯过程。 如果你有的话，复习一下基础知识始终是刷新记忆的好方法（温故而知新）。 通过这篇博文，我们想介绍高斯过程，并使它们背后的数学直觉更容易理解。
  高斯过程是机器学习工具箱中的强大工具。 它允许我们通过结合先验知识来预测我们的数据。 它们最明显的应用领域是为数据拟合函数。 这称为回归 regression，例如用于机器人技术或时间序列预测。 但高斯过程不仅限于回归 —— 它们还可以扩展到分类和聚类任务。 对于给定的一组训练点，可能有无限多的函数可以拟合数据。 高斯过程通过为每个函数分配一个概率，为这个问题提供了一个优雅的解决方案。这些函数的概率分布的平均值代表了给定数据最可能的特征。 此外，使用概率方法允许我们将预测的置信度纳入回归结果。
  我们将首先探索构建高斯过程的数学基础 — 我们邀请您使用交互式图形和动手示例来跟随。 它们有助于解释单个组件的影响，并展示高斯过程的灵活性。 阅读完本文后，我们希望您对高斯过程的工作原理以及如何为不同类型的数据配置它们有一个直观的认识。

Multivariate Gaussian distributions 多元高斯分布

  在探索高斯过程之前，我们需要了解它们所基于的数学概念。 顾名思义，高斯分布Gaussion distribution（通常也称为正态分布Normal distribution）是高斯过程的基本组成部分。 特别是，我们对这种分布的多元情况感兴趣，其中每个随机变量都呈正态分布，并且它们的联合分布也是高斯分布。 多元高斯分布由平均向量 μ和协方差矩阵 Σ 定义。

https://zhuanlan.zhihu/p/358169835协方差和协方差矩阵，可复习一下

  平均向量 μ描述了分布的期望值。它的每个分量都描述了相应维度的平均值。Σ 对沿每个维度的方差进行建模，并确定不同随机变量的相关性。 协方差矩阵总是对称的和半正定的，其对角线由第 i 个随机变量的方差组成。 非对角元素 σij 描述了第 i个和第 j 个随机变量之间的相关性。

  X 服从正态分布，协方差矩阵描述分布的形状，其由期望E 来定义

  从视觉上看，分布以均值为中心，协方差矩阵定义了它的形状。 下图显示了这些参数对二维高斯分布的影响。 每个随机变量的方差在协方差矩阵的对角线上，而其他值显示它们之间的协方差。

  高斯分布被广泛用于模拟现实世界。 例如，在中心极限定理的假设下，我们可以使用它们来描述测量误差或现象。 在下一节中，我们将仔细研究如何操纵高斯分布并从中提取有用的信息。

Marginalization and Conditioning 边缘化（分布）和条件化（分布）

  高斯分布具有在条件化和边缘化下闭合的良好代数特性。 在条件化和边缘化下封闭意味着这些操作的结果分布也是高斯分布，这使得统计和机器学习中的许多问题变得容易处理。 在下文中，我们将仔细研究这两种操作，因为它们是高斯过程的基础。
  边缘分布和条件分布都在原分布的子集上成立，使用下面的

——如何将一组小型构建块转变为解决回归问题的灵活的工具。

目录

• Introduction 简介
• Multivariate Gaussian distributions 多元高斯分布
• • Marginalization and Conditioning 边缘化（分布）和条件化（分布）
• Gaussian Processes 高斯过程
• • Kernels 核函数
  • Prior Distribution 先验分布
  • Posterior Distribution 后验分布
  • Combining different kernels 结合不同的核函数
• Conclusion 结论
• 一些思考
• 参考文献

最近看论文里用到了高斯过程Gaussian Process，好像对这个概念还不是很懂，找了一篇文章来看，原文是英文的，在这里自己翻译一下作为学习记录，也可以给有需要的小伙伴看看。英文阅读不错的同学可以直接去看看原文。原文链接在文末

高斯过程是一种为预测函数提供置信度（上图中的阴影部分）的概率方法。

Introduction 简介

  即使你已经花了一些时间阅读有关机器学习的内容，你也可能从未听说过高斯过程。 如果你有的话，复习一下基础知识始终是刷新记忆的好方法（温故而知新）。 通过这篇博文，我们想介绍高斯过程，并使它们背后的数学直觉更容易理解。
  高斯过程是机器学习工具箱中的强大工具。 它允许我们通过结合先验知识来预测我们的数据。 它们最明显的应用领域是为数据拟合函数。 这称为回归 regression，例如用于机器人技术或时间序列预测。 但高斯过程不仅限于回归 —— 它们还可以扩展到分类和聚类任务。 对于给定的一组训练点，可能有无限多的函数可以拟合数据。 高斯过程通过为每个函数分配一个概率，为这个问题提供了一个优雅的解决方案。这些函数的概率分布的平均值代表了给定数据最可能的特征。 此外，使用概率方法允许我们将预测的置信度纳入回归结果。
  我们将首先探索构建高斯过程的数学基础 — 我们邀请您使用交互式图形和动手示例来跟随。 它们有助于解释单个组件的影响，并展示高斯过程的灵活性。 阅读完本文后，我们希望您对高斯过程的工作原理以及如何为不同类型的数据配置它们有一个直观的认识。

Multivariate Gaussian distributions 多元高斯分布

  在探索高斯过程之前，我们需要了解它们所基于的数学概念。 顾名思义，高斯分布Gaussion distribution（通常也称为正态分布Normal distribution）是高斯过程的基本组成部分。 特别是，我们对这种分布的多元情况感兴趣，其中每个随机变量都呈正态分布，并且它们的联合分布也是高斯分布。 多元高斯分布由平均向量 μ和协方差矩阵 Σ 定义。

https://zhuanlan.zhihu/p/358169835协方差和协方差矩阵，可复习一下

  平均向量 μ描述了分布的期望值。它的每个分量都描述了相应维度的平均值。Σ 对沿每个维度的方差进行建模，并确定不同随机变量的相关性。 协方差矩阵总是对称的和半正定的，其对角线由第 i 个随机变量的方差组成。 非对角元素 σij 描述了第 i个和第 j 个随机变量之间的相关性。

  X 服从正态分布，协方差矩阵描述分布的形状，其由期望E 来定义

  从视觉上看，分布以均值为中心，协方差矩阵定义了它的形状。 下图显示了这些参数对二维高斯分布的影响。 每个随机变量的方差在协方差矩阵的对角线上，而其他值显示它们之间的协方差。

  高斯分布被广泛用于模拟现实世界。 例如，在中心极限定理的假设下，我们可以使用它们来描述测量误差或现象。 在下一节中，我们将仔细研究如何操纵高斯分布并从中提取有用的信息。

Marginalization and Conditioning 边缘化（分布）和条件化（分布）

  高斯分布具有在条件化和边缘化下闭合的良好代数特性。 在条件化和边缘化下封闭意味着这些操作的结果分布也是高斯分布，这使得统计和机器学习中的许多问题变得容易处理。 在下文中，我们将仔细研究这两种操作，因为它们是高斯过程的基础。
  边缘分布和条件分布都在原分布的子集上成立，使用下面的

本文标签： 高斯过程视觉机器process