广义线性模型

在回归模型中，线性回归表示为 ，逻辑回归表示为 ……为了使这形式不同的回归模型得到统一，引入了广义线性模型（GLM）

GLM 的定义

GLM 基于三项定义：

  • 线性预测算子：
  • 链接函数：将响应变量的期望与线性预测算子联系，定义为 ，其中

函数的输入域是分布允许的范围，例如 Bernoulli 分布的期望 ；函数的输出是线性预测器，数值范围通常是整个实数域

  • 响应变量服从指数族分布 ，如二项分布、泊松分布、正态分布

线性预测算子

其中 .

期望估计

将回归理解为求条件分布 的过程，得到分布后，用期望作为预测值 ，用方差作为预测值的不确定性。

指数分布族

注： 起着归一化常数的作用，确保 在 上的积分为 1.

以高斯分布为例，为了简化推导，令 ，则有

则

以 Bernoulli 分布为例，将均值为 的 Bernoulli 分布记作 ，使得 ，现将 Bernoulli 分布写成

则 ，求逆函数可以得到 ，其余项

典型模型

线性回归

  • 响应变量的分布：

  • 链接函数：

  • 预测：

逻辑回归

  • 响应变量的分布：
  • 链接函数：

对应的

  • 预测：

泊松回归

  • 响应变量的分布：
  • 链接函数：
  • 预测：

参考资料

cycleuser/Stanford-CS-229

广义线性模型 学习笔记（一）——定义