您当前位置：首页 > 服务器 > 数学之路-数据分析进阶-广义线性模型

数学之路-数据分析进阶-广义线性模型

来源：程序员人生发布时间：2015-01-17 10:06:24 阅读次数：3423次

在统计学上，广义线性模型 (Generalized linear model) 是1种遭到广泛利用的线性回归模式。此模式假定实验者所量测的随机变量的散布函数与实验中系统性效应(即非随机的效应)可经过1链结函数(link function)建立起可资解释其相干性的函数。

广义线性模型（generalized linear model, GLM)是简单最小2乘回归（OLS)的扩大,在广义线性模式中，假定每一个资料的观测值 $mathbf Y$ 来自某个指数族散布。该散布的平均数 $oldsymbolmu$ 可由与该点独立的X解释：

operatorname{E}(oldsymbol{y}) = oldsymbol{mu} = g^{-1}(mathbf{X}oldsymbol{eta})

其中 $E(oldsymbol y)$ 为 $oldsymbol y$ 的期望值， $mathbf Xoldsymboleta$ 是由未知待估计参数 $oldsymboleta$ 与已知变量 $mathbf X$ 构成的线性估计式， $g$ 则为链结函数。

在此模式下， $oldsymbol y$ 的方差 $V$ 可表示为：

operatorname{Var}(oldsymbol{y}) = operatorname{V}( oldsymbol{mu} ) = operatorname{V}(g^{-1}(mathbf{X}oldsymbol{eta})).

1般假定 $V$ 可视为1指数族随机变量的函数。

未知参数 $oldsymboleta$ 通常会以最大概似估计量, 殆最大概似估计量, 或以贝氏方法来估计。

链结函数解释了线性预测子与散布期望值的关系。链结函数的选择可视情形而定。通常只要符合链结函数的值域有包括散布期望值的条件便可。

当使用具正则参数θ的散布时，链结函数需符合X^TY 为β的充份统计量此1条件。这在θ与线性预测子的链结函数值相等时方成立。下面列出若干指数族散布的典则链结函数及其反函数(有时称为均值函数)：

典则链结函数
散布	名称	链结函数	均值函数
正态	恒等	$mathbf{X}oldsymbol{eta}=mu,!$	$mu=mathbf{X}oldsymbol{eta},!$
指数	倒数	$mathbf{X}oldsymbol{eta}=mu^{-1},!$	$mu=(mathbf{X}oldsymbol{eta})^{-1},!$
Gamma	倒数	$mathbf{X}oldsymbol{eta}=mu^{-1},!$	$mu=(mathbf{X}oldsymbol{eta})^{-1},!$
逆高斯	2次倒数	$mathbf{X}oldsymbol{eta}=mu^{-2},!$	$mu=(mathbf{X}oldsymbol{eta})^{-1/2},!$
泊松	自然对数	$mathbf{X}oldsymbol{eta}=ln{(mu)},!$	$mu=exp{(mathbf{X}oldsymbol{eta})},!$
2项式	Logit	$mathbf{X}oldsymbol{eta}=ln{left(frac{mu}{1-mu} ight)},!$	$mu=frac{exp{(mathbf{X}oldsymbol{eta})}}{1 + exp{(mathbf{X}oldsymbol{eta})}},!$
多项式	Logit	$mathbf{X}oldsymbol{eta}=ln{left(frac{mu}{1-mu} ight)},!$