Transcript 广义线性模型Generalized linear model

广义线性模型
Generalized linear model
明确两个概念：
 线性模型（linear model），也称经典线性模型
（classical linear model）或一般线性模型
（general linear model, GLM）。
 广义线性模型（generalized linear model，
GENMOD）是一般线性模型的直接推广，由
Nelder & Wedderburn(1972)首先提出。
2010-4-15
山东大学公共卫生学院：刘静
2
SAS软件中的PROC GLM：
PROC GLM analyzes data within the framework of general linear
models. PROC GLM handles models relating one or several continuous
dependent variables to one or several independent variables. The independent
variables may be either classification variables or continuous variables.
Thus, the GLM procedure can be used for many different analyses, including
 simple regression
 multiple regression
 analysis of variance (ANOVA), especially for unbalanced data
 analysis of covariance
 response-surface models (响应面模型)
 weighted regression
 polynomial regression (多项式回归)
 partial correlation
 multivariate analysis of variance (MANOVA)
 repeated measures analysis of variance
2010-4-15
山东大学公共卫生学院：刘静
3
SAS软件中的PROC GENMOD：
 The GENMOD Procedure
 The GENMOD procedure fits generalized linear models. The
class of generalized linear models is an extension of traditional
linear models that allows the mean of a population to depend on
a linear predictor through a nonlinear link function and allows
the response probability distribution to be any member of an
exponential family of distributions. Many widely used statistical
models are generalized linear models. These include classical
linear models with normal errors, logistic and probit models for
binary data, and log-linear models for multinomial data. Many
other useful statistical models can be formulated as generalized
linear models by the selection of an appropriate link function and
response probability distribution.
2010-4-15
山东大学公共卫生学院：刘静
4
一、何为“广义线性模型”？
广义线性模型（generalized linear model）由
Nelder & Wedderburn(1972)首先提出，是一般线
性模型的直接推广，它使因变量的总体均值通过
一个非线性连接函数（link function）而依赖于线
性预测值，同时还允许响应概率分布为指数分布
族中的任何一员。许多广泛应用的统计模型均属
于广义线性模型，如logistic回归模型、Probit回
归模型、Poisson回归模型、负二项回归模型等。
2010-4-15
山东大学公共卫生学院：刘静
5
 指数分布族的概率密度（概率函数）可表示为：
 y  b( )

f ( y)  exp
 c( y,  ) 
 a 

其中，和为两个参数，  称为自然参数，  为离散参
数；a、b、c为函数。
E y     b'  
Var y     b' '  
2010-4-15
山东大学公共卫生学院：刘静
6
各种常见的指数型分布及其主要参数
分
布
正态分布
逆高斯分布
伽玛分布

b 

E  y   b'  
Var y   b' '  

2 /2
2
 
2
1
  2 

2
1

1/ 2
1

 ln 


1

1

 3 2
 2
1
e
p
1  e
p1  p 
e
1
  e

e
k
  e
  k2

二项分布
p
ln
1 p
ln 1  e
Poisson 分布
ln 
负二项分布
ln 
2010-4-15
2


山东大学公共卫生学院：刘静
7
何为“广义线性模型”？(续)
一个广义线性模型包括以下三个组成部分：
（1）线性成分(linear component ) ：
i  0  1x1i  2 x2i   m xmi
（2）随机成分(random component )：
 i  Yi i
（3）连接函数 ( link function)：
i  g (i )
连接函数为一单调可微（连续且充分光滑）的函数。
2010-4-15
山东大学公共卫生学院：刘静
8
因变量常见分布及其常用的连接函数
分布
正态分布
逆高斯分布
概率密度（概率函数）及其主要参数
连接函数
Identity
(恒等函数)

Inverse squared
(平方的倒数)
   2
伽玛分布
Inverse
（倒数）
   1
  

1  
①Logit：   ln
二项分布
②probit：   ( )
1
Log（对数）
Poisson 分布
  log( )
Log（对数）
负二项分布
  log( )
多项分布
2010-4-15
山东大学公共卫生学院：刘静
9
SAS9.0
GENMOD过程中所整合的响应变量分布类型
DIST=
Distribution
Default Link Function
BINOMIAL | BIN | B
binomial
logit
GAMMA | GAM | G
gamma
inverse ( power(-1) )
IGAUSSIAN | IG
inverse Gaussian inverse squared ( power(-2) )
MULTINOMIAL | MULT multinomial
2010-4-15
cumulative logit
NEGBIN | NB
negative binomial log
NORMAL | NOR | N
normal
identity
POISSON | POI | P
Poisson
log
山东大学公共卫生学院：刘静
10
何为“广义线性模型”？（续）
广义线性模型在两个方面对经典线性模型进行了推广：
（1）一般线性模型中要求因变量是连续的且服从正态
分布，在广义线性模型中，因变量的分布可扩展到非连
续的资料，如二项分布、Poisson分布、负二项分布等。
（2）一般线性模型中，自变量的线性预测值就是因变
量的估计值，而广义线性模型中，自变量的线性预测值
是因变量的函数估计值。
2010-4-15
山东大学公共卫生学院：刘静
11
何为“广义线性模型”？(续)
广义线性模型的一般形式：
g (i )  0  1x1i  2 x2i  m xmi   i
包括：多元线性回归模型
logistic回归模型
Probit回归模型
Poisson回归模型
负二项回归模型

2010-4-15
山东大学公共卫生学院：刘静
12
Generalized linear models(广义线性模型)
 Family of regression models
 Outcome variable determines choice of model
Outcome
Model
Continuous
Linear regression
Binomial
Logistic regression
Survival
Cox model
Counts
Poisson regression
 Uses


2010-4-15
Control of confounding
Model building, risk prediction
山东大学公共卫生学院：刘静
13
二、广义线性模型的参数估计
 广义线性模型的参数估计一般不能用最小二
乘估计，常用加权最小二乘法（weighted least
squared, WLS）或最大似然法(maximum
likelihood)估计。
 各回归系数需用迭代方法求解。
 求得 ˆ 后，用下式估计：
2
ˆ

yi  i 
1
ˆ


n  p i 1 V ˆ 
n
2010-4-15
山东大学公共卫生学院：刘静
14
二、广义线性模型的参数估计(续)
各种分布因变量广义线性模型的对数似然函数表达式
分布类型
对数似然函数
正态分布
逆高斯分布
伽玛分布
二项分布
Poisson 分布
负二项分布
多项分布
2010-4-15
山东大学公共卫生学院：刘静
15
Log-likelihood functions
2010-4-15
山东大学公共卫生学院：刘静
16
Log-likelihood functions
2010-4-15
山东大学公共卫生学院：刘静
17
Log-likelihood functions
2010-4-15
山东大学公共卫生学院：刘静
18
Log-likelihood functions
2010-4-15
山东大学公共卫生学院：刘静
19
三、广义线性模型的假设检验
广义线性模型的检验一般用似然比检验、Wald检
验和记分检验。模型的比较用似然比检验。
（1）似然比检验：似然比检验是通过比较两个相嵌套模型
（如模型P嵌套于模型K内）的对数似然函数来进行的，
模型P的对数似然函数
其统计量G为：
G  2  lP  lK 
模型K的对数似然函数
其中，模型P中的自变量是模型K中自变量的一部分，另一
部分就是要检验的变量。这里G服从自由度为K-P的2分布。
2010-4-15
山东大学公共卫生学院：刘静
20
三、广义线性模型的假设检验
（1）似然比检验（续）
Likelihood ratio statistic(似然比统计量)
Compares two nested models
g() =  + 1x1 + 2x2 + 3x3 + 4x4
(model 1)
g() =  + 1x1 + 2x2
(model 2)
LR statistic
-2 log (likelihood model 2 / likelihood model 1) =
[-2 log (likelihood model 2) ]－ [-2log (likelihood model 1)]
LR statistic is a 2 with DF = number of extra parameters in
model
2010-4-15
山东大学公共卫生学院：刘静
21
三、广义线性模型的假设检验（续）
（2）回归系数的Wald检验：
Wald检验是通过比较估计系数与0的
差别来进行的，其检验统计量为：
ˆ  0
z
SE ( ˆ )
2
ˆ

2 
Var ˆ

或
这里，z为标准正态变量。参数的可信区间如下计算：
ˆ  1.96  SE ( ˆ ) ~ ˆ  1.96  SE ( ˆ )
2010-4-15
山东大学公共卫生学院：刘静
22
三、广义线性模型的假设检验（续）
（3）比分（Score）检验：
以未包含 某个或某几个变量的模型为
基础，保留模型中参数的估计值，并假设新增
加的参数之系数为0，计算似然函数的一阶偏
导数（又称有效比分）及信息矩阵，两者相乘
即为比分检验统计量S。当样本含量较大时，S
的分布近似服从2分布，自由度为检验的参数
个数。
2010-4-15
山东大学公共卫生学院：刘静
23
四、广义线性模型的拟合优度
对于广义线性模型，通常用下面两种统计量度
量模型的拟合优度。
(1) 偏差统计量（Deviance）
(2) 广义 Pearson 2统计量( Pearson’s chi-square
statistic)
(3) 伪R2统计量（Pseudo-R2 ）
(4) AIC、AICC、BIC、CAIC
2010-4-15
山东大学公共卫生学院：刘静
24