Transcript 离散型随机变量

Chap1 概率论的基本概念
若定义在样本空间上的单值实值
函数P(·)满足以下三个条件：
。
1
P ( A)  0
。
P( S )  1
。
A1 , A2 , . . . , Ak , . . . , Ai A j  （i  j ）
,
2
3

 P(
i 1

Ai )   P ( Ai )
i 1
则称P(·)为概率(函数)
概率的若干性质：
1 P ( )  0
n
2
。
A1 , A2 , . . . , An , Ai A j   , i  j ,  P (
n
 , i  j,  P (
n
Ai ) 
i 1
 P(A )
A
i 1
i
i 1
3 P ( A)  1  P ( A )
4
若 A  B， 则 有 P ( B  A )  P ( B )  P ( A )
5 概率的加法公式：P( A
式：P( A
B )  P ( A )  P ( B )  P ( AB )
n
i 1

1 i  j  k  n
n
Ai ) 
一个推广：P(

B )  P ( A)  P ( B )  P
 P(A )  
i
i 1
P ( Ai A j Ak )      (  1)
P ( Ai A j )
1 i  j  n
n 1
P ( A1 A2    An )
古典概型求概率的公式：
A所 包 含 的 样 本 点 数
P  A 
S中 的 样 本 点 数
全概率公式：
设试验E的样本空间为S，A为E的事件。
B1,B2,…,Bn为S的一个划分，P(Bi)>0，
i=1,2,…,n；则称：
n
P ( A) 
 P(B
j
)  P(A | B j)
j 1
为全概率公式
6
Bayes公式：
接上面全概率公式的条件，P(A)>0，
P ( Bi | A ) 
P ( Bi ) P ( A | Bi )
n
 P(B
j
)P( A | B j )
j 1
称此式为Bayes公式。
7
注意区分“独立”与“互不相容”
这两个概念
Chap2 随机变量及其概率分布
离散型随机变量
定义：取值至多可数的随机变量为离散
型的随机变量。概率分布(分布律)为
X
P
x1
p1
x2
p2
…
xi
…
…
pi
…

分 布 律 性 质 ： p i  0,  p i  1
i 1
10
分布函数
定 义 ： 随 机 变 量 X , 对 任 意 实 数 x, 称 函 数
F ( x)  P ( X  x) 为 X 的 概 率 分 布 函 数 ， 简 称 分 布 函 数 。
F ( x )的 性 质 ：
1) 0  F ( x )  1
2 ) F ( x ) 单 调 不 减 ， 且 F (   )  0， F (   )  1
0  P ( x1  X  x 2 )  F ( x 2 )  F ( x1 )
3) F ( x ) 右 连 续 , 即 F ( x  0 )  F ( x ).
12
连续型随机变量及其概率密度
定义:对于随机变量X的分布函数 F ( x ), 若存
在非负的函数 f ( x ), 使对于任意实数 x , 有：
F (x) 

x

f ( t ) dt
则称X为连续型随机变量，
其 中 f ( x )称 为 X 的 概 率 密 度 函 数 ， 简 称 概 率 密 度 。
f ( x )的 性 质 ：
面 积 为1
y  f ( x)
1) f ( x )  0
2)

+

f ( x )d x  1
P  x1  X  x 2 
3) 对 于 任 意 的 实 数 x1， x 2 ( x 2  x1 )
P  x1  X  x 2  

x2
f ( t ) dt  P ( X  a )  0
x1
x1 x 2
4 ) 在 f ( x ) 连 续 点 x，F '( x )  f ( x )
即 在 f ( x )的 连 续 点
15
6种重要的随机变量
分布
分布率或 密度函数
0－1分布
P ( X  k )  p (1  p )
k
1 k
k  0,1
二项分布b(n,p)
P ( X  k )  C n p (1  p )
k
k
1 k
k  0,1, ..., n
泊松分布 
( )
均匀分布U(a,b)
指数分布
E xp (  )
正态分布 N (  ,  )
2
P(X  k )   e
k

k!
k  0,1, ...,
数学期望
方差
p
p(1-p)
np
np(1-p)

1 ( b  a ), a  x  b
f ( x)  
0,
其它

a+b
 ex , x  0
f ( x)  
其它
 0,
1 
f ( x) 
1
2 
  x

e
(x )
2
2
2
2


( b- a)
2
12
1 

2
2
16
已知X的概率密度，求Y=g(X)的概
率密度时，一般先求Y的分布函数
再通过求导运算得到Y的概率密度。
但当g()函数具有单调性，则可直
接利用下列定理来求Y的概率密度
定 理 ： 设 X ~ f X ( x ),    x   ， g '( x )  0 ( 或 g '( x )  0)。
Y  g ( X )，则 Y 具 有 概 率 密 度 为 ：

 f X ( h ( y ))  h '( y ) ,   y  
f Y ( y)  
0,
其他


其 中   g (  ),   g (  )，
{当 g '( x )  0时 
y )g'( xx )
y  g( xg )(   )，  g (   )}
  )h，
{(当
 0时
其 中   g (  ),   g (  )，
{当 g '( x )  0时  
y
h( y)  x  y  g ( x)
y=g(x)
y
h(y),y
0
x
Chap3 多元随机变量及其分布
• 可看成是第二章的推广，但增加了一些
新内容：
• 联合分布律与边际 • 联合概率密度与边
分布律的关系
际概率密度的关系
• 联合分布函数与边 • 条件分布律、条件
际分布函数的关系
概率密度
随机变量的独立性
义 ： 设 F ( x , y ) 及 F X ( x ), FY ( y ) 分 别 是 二 元 随 机 变 量  X , Y

的 分 布 函 数 及 边 际 分 布 函 数 ， 若 对 所 有 x, y有 ：
P ( X  x , Y  y )  P ( X  x ) P (Y  y )
)
即 F ( x, y )  FX ( x
即 F ( x , y )  F X ( x ) FY ( y )
称 随 机 变 量 X ,Y 相 互 独 立 。
21
： 对 于 二 元 正 态 随 机 变 量  X , Y ，
X 与Y相互独立的充要条件是参数  0
随机变量函数的分布：
Z  X  Y的 分 布 ：
设 连 续 型 随 机 变 量 ( X , Y )的 概 率 密 度 为 f ( x , y )
Z的 概 率 密 度 为 ： fZ ( z ) 



f ( z  y , y )dy
由X , Y的对称性，f Z ( z )又可写成f Z ( z )  


f ( x, z  x)dx
卷积公式：
积积
公式
卷
公：
式：
将互X独和立Y时相
时密，
X 式称Y 为
的卷密
函数
将X 和Y相
，互
Z 独
X 立
 Y的
度Z
函
数公
积度
公式
将 X 和 Y 相 互 独 立
时 ， Z   X  Y 的 密 度 函 数
公式称为卷


f X即
 f Y f  f Xf ( z 
 y ) f Y ( yf ) dy( z  yf )X (f x )(f Yy()zdy
 x )dx
f X ( x ) fY (





X
Y
X
Y 


即 f X  f Y   f X ( z  y ) f Y ( y ) dy   f X ( x ) f Y ( z  x ) dx


24
若 X 1, X 2 ,
, X n 相 互 独 立 且 具 有 相 同 分 布 函 数 F ( x )时 ，
Fm ax ( z )  ( F ( z ))
n
Fm in ( z )  1  [1  F ( z )]
n
25
Chap4 随机变量的数字特征
常见分布的均值与方差
分布
分布率或 密度函数
0－1分布
P ( X  k )  p (1  p )
k
1 k
k  0,1
二项分布b(n,p)
P ( X  k )  C n p (1  p )
k
k
1 k
k  0,1, ..., n
泊松分布 
( )
均匀分布U(a,b)
指数分布
E xp (  )
正态分布 N (  ,  )
2
P(X  k )   e
k

k!
k  0,1, ...,
数学期望
方差
p
p(1-p)
np
np(1-p)

1 ( b  a ), a  x  b
f ( x)  
0,
其它

a+b
 ex , x  0
f ( x)  
其它
 0,
1 
f ( x) 
1
2 
  x

e
(x )
2
2
2
2


( b- a)
2
12
1 

2
2
27
数学期望的特性：
1. 设 C 是 常 数 ， 则 有 E ( C )  C
2. 设 X 是 一 个 随 机 变 量 ， C 是 常 数 ， 则 有 E ( C X )  C E ( X )
3. 设 X , Y 是 两 个 随 机 变 量 ， 则 有 E ( X  Y )  E ( X )  E (Y )
将 上 面 三 项 合 起 来 就 是 ： E ( a X  b Y  c )  a E ( X )  b E (Y )  c
4. 设 X , Y 是 相 互 独 立 的 随 机 变 量 ， 则 有 E ( X Y )  E ( X ) E (Y )
28
方差的性质：
1. 设 C 是 常 数 ， 则 D ( C )  0
2. 设 X 是 随 机 变 量 ， C 是 常 数 ， 则 有 D ( CX )  C D ( X )
2
3. 设 X , Y 是 两 个 随 机 变 量 ，
则 有 D ( X  Y )  D ( X )  D (Y )  2 E [ X  E ( X )][Y  E (Y )]
特 别 ， 若 X , Y 相 互 独 立 ， 则 有 D ( X  Y )  D ( X )  D (Y )
4. D ( X )  0  P ( X  C )  1 且 C  E ( X )
29
一个小技巧：把随机变量分解
成简单随机变量的和，再利用
数学期望和方差的性质求原始
随机变量的数学期望或者方差
n元正态变量具有以下四条重要性质：
1 . n元 正 态 变 量 ( X 1 , X 2 ,
( X i1 , X i2 ,
T
X n) 中的任意子向量
, X ik ) (1  k  n ) 也 服 从 k 元 正 态 分 布 .
T
特 别 地 ， 每 一 个 分 量 X i , i  1, 2,
反 之 ， 若 X 1, X 2 ,
则 ( X 1, X 2 ,
X n都 是 正 态 变 量 ， 且 相 互 独 立 ，
X n )是 n 元 正 态 变 量 ；
2. n 元 随 机 变 量 ( X 1 , X 2 ,
 X 1, X 2 ,
l1 X 1  l 2 X 2 
其 中 l1 , l 2 ,
n都 是 正 态 变 量 ；
X n )服 从 n元 正 态 分 布
X n的 任 意 线 性 组 合
 ln X n 服 从 一 元 正 态 分 布
ln不 全 为 零
31
3. 若 ( X 1, X 2 ,
设 Y1 , Y 2 ,
则 ( Y1 , Y 2 ,
X n )服 从 n元 正 态 分 布 ，
Y k 是 X j ( j  1, 2,
n )的 线 性 函 数 ，
Y k )也 服 从 多 元 正 态 分 布 ；
这一性质称为正态变量的线性变换不变性.
这 一 性 质 也 可 用 矩 阵 形 式 来 表 述 ( 见 课 本 p 88)
4. 设 ( X 1, X 2 ,
则 X 1, X 2 ,
X n )服 从 n元 正 态 分 布 ，
X n相 互 独 立  X 1, X 2 ,
X n两 两 不 相 关
 协方差矩阵为对角矩阵.
32
Chap5 大数定律和中心极限定理
定 理 5.1 . 4  辛 钦 大 数 定 律  ：
设 { X i , i  1}为 独 立 同 分 布 的 随 机 变 量 序 列 ， 且 E| X i| < .
记 E( X i )   , 则 对    0， 有 ：
 1
lim P 
n 
 n
相当于 1
n
n

n

k 1

X i       0，

X i P
  , 当 n    ,
i 1
即 随 机 变 量 { X i , i  1}服 从 大 数 定 律 .
定 理 5.2.1  独 立 同 分 布 的 中 心 极 限 定 理 
设 随 机 变 量 X1 , X 2 ,
, X n,
相互独立同分布，
E  X i    , D  X i    , i  1, 2,
2
n
则 前 n 个 变 量 的 和 的 标 准 化 变 量 为 ： Yn 

X i  n
i 1
n
2
x  R,有 ：
lim P  Y n  x  
n  

x

1 e
2
t
2
dt   ( x )
此 定 理 表 明 ， 当 n 充 分 大 时 ， Y n 近 似 服 从 N  0,1  ，
n
即：

X（
近 似 ） ～ N ( n  , n ),
i
2
i 1
n
从 而 ， P (a 
X
i 1
i
 b)   (
b  n
n
)  (
a  n
n
).
Chap6 统计量与抽样分布
 分布
2
X n 相互独立，X i  N  0,1
定义：设随机变量X 1 , X 2 ,
n
则称    X i
2
n
1
2
i 1
服从自由度为n 的 分布，记为  
2
2
2
n
自由度指 1 式右端包含的独立变量的个数.
 i  1, 2,
, n
 2分布的一些重要性质：
1. 设  
2
2. 设Y1  
2
2
 n  , 则有E  
2
  n, D  
2
  2n
 n1  , Y2   2  n2  , 且Y1 , Y2相互独立，则有Y1  Y2   2  n1  n2 
性 质 2称 为  分 布 的 可 加 性 ， 可 推 广 到 有 限 个 的 情 形 ：
2
Yi ~ 
2
 n i , i  1, 2 ,  m ,并假设 Y1 , Y 2 ,  Y m 相互独立，
m


2
则  Yi ~    n i 
i 1
 i 1 
m
t 分布
设 X ~ N ( 0 ,1) ，Y ~  2  n  ，并且假设 X , Y 相互独立，
则称随机变量 T 
X
Y /n
记为 T ~ t ( n )
服从自由度为 n 的 t 分布。
F分布
2
2
定义：
,
Y n
n,2Y独立，则
, 且X, Y 独立，

设设X
X   
n1  ,Yn

, 且X
1
2
2
称随机变量F 
2
X / n1
X / n1  n1 , n2 的F 分布，
服从自由度
则称随机变量

Y / nF
2
记为F ~ F  n1 , n2 
Y / n2
服从自由度  n1 ,
其中
n1称为第一自由度，
n2 称为第二自
其中
n1称为第一自由度，
n2 称为第二自由度
性 质 ： F ~ F ( n1 , n 2 ), 则 F
1
~ F ( n 2 , n1 )
正态总体下的抽样分布
定理 6.3.1 设 X 1 , X 2 ,
, X n 为来自正态总体
N (  ,  ) 的简单随机样本, X 是样本均值,
2
则有:
 
X ~ N   ,
n

2

.


定理 6.3.2 设 X 1 , X 2 ,
, X n 为来自正态总体
N ( , ) 的 简 单 随 机 样 本 , X 是 样 本 均 值 ,
2
2
S 是样本方差, 则有:
(1)
（ n  1) S

2
2
2
~  ( n  1) ,
2
(2) X 与 S 相互独立.
定理 6.3.3 设 X 1 , X 2 ,
, X n 为来自正态总体
N (  ,  ) 的简单随机样本, X 是样本均值, S 2
2
是样本方差, 则有:
X 
S
n
~ t ( n  1)
定理6.3.4

 
 
, X n1 定
和
, 设样本
, Yn2 分别来自总体
NY

1 ：
理Y
6.8
X , ,X 和
6.8：设样本 X 1 ,
1
n1
 
1
并且它们相互独立，其样本方差分别为
S ,S ,
总体
N  1 ,   和N   2 ,  2  并且它们相互独立，其样
2
和 Y1 , , Y 分别来自总体
N  1 ,  1  和
N
2 , 2
2 2

n1
2
2
 2 S1
2
 2 S1
则
：
1
F

F
n

1,
n

1
, S2 ,
 21 2则：
F  n1
2 1 F 
2 2
2
2
 1 S2
立，其样本方差分别为
S1 , S 2 ,
 1 S2
2
1
n2
 

X Y   

 1, n2  1 2
F  n12
(1)
S 12 1
  1   2  S

2
2
3
2
2


1
2
1
2
n
21
~
 2 
F ( n
2
2
n2
N (0,1),
当
2
2
1
2

2
X Y   

N (0,1),
 1, n 2  1).
 X Y   
  时，
2
1
2
1
2
2
3
当
21
 12
n1


 22
n2
  22
2
   t 时
n
(2)
X
 Y    1   2 

2
1
n1


~ N (0,1)
2
2
n2
其 中 X ,Y 分 别 为 样 本 均 值.
2
3
 S
2
1
1
2
2
2
X Y      

（3）当     

2
1
2
1
1 2
2
2
2
2


 X  Y n1  n1 2  2 
2
时，
N (0,1),
~ t  n1  n 2  2 .
1
1
X  Y    1   2 

2
2 
2
S
当 1 w n2  n
 时，
~ t  n1 
1
2
1
1
Sw

n1 n2
其中S 
2
w
 n1  1 S
2
1
  n2  1 S
n1  n2  2
2
2
, Sw 
S
2
w
Chap7 参数估计
点估计
• 矩估计
• 极大似然估计
用求导方法无法得到MLE的时候，
通过似然函数的单调性去求MLE
估计量的评选准则
四条评价准则：
无偏性准则，有效性准则，均方误差准则和
相合性准则
51
区间估计：关键是构造枢轴量
区间估计的具体步骤：
( 1) 构 造 一 个 分 布 已 知 的 枢 轴 量 G ( X 1 ,
, X n ;  )；
(2) 对 连 续 型 总 体 和 给 定 的 置 信 度 1   ， 设 常 数 a  b 满 足
P a  G ( X 1,
（ 3） 若 能 从 a  G ( X 1 ,
 L  X 1,

, X n ;  )  b  1   ；
, X n ; )  b 得 到 等 价 的 不 等 式
, Xn  U

 X 1,
,Xn
那 么  L ,  U 就 是  的 置 信 度 为1   的 双 侧 置 信 区 间 。
Chap8 假设检验
处理假设检验问题的基本步骤
（ 1） 根 据 实 际 问 题 提 出 原 假 设 和 备 择 假 设 ；
（ 2） 提 出 检 验 统 计 量 和 拒 绝 域 的 形 式 ；
（ 3） 在 给 定 的 显 著 水 平  下 ， 根 据 N eym an-P earson
原则求出拒绝域的临界值。
（ 4） 根 据 实 际 样 本 观 测 值 作 出 判 断 。
 置 信 度1   
正态总体均值、方差的置信区间与假设检验
待估
参数
枢轴量
原
假设

  0
2
（ 已知）
（ 已知）
2
X 
X  0


n
一
个

X 
  0
正
2
态 （  未 知 ）（  2 未 知 ） S
n
总
体
2
2
2

   0 ( n  1) S 2

(未 知 ) ( 未 知 )
两
个
正
态
总
体
1   2
1   2
2
2


2
1
2
2
2
S
Sw
2
2
1   2 S
S
2
1
2
2

( n  1) S
2


2
1
2
2
t ( n  1)
n
0
1
n2
N (0, 1)
置信区间
X 

X 
S
Sw
S
S
2
1
2
2

2
( n  1) S

 

X  0
2
( n  1)
2

X  0
2
S

2
( n  1)
或
1
n2
t ( n1  n 2  2)
Sw
1
n1

F ( n1  1, n 2  1)

2
1
2
2
S2
2
2
Sw
F 2 ( n1  1, n 2  1)
2
2
0
   2 ( n  1)
2
1
n1

1
n2
 t 2 ( n1  n 2  2)
2
S1
2

2
X Y
 t 2 ( n1  n 2  2)
S1
  1   2 ( n  1)
( n  1) S
1
n2
F1   2 ( n1  1, n 2  1)
2
2
0

2
 t 2 ( n  1)
n
( n  1) S
2
 z
n
( X  Y )  ( 1   2 )
X Y
1
n1
 ( n  1)
2
拒绝域
 t 2 ( n  1)
n
2
 z
n
 12 
2
1
n1
分 布
n
X  0
( X  Y )  ( 1   2 )
(     )( 2   2   2 )
1
2
2
1
检验统
计量
S2
 F1  2 ( n1  1, n 2  1)
2
或
S1
2
S2
 F 2 ( n1  1, n 2  1)
拟合优度检验：
定 理 ： 若 n充 分 大 ， 则 当 H 0为 真 时 ， 统 计 量
 近 似 服 从  ( k  r  1) 分 布 ， 其 中 k 为 分 类 数 ，
2
2
r 为 F0( x )中 含 有 的 未 知 参 数 个 数 .
58
即在显著性水平下拒绝域为
k
 
2

i 1
k
 
2

i 1
ni
2
2
np i
ni
 n    ( k  1), （ 没 有 参 数 需 要 估 计 ）
2
npˆ i
 n    ( k  r  1), （ 有 r 个 参 数 需 要 估 计 ）
2
注 ：  拟 合 检 验 使 用 时 必 须 注 意 n要 足 够 大 ，
2
np i ( 或 npˆ i ) 不 能 太 小 。 根 据 实 践 ， 要 求 n  5 0 ，
n p（
或 n pˆ i） 5 ， 否 则 应 适 当 合 并 相 邻 的 类 ，
i
以满足要求。
59
Chap9 方差分析和回归分析
对于单因素试验方差分析：
模 型 为 ： X ij     j   ij 

2
 ij   (0,  ), 各  ij 独 立 

i  1, 2, , n j， j  1, 2, , r 
n1 1  n 2  2  ...  n r  r  0 
假设等价于
H 0 : 1   2 
H 1 : 1, 2 ,
 r  0
,  r不 全 为 零 。
62
方差分析表
方差来源
因素A
平方和
SA
自由度
r-1
误差
SE
n-r
总和
ST
n-1
均方
MSA 
SA
MSE 
SE
r 1
nr
F比
MSA
MSE
63
检验拒绝域的形式为：
F 
S A ( r  1)
S E (n  r )

MSA
 c.
MSE
给 定 显 著 性 水 平  ， 则 c  F ( r  1, n  r ).
64
当 拒 绝 H 0时 ， 进 一 步 比 较 N (  j ,  ) 和 N (  k ,  )的 差 异 ，
2
 j  k   j  k ( j  k ) 的 区 间 估计 。
可以作
X
2
j
 X  k  t 2 ( n  r ) M S E (1 n j  1 n k )
 的 估 计 ˆ
2
2


SE
n r
65
对于一元线性回归：
 Yi  a  bx i   i , i  1, 2, ..., n

 i相 互 独 立 ，

一 元 线 性 回 归 模 型 ：
2
E (  i )  0, D (  i )   ,

2

  ai ,,ib(回
1, 2,
, ）,  未 知 .
归...,
系n数
 Yi     x i 

2
回 归 模 型 ：  i ~ N  0，   , 且 相 互 独 立 ，

2
  ,  (回 归 系 数 ）,  未 知 .
67
要解决的问题：
(1)  ,  的 估 计 ；
(2)  的 估 计 ；
2
(3) 线 性 假 设 的 显 著 性 检 验 ；
(4) 回 归 系 数 的 置 信 区 间 ；
(5) 回 归 函 数  ( x 0 )     x 0 的 点 估 计 和 置 信 区 间 ；
(6) Y 的 观 察 值 Y(
或 理 解 成 Y n 1 ) 的 点 预 测
0
和区间预测。
68
 的估计为：
2
s 
2
1
n
y

n2
i 1
 yˆ i  
2
i
s yy  ˆ s xy
n2