Transcript : 應用與進階 統計學 3 章: 隨機變數 第

統計學: 應用與進階
第3 章: 隨機變數
隨機變數(random variables)
 間斷隨機變數(discrete random variables)
 Bernoulli 分配(Bernoulli distribution)
 連續隨機變數(continuous random variables)
 均勻分配(uniform distribution)
 連續隨機變數之函數
 動差生成函數(moment generating functions)

隨機變數

令X 代表由狀態空間映射到實數線的函數:
則稱X 為一個隨機變數。
隨機變數
隨機變數: 將出象或事件以數值表示
 原始動機可能是來自於賭博
 隨機變數是一個函數, 隨機變數不是變數!

例子: 擲一個六面骰子兩次

令
e = {i , j} = {第一次擲出點數,第二次擲出點數}
賭局的報酬為X(e) = max(i , j)
 舉例來說, 如果我們擲出e = {2, 3}, 則贏3 元。

狀態空間與所映射的隨機變數值
單變量隨機變數
Full description: 機率分配
 Average outcome: 期望值
 Dispersion of outcomes: 變異數, 標準差

多變量隨機變數
Full description: 聯合機率分配
 Comovement of outcomes: 共變數, 相關係數
 Generating new random variables out of old
random variables (eg. 個股報酬⇒ 資產組合報
酬)

Notations
隨機變數: X (ex ante)
 隨機變數實現值(realizations): x (ex post)
 Notation: X = x

間斷隨機變數(discrete random variables)
如果隨機變數實現值的數目為有限的(finite) 或
是無限但是可數(countably infinite), 則稱之為
間斷隨機變數
 例子:
 擲一個六面骰子所得到的點數(有限)
 餐廳營業一天的登門客人數目(無限但是可數)

間斷隨機變數

令X 為一間斷隨機變數, 則其任一實現值發生之機
率定義為
P(X = x) = P({ω : X(ω) = x}).

隨機變數X 為實現值x 的機率事實上就是來自 ω
事件(此事件符合X(ω) = x ) 發生的機率
例子: 擲銅板的賭局
擲不公正銅板, 出現正面的機率為2/3, 出現反面的
機率為1/3
 令隨機變數X = 1 當出現正面, X = −1 當出現反面
 則P(X = 1) 與P(X = −1) 分別為

P(X = 1) = P({ω : X(ω) = 1}) = P({正面}) = 2/3
P(X = −1) = P({ω : X(ω) = −1}) = P({反面}) = 1/3
間斷機率分配: 機率質量函數

給定間斷隨機變數X 的實現值來自可數的集合
B ⊆ 。函數f (x) : → [0, 1] 定義為
且滿足
我們稱f (x) 為機率質量函數(probability mass function),
簡稱pmf

顯而易見地, 根據機率質量函數之定義, 當x B, 則
f (x) = 0, 從而機率質量函數f (x) 的定義域
(domain) 可以為整個實數線此外, 我們也將B 稱作
隨機變數X 的砥柱集合(support)
砥柱集合

給定一隨機變數之實現值使其機率不為零的集合
{x : f (x) > 0},

稱為此隨機變數的砥柱集合(support), 以supp(X)表
示之
砥柱集合
因此, 機率質量函數定義中的性質可以改寫成

1

2


砥柱集合: 例子

以之前擲銅板的賭局為例, 我們可以寫出如下的間
斷機率分配:
而其砥柱集合則為supp(X) = {1,−1}
累積分配函數(cumulative distribution function)

給定任何實數x, 函數F(x) : R 7→ [0, 1] 滿足
F(x) = P(X ≤ x),
則稱F(x) 為累積分配函數, 簡稱CDF, 一般又稱
分配函數
累積分配函數的相關性質
例子: 擲銅板的賭局

我們知道其pmf 與CDF 分別為
機率質量函數: 擲銅板賭局
累積分配函數: 擲銅板賭局
間斷隨機變數之動差
一般來說, 描繪隨機變數特性的最佳方式就是以機
率分配刻劃其全貌
 為了簡化分析, 有時我們僅對用來刻劃隨機變數部
份特性的動差(moments) 有興趣

間斷隨機變數之動差

譬如說, 當我們購買風險性資產時, 假設其報酬為X
。由於面對不確定性, 因而X 為一隨機變數。一般
的經濟理論會假設人們的效用函數中僅考慮報酬
期望值(一階動差) 與變異數(二階中央動差):
u = u(期望報酬,變異數) = u(E(X), Var (X)),
而變異數事實上就是用於衡量該資產的風險
期望值

隨機變數X 的期望值(expectation, expected value)
定義為
我們常用希臘字母μ (讀作mu) 代表期望值。
期望值又稱均數(mean), 事實上就是X 所有可能實
現值以機率為權數的加權平均(weighted average)
 期望值所衡量的, 就是隨機變數「平均而言」會出
現的值

期望值
值得注意的事情是, 期望值是將隨機變數所有可能
的實現值, 依其可能發生的機率加權後加總得來,
因此期望值是一個確定的值, 是一個常數,不再是
隨機變數
 為了避免符號上的複雜, 我們將假設所有加總的範
圍都是隨機變數的砥柱集合, 亦即除非另有說明,
我們將以
取代

期望值的性質

給定X 為一間斷隨機變數, 則

一般而言, 除非g(·) 為線性函數(linear function), 要
不然

舉例來說,
變異數

隨機變數X 的變異數(variance) 定義為
我們常用希臘字母
( σ 讀作sigma) 代表變異數
 變異數是用來衡量所有可能實現值偏離均數的
間斷程度

變異數
由於我們將隨機變數減去其均數後再平方, 使得變
異數的單位難以定義。舉例來說, 如果X 代表賭資,
則期望值的單位為元, 而變異數的單位為元的平方
, 不具任何意義
 因此, 我們將變異數開平方根, 得到單位具有意義
的間斷程度衡量, 稱之為標準差(standard deviation):

重要性質
動差(moments) 與中央動差(central moments)
隨機變數X 的r 階動差與r 階中央動差分別為
 r 階動差


r 階中央動差

因此, 一階動差就是隨機變數的期望值; 而二階中
央動差就是隨機變數的變異數
動差的功能
動差可以幫助我們描繪(summarize) 隨機變數(猶如
以身高, 體重, 膚色, 髮色等來描繪一個人)
 舉例來說, 常態分配(之後有詳盡介紹) 可以只用一
階與二階動差予以刻畫

將常數視為一隨機變數

給定常數k, 若將之視為一隨機變數, 則
E(k) = k,
且
Var (k) = 0.
間斷隨機變數的一個例子: Bernoulli 分配
我們將在之後討論一些常用且重要的間斷隨機變
數, 在此, 我們先介紹一個簡單的間斷隨機變數:
Bernoulli 分配, 提供讀者一個例子以進一步了解間
斷隨機變數的許多性質
 給定隨機試驗只有兩個出象, 例如擲銅板, 支持或
不支持特定候選人之民調, 品質管制(良品或不良
品) 等, 這樣的隨機試驗我們稱之 Bernoulli 試驗
(Bernoulli trials)

Bernoulli 隨機變數(Bernoulli random variables)

如果X 的機率分配為

其中X = 1 代表出象為成功(success); X = 0 代表出
象為失敗(failure), 則我們稱X 為具有成功機率p的
Bernoulli 隨機變數, 並以X ∼Bernoulli(p) 表示之
Bernoulli 隨機變數
值得注意的是, 我們對於出象為成功或失敗, 可以
自由設定。譬如說, 我們可以設定擲銅板出現正面
為成功(X = 1), 出現反面為失敗(X = 0)。然而反之
亦可
 Bernoulli 隨機變數的可能實現值非0 即1, 因此其砥
柱集合為

Bernoulli 隨機變數

Bernoulli 隨機變數的pdf 為

也可寫成
Bernoulli 隨機變數

Bernoulli 隨機變數
Bernoulli 隨機變數

Bernoulli 隨機變數的期望值, 二階動差與變異數分
別為
連續隨機變數
如果隨機變數X 理論上的可能實現值為任一區間
中的任意實數, 則X 就稱作為一個連續隨機變數,
舉例來說, 明天的降雨量, 下一尾上鉤的魚的體重,
或是電池的壽命等
 定義連續隨機變數最簡單的方法是由累積分配函
數出發
 累積分配函數的定義為F(x) = P(X ≤ x), 因此, 如果
F(·) 函數為連續且可微分, 則稱X 為一連續隨機變
數

連續隨機變數

給定函數f : R → R 以及任意實數a ≤ b, 使得
= (f 曲線下, 橫軸之上, a 到b 的面積),
 則稱X 為一連續隨機變數, 且f (x) 稱為X 的機率密
度函數(probability density function)。我們要求


機率密度函數
連續隨機變數

對於連續隨機變數, 我們所計算的是一段區間,
如(a, b), 所發生的機率, 而非可能實現值個別發生
的機率, 因為任何一個可能實現值發生的機率必須
為0:
P(X = x) = 0
理由在於, 連續隨機變數的可能實現值有無窮多個
且不可數
 為什麼我們可以無中生有?

連續隨機變數的性質

假設
單調非遞減
累積分配函數
連續隨機變數之動差

期望值

變異數
連續隨機變數之動差

r 階動差

r 階中央動差
均勻分配

我們將在之後討論一些常用且重要的連續隨機變
數, 在此, 我們先介紹一個簡單的連續隨機變數:
均勻分配(uniform distribution)。
均勻分配

給定隨機變數X 在區間[l , h] 中, 其實現值落在任
意一個子區間[a, b] 的機率恰為
則稱X 為一均勻隨機變數, 其pdf 為
並以X ∼ U[l , h] 表示之
均勻分配

均勻隨機變數的CDF 為
均勻分配(期望值, 二階動差與變異數)
Chebyshev 不等式

給定隨機變數X ∼ (μ, 2), 對於任意常數 k > 0,

由於不等式可改寫成

因此, 這個不等式告訴我們, 至少有1 −
率, 隨機變數X 會落在區間μ ± kσ 內
的機
Chebyshev 不等式

舉例來說, 若 k = 2, 則至少有(1 − 1/4) = 3/4 = 75%
的機率X 會落在區間μ ± 2 σ 內。
Laws of Expected Value…
E(c) = c
The expected value of a constant (c) is just the value of the
constant.
E(X + c) = E(X) + c
E(cX) = cE(X)
We can “pull” a constant out of the expected value expression
(either as part of a sum with a random variable X or as a
coefficient of random variable X).

E(c) = c

Proof:
E (c)   cp ( x)  c p( x) and
x
x
hence E (c)  c(1)  c
 p ( x)  1
x
E(X + c) = E(X) + c
 Proof:

E ( X  c)   ( X  c) p( x)
x
  Xp ( x)   cp ( x)
x
 E ( x )  E (c )
 E ( x)  c
x

E(cX) = cE(X)
E (cX )   cXp ( x)
x
 c  Xp ( x)
x
 cE ( X )
E(X1+X2)=E(X1)+E(X2) (X1, X2具相同分配 P（X）)
Proof:

E ( X 1  X 2 )   ( X 1  X 2 ) p ( x)
x
  X 1 p( x)   X 2 p( x)
x
x
 E ( X1 )  E ( X 2 )
Laws of Variance…
V(c) = 0
The variance of a constant (c) is zero.
V(X + c) = V(X)
The variance of a random variable and a constant is just the
variance of the random variable (per 1 above).
V(cX) = c2V(X)
The variance of a random variable and a constant coefficient is
the coefficient squared times the variance of the random
variable.
V(c) = 0
Proof:
V ( X )  E( X 2 )   2
Let X  c
 V (c)  E(c2 )  c2
 c2  c2  0
V(X + c) = V(X)
Proof:
V ( X  c)  E[( X  c)2 ]  [ E( X  c)]2
 E( X 2  2cX  c2 )  [ E( X )  c]2
 E ( X 2 )  2cE ( X )  c 2  (   c)2
 E ( X 2 )  2c  c 2  (  2  2c  c 2 )
 E( X 2 )   2  V ( X )
V(cX) = c2V(X)
Proof:
V (cX )  E[(cX )2 ]  [cE ( x)]2
 E(c2 X 2 )  c2  2
 c2 E( X 2 )  c2 2
 c 2[ E ( X 2 )   2 ]
 c 2V ( X )