Transcript 下載/瀏覽
相關與迴歸 相關分析 •探討數值變數間線性關係的程度與方向的方法 •共變異數(covariance)與相關係數是用來瞭解 兩變數間線性關係的工具 •如果變數間無法區分出所謂的依變數 (dependent variable)與自變數(或獨立變 數)(independent variable)時，則使用相關 分析來探討變數間的線性關係 •如果變數是可以區分的話，則使用線性迴歸分 析來探討變數間的線性關係。 相關(Correlation) • • • • • • 描述兩個變數關係的統計程序 兩個變數共同改變的趨勢 兩個變數關係的方向、型態、程度 不涉及因果關係 只有預測關係 變數：預測變數與效標變數 相關的型態：直線相關 相關的型態：曲線相關 相關的方向：正相關 相關的方向：負相關 相關的程度 完全負相關 相關的程度 高度正相關 相關的程度 低度負相關 相關的程度 零相關 相關的程度 零相關 中度正相關 完全正相關 相關程度 • 趨勢愈明顯相關程度愈高 • 趨勢愈模糊相關程度愈低 • 當所有的點都在一條直線上 完全相關或零相關 共變數：Covariance •相關：兩個變數共同改變的趨勢 •共變數：測量兩個數值變數間的線性關係 N 2xy Cov ( X, Y ) X i1 i X Yi Y N X Y XY N • 當兩變數與的共變異數大於零時，可以看出與大部分落 於第一與第三象限，也就是兩者移動的方向是一致的， 亦即正的線性關係。 • 當兩變數與的共變異數小於零時，可以看出與大部分落 於第二與第四象限，也就是兩者移動的方向是相反的， 亦即負的線性關係。 • 當兩變數與的共變異數等於零時，可以看出與均勻落於 所有四個象限，而看不出兩者間線性移動的關係，但卻 可能存在其他非線性關係。 共變異數的性質 1. 共變異數的值介於-到之間。 2. X與Y的共變異數大於零，表示X與Y 同方向變動。 3. X與Y的共變異數小於零，表示X與Y 反方向變動。 4. X與Y的共變異數等於零，表示兩變數 間沒有「線性」關係，但並不表示兩 者之間沒有其他關係存在。 相關係數 • 相關係數（correlation coefficient) • 乃是指皮爾生相關係數（Pearson correlation coefficient) ，其用途在於測量兩個數值變數間的 線性關係。 • 當兩變數有相關存在，並不代表兩者一定存在因 果關係，但是當相關程度高的時候，彼此的預測 能力也高。 相關係數的公式 XY 2 XY 1 N X i X Yi Y N i1 1 N 1 N 2 2 X Y i X i Y N i1 N i1 相關係數的估計 • 我們必須假設之母體為一二維常態分配，然後抽出樣 本資料 ( x1 , y1 ), , ( xn , y n )，來計算樣本相關係數，而其 定義如下： r SSXY SSX SSY X Y 其中 SSXY Σ(X- X)( Y Y ) XY n 2 ( X ) SSX Σ(X- X) 2 X 2 n 2 ( Y ) SSY Σ( Y Y ) 2 Y 2 n 相關係數的計算 X 1 2 4 5 X 12 r Y 3 6 4 7 Y 20 2 X 1 4 16 25 2 X 46 2 Y 9 36 16 49 2 Y 110 X*Y 3 12 16 35 XY 66 nXY X Y nX 2 (X) 2 nY 2 (Y) 2 4 66 12 20 4 46 12 2 4 110 20 2 24 40 40 0.6 相關係數的檢定 •檢定二變數是否具有直線相關 1.建立假設 H0： = 0 2.檢定統計量 t H 1： 0 r 1 r2 n2 3.拒絕域R : t > tα/2(n-2) 在上例中，n=4 ，r=0.6；試在α=0.05的水準 下，檢定兩變數間是否有線性關係存在。 建立虛無與對立假設為 H0： = 0(沒有直線相關) H1： 0 (有直線相關) 拒絕域R : t > t0.025(2)=4.303 計算檢定統計量: t r 1 r 2 n2 0.6 1 0.6 42 2 1.06 4.303 所以接受H0，兩變數間沒有線性關係存在。 迴歸分析的基本概念 • 在迴歸分析中，必有一依變數又稱為被解釋變數 或被預測變數，一般以y表示；且可能有數個自變 數，又稱為獨立變數或預測變數或解釋變數，一 般以xi表示。 • 如果自變數只有一個，稱為簡單迴歸； • 若自變數有二個或二個以上者，則稱為複迴歸。 • 若變數之間具有統計關係，則進行迴歸分析的目 的即在於找出一適當的數學方程式以表示其關係， 此方程式謂之迴歸方程式。 • 若迴歸方程式具線性特性者，則稱為直線迴歸； 否則稱為非直線迴歸。 簡單直線迴歸分析的步驟 (1)建立迴歸模型： 從散布圖觀察，若觀察值近似直線分布，則可建 立直線迴歸模型(方程式) 。 (2)估計迴歸模型： 利用最小平方法估計迴歸係數(斜率和y-截距)， 求得估計迴歸線方程式。 (3)評判迴歸模型： ①檢定斜率β1是否異於0，來判別直線關係的顯著性； ②計算判定係數以分析迴歸解釋能力的百分比。 簡單直線模型 若y與x具有直線函數關係，則其關係式可寫為： y β0 β1x 其中β0為直線的y截距，β1為直線的斜率， 其意義為當x變動1單位時，y變動β1單位。 y β1 β0 1 x 簡單直線迴歸模型 若y與x具有直線迴歸關係，則其關係式為： y β0 β1x e e ~ N(0, σ2 ) 參數β0與β1稱為迴歸係數，e為隨機誤差 σ σ σ 迴歸係數β0與β1的估計 迴歸直線的估計式: ŷ b0 b1x b， 0 b1分別為β， 0 β1的估計值 最小平方原理 求出迴歸係數的b0及b1的值，使得 估計誤差平方總和Σe2 Σ(y - ŷ)2 Σ(y - b0 - b1x)2 為最小 (ΣX)2 X的平方和SSX ΣX n 2 ΣX ΣY X, Y的交叉平方和SSXY ΣXY n 2 ( Σ Y) Y的平方和SSY ΣY 2 n (SSXY)2 殘差平方和SSE SSY SSX SSXY nXY X Y 求得斜率b1 SSX nX 2 (X) 2 y 截距b 0 y b1 x 在開發某種新藥品的過程中，進行一項實驗以研究各種不同劑 量的藥(自變數x)對於解除某症狀的持續時間(依變數y)之效果。 此實驗中選取了10個病人，每一個病人被指定服用某特定劑量 的藥，並要求病人記錄該藥解除症狀之持續時間。所觀察的資 料列示於下。 計算迴歸直線 總 計 x y x2 y2 xy 3 9 9 81 27 3 5 9 25 15 4 12 16 144 48 5 9 25 81 45 6 14 36 196 84 6 16 36 256 96 7 22 49 484 154 8 18 64 324 144 8 24 64 576 192 9 22 81 484 198 59 151 389 2651 1003 10 1003 59 151 b1 2.74 2 10 389 59 b 0 y b1 x 151 59 2.74 1.07 10 10 迴歸線方程式 : ŷ 1.07 2.74x 迴歸方程式的適合度 • • • • 究竟估計迴歸方程式配適的好不好？ 它可以用來解釋多少比例的呢？ 要回答這些問題，就得考慮迴歸方程式的適合度。 在簡單線性迴歸分析中，我們用判定係數值的大小 來決定迴歸方程式的適合度。 迴歸模型之變異分解 隨機變異 迴歸變異 總變異 • 變異的分解: 總變異 y i y SSY 2 迴歸變異(可解釋變異 ) yˆ i y SSR 2 隨機變異(不可解釋變 異) y i yˆ i SSE 2 SSY SSR SSE 判定係數R2 2 迴歸變異 SSR (SSXY) 判定係數R 總變異 SSY SSX SSY 2 1. R2 之值介於0與1之間。 2. R2 愈高，代表估計線性迴歸方程式的配適 度愈好。 3. 若將判定係數以百分比表示時，則R2 可視 為總變異可用估計迴歸方程式解釋的程度， 也就是Y可以被X解釋的程度 。 計算判定係數以分析迴歸解釋能力的百分比。 總 計 x y x2 y2 xy 3 9 9 81 27 3 5 9 25 15 4 12 16 144 48 5 9 25 81 45 6 14 36 196 84 6 16 36 256 96 7 22 49 484 154 8 18 64 324 144 8 24 64 576 192 9 22 81 484 198 59 151 389 2651 1003 59 151 SSXY 1003 112.1 10 59 2 SSX 389 40.9 10 389 2 SSY 2651 370.9 10 2 112 . 1 R2 0.8284 40.9 370.9 解除某症狀持續時間(y) 變 異的82.84%可被不同劑量的 藥(x)的變異所解釋，剩餘 的17.16%是未被解釋的。