Transcript 슬라이드 1

Chapter 10. Factor Analysis
2008-05-10
Dept. of Industrial Systems & Information Engineering
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.1 History
 기본 개념: 측정변수를 기초로 몇 가지 내용적 인 핵심 개념을 축약함
 개체의 특성을 측정한 변수들 간에서 구조적인 연관관계(상관관계)가 존재함(공분산 구조)
구조적 연관관계(상관계수)에 따라 변수들을 그룹화 함
 내용적인 요약을 해주는 개념: 이론변수; 사실을 요약한 것으로 사실과 정확하지 않음
 가설적 개념의 “Factor”; Unobserved Variable, Essence
 두 가지 요인 분석형태
 사람의 지적 능력을 측정하고 이에 연관된 변수들을 이해하려는 노력의 일환으로 Galton (1988)의해
제안됨. 수학적인 모형은 Spearman (1904: 상관계수 제안자)에 의해 발전됨
상관계수만으로 구조적 특성 파악 난관? 과목의 구조를 설명하는 새로운 개념 Factor 유도?
 탐색적 요인분석(Exploratory Factor Analysis)(일반적 개념): 1900년초~1960년대 이론적 틀 완료
- 자료내에 어떤 요인이 들어 있을 것이라는 생각: 요인모형 가정 없이 몇 개의 요인으로 개략화
(Approximation)할 수 있는가?
- 다수의 변수들에 대한 자료를 소수의 요인에 대한 자료로 변환시키는 과정에서 사전에
어떤 변수들끼리 그룹핑 되어야 한다는 전제를 두지 않음
 확인적 요인분석(Confirmatory Factor Analysis): 1960년대~
- 요인모형에 어떠한 가정 또는 기존연구의 요인모형을 토대로 비추어 검증
- 몇 개의 constructs를 측정하기 위해 construct별로 다수의 항목들을 개발하여 측정한 자료들을
요인 분석하여 동일한 Construct를 측정하기 위한 항목들끼리 그룹핑 되는지를 조사하는 것
 기본지식
- Correlation Coefficient
- Regression Analysis
- Factor Analysis
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.2 Preview: Correlation Analysis
 Correlation
 Definition: A correlation exists between two variables when one of them is related to the other
in some way.
 When X and Y are statistically independent, it can be shown that the covariance is zero.
 However, the converse is not generally true.
 Correlation Coefficient: The value indicates how much of a change in one variable is explained
by a change in another.
 Correlation Analysis
 Simple Correlation Coefficient, Multiple Correlation, Partial Correlation
 Correlation Analysis: Variable X   Variable Y : 단일방향
ex. 키 & 몸무게
1: a perfect positive correlation
1   XY  1
0: a lack of correlation
-1: a perfect negative correlation

Cov( X , Y ) E[( X   X )(Y  Y )]

 X  Y
 X  Y
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.2 Preview: Regression Analysis
 Regression
 Definition: A statistical technique used to find relationships between variables for the purpose of
predicting future values.
 Regression Analysis
 Simple Regression Analysis, Multiple Regression Analysis
 Regression Analysis: Variable X   Variable Y : 쌍방향
ex: 과제제출 여부와 성적
Y   x 
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.3 Objective
Factor
A
•Observed Variable
F
B
ea
eb
Factor1
C
D
ec
ed
E
ef
ee
Factor2
• Latent Variable
• Unobserved Variable
• Factor (Essence)
 자료의 양을 줄여 정보를 요약
(* 다수의 변수들을 정보손실을 최소화하면서 소수의 요인들(Factors)로 축약하는 것)
 변수내의 존재하는 구조를 밝힘
 요인으로 묶여지지 않은 중요도가 낮은 변수 제거
 동일개념을 측정하는 변수들이 동일한 요인으로 묶였는지를 확인(측정도구의 타당성 검증)
 요인분석을 통하여 얻어진 요인들을 회귀분석이나 판별분석으로 활용하려는 경우
(* 다중공정성과 같은 문제가 생기지 않게 독립성을 유지시켜 줌)
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.4 Definition
 요인분석
 수집된 다수 또는 대량의 자료처리를 통하여 내용적으로 의미 있는 소수의 변수를 추출하는 통계기법
 다수 변수들간의 관계(상관관계)를 분석하여 변수들의 바탕을 이루는 공통차원들(Common Underlying
Dimensions)로써 이 변수들을 설명하는 통계기법
 독립변수와 종속변수가 지정되어 있지 않은 변수들 간의 상호관계 발견함
(* 추정통계가 아닌 기술통계기법으로 모수와 통계량, 가설검증등의 개념은 요인분석에 적용되지 않음)
 관찰 변수간의 상관관계를 소수의 잠재변수에 의해 설명
 측정변수와 요인간의 관계는 선형적(Linear) 임
 전제조건
 모든 변수는 등간 척도 이상의 연속형 데이터, 각 변수는 정규분포, 관찰치는 상호독립적, 각 변수의
분산은 같아야 함. 표본 수의 타당성(변수의 4-5배> 2배>통계적 분석 결과 해석에 신중)
 요인분석의 3가지 중요 요소
1. Data : Interval Scale (Continuous): n개의 측정변수에 대한 N명의 자료제공
2. Software:
- SAS (Statistical Analysis System); Proc Factor / SPSS; Factor Analysis
3. Factoring:
- “요인추출”무엇인가를 분해해서 알맹이를 뽑아냄
(* 요인분석의 핵심과정)
- 상관분석 & 회귀분석의 기본적 응용
(* 상관분석  회귀분석  요인분석: 응용의 산물)
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.5 Basic Model
 상관행렬: 여러 변수간에 계산된 상관계수의 집합
 요인분석의 분석자료: 다수의 상관계수가 들어있는 상관행렬
 Z1…Zn을 요약하는 두 개의 공통요인 F1과 F2가 있을 때, 요인모형; 측정변수와 요인간의 관계
Z1 = a11F1
* 어휘력 Z2 = a21F1
산술문제 Z3 = a31F1
응용문제 Z4 = a41F1
* 독해력
F1국어실력
+
+
+
+
a12F2 + U1
a22F2 + U2
a32F2 + U3
a42F2 + U4
F2수학실력
 Z1과 Z2 사이의 상관관계
CORR(Z1, Z2) =
CORR (a11F1 + a12F2 + U1, a21F1 + a22F2 + U2)
- U1 과 U2간의 상관관계: 無
- F1 과 F2 간의 상관관계 : 無
- CORR(Z1, Z2) = (a11F1 + a12F2 , a21F1 + a22F2 ): 有
- F로 요약: 변수간의 상관관계에 기초해서 그 변수를 요약하면 공통요인이 됨
 상관행렬: 대각선에는 1.0이고 대각선 이외는 상관계수 행렬
- 대각선 1.0  각 측정변수(표준화 변수)의 분산
- 상관계수  공통요인만이 반영됨
- 공분산  공통요인+고유요인
* VAR(Z1)=COV(Z1, Z1)=1.0
 VAR(Z)=1=공통오인이 차지하는 분산 + 고유치가 차지하는 분산
= 공통분산(Common Variable or Communality) + 고유분산(Unique Variance)
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.5 Basic Model
Z=a·F+U
Z: 측정변수
F: 공통요인 U: 고유요인
Z
·· 1 = a11F1 + a22F2 + · · · +a1mFm + U1
·
Zn = an1F1 +an2F2+ · · ·+anmFm+ Un
a: 요인부하(Weight)
 공통요인분석을 위한 식
: “측정변수간의 상관관계 설명”
: n개의 측정변수에서 m에의 공통요인 추출
(n > m)
가정: U는 무시할 정도로 작은 변수(U가 클 경우 성립 안됨)
Z
·· 1 = b11F1 + b22F2 + · · · +b1nFn
·
Zn = bn1F1 +bn2F2+ · · ·+bnnFn
: 측정변수와 요인의 수효가 같음
P
·· 1 = c11Z1 + c22Z2 + · · · +c1nZn
·
Pn = cn1Z1 +cn2Z2+ · · ·+cnnZn
 주성분분석을 위한 식
: “측정변수의 분산을 설명” 변수의 선형 결합으로
정의되는 요인
: 요인이 측벙변수 함수로 표시됨
: p는 수학적으로 n개이지만 실제적으로
그 수보다 적음
* P는 공통요인이 아니라 주성분
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.6 Factor Analysis Method
 Principle Comport Model
: 측정분산을 설명하는 최적의 선형결합 구하기(요인회전 필요 없음)
: 방대한 자료를 가능한 줄여서 중요한 요인을 추출하는데 목적
 Exploratory Factor Analysis: 귀납적 접근방법
 구성개변 도출
 요인수를 정하지 않고 분석을 수행
 이론적 근거보다는 입력변인들의 상호상관을 기초로 요인 추출
 Total Variance: 측정변수의 분산을 설명하기 위하여 측정
 변수들의 선형결합으로써 주성분을 도출하는 모형
 Common Factor Model
: 요인들은 추출해 내기는 하지만 Focus는 추출해낸 요인들과 원래의 모집단을 토대로 확인하는 것
 Confirmatory Factor Analysis: 연역적 접근방법
 미리 요인수를 결정하고 분석수행
 요인분석 결과의 타당성 증명
 변수간 상관원인 구하기(요인회전 요구됨)
 Common Variance: 측정변수 간의 상관관계고려 하는 공통요인을 추출하는 모형
 변수간의 내재하는 차원을 찾아 구조 파악
 변동비율이 크거나, 자료의 특성에 대하여 아는 바가 없을 때 사용
*주성분이란? 무수히 많이 존재하는 선형결합이 존재하는데 그 가운데 설명력을 가지는 선형결합 형태
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.6 Factor Analysis Method
 Principle Component Analysis)
 측정변수의 분산자체를 설명하고자 함: 공통분산과 고유요인의 구분이 관심사가 아님
 측정변수들의 분산을 설명하기 위하여 측정변수의 선형결합으로서의 주성분을 추출하는 모형
 분산의 “공통/고유”을 구분하지 않고 모두 분석대상대상으로 하므로 원상관 행렬을 분석함
 수량적 측면: 측정변수의 선형 결합이라는 데서 산뜻함(n개의 측정변수 자료로부터 n개의 주성분)
 Common Factor Analysis)
 측정변수의 상관관계를 초래하는 공통요인에만 관심: 고유요인과의 구별이 중요함
 측정변수간 상관을 설명하는 공통요인을 추출하는 모형
 고유분산을 제거한 축소상관 행렬을 분석함
 질적인 측면: 측정 변수속에 내재한 잠재변수라는 데서 통계적으로 산뜻한 접근이 어려움
 통계이론이나 수학이론에서 거의 구별되지 않음
 일반적으로 주성분분석은 변수축소를 목적으로 사용을 추천하며, 요인분석은 요인구조를 감지하기
위해서 사용할 것을 추천함
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.2 Factor Analysis Method
 Principle Component Analysis VS. Common Factor Analysis
 유사점
- 변수들의 구조를 파악하기 위하여 공분산행렬(상관계수 행렬)을 이용함
- 새로운 변수가 만들어짐(주성분 점수, 요인점수)
 차이점
- PCA: 원변수 X자수 축약, CFA: 원변수 X를 그룹화
- PAC분석 목적: p개의 원 변수를 2~3개의 주성분으로 축약함
CAF분석 목적: p개의 변수들이 상호 어떤 관계가 있는지 결정 m (< p)개 변수 그룹으로 나눔
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.2 Factor Analysis Method
 Principle Component Analysis VS. Common Factor Analysis
PCA
CFA
주성분은 원변수의 직교선형 결합으로 표현
Y=LX는 선형계수 행렬(Weighted Sum = Linear
Combination) 인과관계: 관찰가능변수주성분
인자들의 직교선형결합으로 원변수들을 표현
X=LF, L은 부하행렬, F는 관측불가
인가관계: 요인관찰가능 변수
주성분은 원변수들의 변동으로 설명함
 공분산행렬 사용(단위의 차이가 없을 경우)
 상관계수행렬 사용시 CFA와 동일함
요인은 변수의 내재된 관계를 이용하여 변수를 분
류하는 방법으로 분산-공분산 구조로 설명함
상관 계수 행렬 사용
행렬L은 원변수가 주성분에 미치는 영향, 주성분의 이 행렬 L변수는 요인이 원변수에 미치는 영향, 내재
름을 붙이기 위해서 사용함
된 관계를 알아보는데 사용. 역으로 변수들을 그룹
화하는데 사용함
적절한 주성분의 수를 구하고 주성분의 이름을 부여하 적절한 Factor의 수를 구하고, 이를 이용하여 변수
고 주성분 점수에 의해 개체순를 파악함
들을 그룹화, 변수에 내재된 관계를 파악함
주성분은 측정가능 변수와의 관계가 선형관계, 주성
분 간에는 서로독립(Uncorrelated)로 명확히 규정됨
: 회전이 필요 없음
요인분석는 기본모형을 독립으로 가정하나, 그렇
지 않을 경우가 있음: Orthogonal 또는 Oblique회
전을 하여 해석 및 원래 변수의 변동을 잘 설명함
상관계수, 공분산 이용
상관계수 이용
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.7 Factor Analysis Process
1. 분석 목적의 확립/분석변인 선정/ Raw Data 수집
2. 측정변수의 검토 및 상관관계 계산
3. 요인분석 모형 결정
4. 요인수 결정
5. 요인 회전 방식 결정
6. 결과 해석
7. 추후 분석을 위한 요인의 산출
Multiclineariy (R Square). Chronbach’s Alpha,
Partial Correlation (-1 < r < 1)
Principal Component Model, Common Factor
Model, Maximum Likelihood, Generalized Least
Square
EigenValue, Communality, Scree Table
Orthogona Rotation (Varimax, Quartimax,
Eqimax), Oblique Rotation (Oblimin, Covarimin,
Quartimin)
Chronbach’s Alpha
Regression & Discriminate Analysis
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.8 Considerations
 요인분석 자료
 변수가 간격척도/비율척도에 의해 측정되어야 하며, 표본의 크기(관측치의 수)는 100개 이상이
바람직함 (최소 50개 이상).
변수의 수보다 관측치의 수가 10배 이상이 바람직(최소한 5배) → 변수의 수에 비해 관측치의 수가
부족하면 과다적합(Overfitting)의 문제가 발생할 수 있음
 원자료로부터 상관관계 행렬이 만들어지며, 이 상관관계 행렬이 요인분석을 위한 입력자료
(input data)가 됨
 변수들간의 상관관계가 전반적으로 매우 낮다면(± 0.3이하), 요인분석에 부적합
 요인추출 방법
요인분석의 목적/변수들의 분산에 대한 사전지식을 고려해 두 방법 중 선택
FA
PCA
Principle Component Analysis :
원래의 변수들의 분산 중 가급적 많은
부분을 설명하는 소수의 요인 추출 목적
공통분산이 크다는 사실을 아는 경우 적절함
CFA
변수가 30개 이상이거나
공통요인분석을 위해 입력
Communalities가 대부분의 변수에
있어 .60이 넘으면 두 가지 방법이
거의 같은 결과
Common Factor Analysis:
원래 변수들의 토대가 되는 잠재적
차원들을 찾아내는데 목적
분산의 구성에 대한 사전지식이
별로 없다면 가 적절함
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.8 Considerations
 추출할 요인의 수를 결정하는 방법
 Eigenvalue : 한 요인의 설명력을 나타내는데 한 요인에 대한 “Factor Loading의 제곱의 합”을 나타내며,
Eigenvalue가 크다는 것은 그 요인이 변수들의 분산을 잘 설명한다는 것을 의미함
(* Eigenvalue 1 이상을 갖는 요인의 수만큼 추출하며, 원칙적으로 변수의 수가 20개를 넘는
경우 이 방법이 적절)
 요인의 수를 사전에 결정 : 연구자가 몇 개의 요인이 적절하다는 것을 사전에 알거나 다른 연구자가
수행한 연구를 반복하면서 그 연구에서 추출된 요인의 개수만큼 요인을 추출하고자 할 때 사용
 전체 요인들의 설명력 기준 : 요인들의 설명력의 합이 어느 정도는 되어야 한다는 것을 사전에 정하고
그 수준의 설명력을 가져오는 요인들을 추출하는 것으로, 절대적인 기준은 없으나 사회과학에서는
60% 내외로 결정하는 경향이 있음
 Scree Table: 각 요인의 Eigenvalue를 그림으로 보여주는데 첫 번째 요인부터 Eigenvalue는 점차 작아짐
(* 한계점: 모든 스크리 도표의 각도가 반드시 어느 지점에서 급격히 꺾이지 않음)
 종합 : 자료분석의 결과에 따라 요인의 수를 결정하는 방법으로 조사자 혹은 분석자 판단에 따라 방법을
결정하는 것으로 Eigenvalue를 이용하는 경우가 가장 많으며 기준은 보통 Eigenvalue=1이 됨
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.8 Considerations
 요인회전 방법
 통계패키지에 의한 요인분석: 비회전 요인행렬이 구해지며, 요인의 수를 결정하는 방법이 사전에 지정되면
이에 맞도록 요인의 수가 도출되고, 이때 도출되는 요인은 원래 변수들의 선형결합임
 Factor Loading: 각 변수와 해당 요인간의 상관관계계수
 요인행렬: 기초자료를 축소시켜 보여주기는 하지만 이로부터 어떤 변수들이 어떤 요인에 높게 관계되는지
명확히 알기 어려워 추출된 요인을 회전하게 되는데 회전에 의하여 Factor Structure를 명확히 알 수 있음
(요인을 회전함으로써 어떤 변수가 어떤 요인에 높게 관계되는지 알 수 있음)
요인회전 방법
직각회전
VARIMAX
QUARTIMAX
사각회전
EQUIMAX
OBLIMIN
(SPSS)
PROMAX
(SAS)
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.8 Considerations
 요인회전 방법
 직각요인회전(Orthogonal Factor Rotation): 직각을 유지하면서(즉, 요인간에 독립성을 유지하면서)
요인구조가 가장 뚜렷할 때가지 요인을 회전시키는 방법.
 사각요인회전(Oblique Factor Rotation): 직각을 유지하지 않은 채 요인구조가 가장 뚜렷할 때까지
요인을 회전시키는 것
 요인회전 시 직각을 유지한다는 것: 요인들간의 상관관계가 “0”임을 가정하는 것으로 사각회전은
직각을 유지하지 않고 요인구조가 가장 뚜렷할 때까지 각각의 요인을 회전하는데, 요인들간에 “0”의
상관관계를 가정하지 않으므로 보다 실제적(Realistic)임
 사각회전이 직각회전에 비해 변수들이 회전된 요인에 보다 가깝게 군집하는 결과를 가져 다 주며,
요인들이 서로간에 얼마나 관계가 있는지에 대한 정보를 제공
- 각도가 직각보다 작을수록 正의 상관관계, 직각이 보다 클수록 負의 상관관계가 있음을 보여줌.
- 이론적으로 사각회전방식이 우수한 면이 있으나 사각회전 수행절차가 그다지 잘 개발되어 있지
않고 또한 논쟁의 여지가 있어 직각회전방식이 보다 자주 사용됨
 직각회전방식
- VARIMAX 방식 : 요인행렬의 열(Column)의 분산의 합계를 최대화함으로써 열을 단순화하는 방식
(Maximize the sum of variances).
- QUARTIMAX 방식 : 행(Row)을 중심으로 한 변수가 한 요인에는 가급적 높게 그리고 다른 요인들에는
가급적 낮게 적재되도록 함으로써 행을 단순화하는 방식.
- EQUIMAX 방식 : 두 가지를 절충한 방식.
 요인구조를 단순화(명확화)하고 해석이 가장 용이한 방법은 VARIMAX 방법으로 가장 많이 쓰임
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.8 Considerations
 요인 적재값(각 변수와 요인간의 상관관계 값)의 유의성 판단기준
 +1과 –1 사이의 값을 가짐.
 요인분석결과를 해석할 때 일반적 상관관계계수의 통계적 유의성 대신 실제적 유의성
(Practical Significance)에 관심을 갖는데, 흔히 요인 Loading Value ±.50 이상일 때 실제적 유의성을
갖는 것으로 받아들임
 보다 엄격한 측면에서 표본의 크기와 변수의 수가 고려되어야 하는데, 표본의 크기가 작을수록,
변수의 수가 적을수록 요인 Loading Value가 큼
Orthogonal Factor Rotation
Oblique Factor Rotation
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.8 Considerations
 요인행렬의 해석
 각 변수의 적재값을 여러 요인에 걸쳐 비교하여 가장 높은 적재값에 밑줄
대부분 ±.50 이상이자만 경우에 따라 조금 낮더라도 (특히 표본의 크기가 크고 변수가 많을수록)
수용가능 함
 각 변수의 Communality를 검토
- 한 변수의 Communality는 그 변수의 분산이 추출된 요인들에 의해 설명되는 정도를 가리키며
0과 1 사이의 값을 가짐
- Communality가 .50보다 작은 경우 취할 수 있는 방법
- 그 변수를 무시하고 나머지 변수들을 중심으로 해석
- 그 변수를 제거하고 요인분석을 다시 실시하는 것으로 그 변수를 제거하더라도 연구목적에 별로
위배되지 않는 경우에 택해야 함
 각 요인의 명칭을 부여
- 각 요인(열)에 있는 적재값들 중 밑줄을 그은 값들의 해당변수와 부호를 면밀히 검토.
- 같은 요인에 높게 적재된 변수들은 모두 그 요인과의 상관관계가 높으므로 당연히 그 변수들의
상관관계도 높을 것으로 기대.
* 연구자 : 해당 변수들의 공통적인 특성으로부터 주관적으로 요인의 명칭부여
(공통적 특성이 없는 경우 – 불확정 요인으로 할 수 있음)
* 일부 변수 특성이 다른 변수들과 공통적 성격을 갖지 못하는 경우 제거하고 다시 분석 가능
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.9 PCA: Principal Component Analysis
 주성분
 무수히 많은 선형결합 가운데에서 그 중 가장 높은 설명력을 가지는 선형결합 형태
 측정변수는 줄지않고 설명요인으로 묶임
 회귀분석. 군집분석 등에서 변수를 제거하기 위한분석으로 사용
 PCA에서 의 고려사항
 상관 행렬과 공분산 행렬 중 어느것을 선택할 것인가?
상관행렬을 사용하는 경우? CFA와 동일한 결과값을 보임
 주성분의 개수를 몇 개로 할 것인가?
 주성분에 영향을 미치는 변수는 어떤 변수를 택할 것인가?
* X 표준화에 신중한 판단이 필요함
변수들이 전혀 다른 성질을 나타내는 변수일 경우 표준화를 고려해야 함
단, 설문지 조사의 경우 사용되는 척도는 동일한 성질이기에 표준화 필요 없음
 주성분 개수 결정(주성분을 결정하는 기준)
 고유치가 1보다 클 것 (상관계수 이용의 경우)
 주성분의 설명력이 원자료 변량의 80-90%이상 설명할 수 있을 것
 고유치를 그래프로 그려 급격히 감소하기 전까지 선택(Scree Analysis)
 주성분에 대한 해석이 가능할 것
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.9 Principal Component Analysis
 SAS 프로그램 참고
 INFILE “d:\temp\applicant.text”;
 REORDER : Factor Loading Value)을 순서대로 출력
 METHOD: Default=Principal Factoring 방법을 선택함
 ROTATE = : 요인의 회전, 일반적으로 VARIMAX 방법이 가장 널리 쓰임
 NFACTOR = n : 추출할 요인의 수(n)을 강제로 할당
"NFACOR="를 설정하지 않으면, Default는 고유요인 1이상인 요인들만 출력함
(전체변동의 80%)가 설명됨
 PROC FACTOR 옵션 "COVAROANCE" 옵션을 따로 사용하지 않으면:
Default  상관계수행렬을 이용하여 고유치를 계산함
이때, Eigen Value가 설명하는 분산변동의 변수개수 p이고, 각 고유치의 평균 설명력은 1
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.9 Principal Component Analysis
 상관계수 자체를 직접 이용한 PCA: CODE
DATA BODY1(TYPE=CORR);
INPUT _NAME_ $ HIGHT AMSPAN FORARM LOWLEG WEIGHT BITROC CGIRTH CWIDE;
CARDS;
HIGHT 1.0 . . . . . . .
AMSPAN .846 1.0 . . . . . .
FORARM .805 .881 1.0 . . . . .
LOWLEG .859 .826 .801 1.0 . . . .
WEIGHT .473 .376 .380 .436 1.0 . . .
BITROC .398 .326 .319 .329 .762 1.0 . .
CGIRTH .301 .277 .237 .327 .730 .583 1.0 .
CWIDE .382 .415 .345 .365 .629 .577 .539 1.0
DATA OBODY1;
SET BODY1;
_TYPE_='CORR';
PROC PRINCOMP DATA=OBODY1(TYPE=CORR);
RUN;
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.9 Principal Component Analysis
 상관계수 자체를 직접 이용한 PCA: Result
10000 Observations
어느 요인에 의해 설명되어지는
Principal Component Analysis
변수의 분산비율
주성분의 상대적 설명력 변화
주성분의 설명력 비율
8 Variables
Eigenvalues of the Correlation Matrix
Eigenvalue
Difference
Proportion
Cumulative
한 요인에 대하여
설명될 수 있는
변수의 수
PRIN1
PRIN2
PRIN3
PRIN4
PRIN5
PRIN6
PRIN7
PRIN8
4.67288
1.77098
0.48104
0.42144
0.23322
0.18667
0.13730
0.09646
Total: 8
Factor Loading:
변수와 요인간의 상관계수
Eiginvalue:
(0.397578)2 + … …
(0.389320)2 +
= 4.67288
HIGHT
AMSPAN
FORARM
LOWLEG
WEIGHT
BITROC
CGIRTH
CWIDE
PRIN1
PRIN2
0.397578
0.389320
0.376160
0.388390
0.350667
0.311908
0.285527
0.310225
-.279741
-.331420
-.344604
-.297067
0.394242
0.400718
0.435919
0.314449
2.90190
1.28995
0.05959
0.18822
0.04655
0.04937
0.04084
.
Eigenvectors
PRIN3
PRIN4
0.584110
0.221373
0.060129
0.052680
0.029153
0.023334
0.017163
0.012058
Specific Value
0.58411
0.80548
0.86561
0.91829
0.94744
0.97078
0.98794
1.00000
1-0.58411
1-0.80548
Variance
1
1
1
1
1
1
1
1
* 주성분 개수: 80~90% 이상의 설명력
Eigenvlue > 1 (Q. 주의?)
PRIN5
PRIN6
PRIN7
-.101382
-.107460
-.408365 0.151934 -.635983
0.113145 0.068099 0.340923 0.072097 -.278488
0.015263
-.046962 0.541190
-.392355 0.241883
-.144975 0.123812
-.458635 0.250864 0.662345
-.213293 -.114490
-.295730
-.720099
-.026307
-.073234
-.712800 0.219483
0.409796 0.111977
-.420881 0.629531 0.257169
0.258284 -.080244
0.853036 0.220862 -.109598
0.040713 0.033036
PRIN8
0.384098
-.722613
0.481640
-.112146
-.237305
0.006900
0.125354
0.116923
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.9 Principal Component Analysis
 실제 Data를 이용한 PCA: CODE
DATA a1;
INPUT x1 x2 @@;
Cards;
7 13 8 9 6 16 11 7 9 2
13 8 8 10 12 9 7 11 4 17
;
PROC PRINCOMP;
Var x1 x2;
RUN;
PROC PRINCOMP COV;
Var x1 x2;
RUN;
Default: 상관계수 계신
COV: 공분산 행렬 계산
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.9 Principal Component Analysis
 실제 Data를 이용한 PCA: Result
Eigenvalues of the Correlation Matrix
Eignevalue Difference
PRIN1 1.68698
1.37396
PRIN2 0.31302
.
Proportion
0.843490
0.156510
Cumulative
0.84349
1.00000
Eigenvectors
PRIN1
X1 -.707107
X2 0.707107
PRIN2
0.707107
0.707107
* Q1. 상관행렬 or 공분산 행렬?
Eigenvalues of the Covariance Matrix
Eignevalue Difference
PRIN1 23.7648
20.4075
PRIN2 3.3574
.
Proportion
0.876213
0.123787
Cumulative
0.87621
1.00000
Eigenvectors
PRIN1
PRIN2
X1 -.468326 0.883556
X2 0.883556 0.468326
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 가정:
 Y=a1F1+a2F2+……+aiFi + e (Y는 F: Factor와 e: Error에 만 영향을 받음)
 관찰된 변수간의 관계를 설명하는 소수의 공통요인 존재
 공통요인과 고유요인은 상관관계 없고, 고유유인끼리도 상관관계 없음
 특성
 PCA와 비슷한 기법 (요인 분석 초기에 상관 행렬 이용)
 관찰되지 않은 잠재적 변수(= Factor)를 발견하는데 유용
 요인분석에서 초기인자를 유도하는 방법 중 PCA가 포함
 여러 변인들 관계를 고려하여 내면에 잠재되어 있는 공통요인(Common Factor)을 찾아내는 분석방
법
 고유요인을 고려하지 않은 분석
 공통요인은 측정변수의 수보다 적게 만족하는 범위 산출
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 상관계수 자체를 이용한 CFA – Initial Solution
OPTIONS LS=75;
DATA BODY(TYPE=CORR);_TYPE_='CORR';
INPUT _NAME_ $ HIGHT AMSPAN FORARM LOWLEG WEIGHT BITROC CGIRTH CWIDE;
CARDS;
HIGHT 1.0 . . . . . . .
AMSPAN .846 1.0 . . . . . .
FORARM .805 .881 1.0 . . . . .
LOWLEG .859 .826 .801 1.0 . . . .
WEIGHT .473 .376 .380 .436 1.0 . . .
상관행렬 분해방법(주축 분해법)
BITROC .398 .326 .319 .329 .762 1.0 . .
- 단일분해: PRIN
- 반복분해: PRINIT
CGIRTH .301 .277 .237 .327 .730 .583 1.0 .
- 최대 우도분해: ML
CWIDE .382 .415 .345 .365 .629 .577 .539 1.0
;
RUN;
PROC FACTOR PRIORS=SMC METHOD=PRIN NFACT=0 SCREE;
RUN;
요인을 뽑지 말고 단지 계산되는
상관행렬의 고유치 계산
사전 공통분 추정치
(Prior Communality Estimate)
: 다중상관 제곱치(SMC)
종속변수에 대한 R-square = Squared Multiple Correlation
예측변수로 회귀하는 것공통분으로 사용
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 상관계수 자체를 이용한 CFA: Result
Prior Communality Estimates: SMC
HIGHT
0.816201
적합성 검토
AMSPAN
FORARM
LOWLEG
WEIGHT
BITROC
CGIRTH
0.849314
0.800578
0.788437
0.748831
0.604149
0.562191
CWIDE
0.477792
대체로 Communality 높음
Eigenvalues of the Reduced Correlation Matrix:
Total = 5.64749154 Average = 0.70593644
1
Eigenvalue
Difference
Proportion
Cumulative
4.4098
2.9489
0.7809
0.7809
2
1.4609
1.3907
0.2587
1.0395
25.87%
3
0.0702
0.0435
0.0124
1.0520
4
5
분산: 음수이면 계산이 필요 없음
6
7
8
0.0266 -0.0190 -0.0731 -0.0994 -0.1285
0.0457 0.0541
0.0263
0.0291
0.0047 -0.0034 -0.0129 -0.0176 -0.0228
1.0567 1.0533
1.0404
1.0228
1.0000
* 요인수 결정 방법
- Scree Test
- Cumulative: 75~80%
- 해석가능성: ”3개인상의 변수” - 최적구조
ui.korea.ac.kr
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
10.10 CFA: Common Factor Analysis
 Scree Table
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 상관계수 자체를 이용한 CFA – Factor Rotation Solution
OPTIONS LS=75;
DATA BODY(TYPE=CORR);_TYPE_='CORR';
INPUT _NAME_ $ HIGHT AMSPAN FORARM LOWLEG WEIGHT BITROC CGIRTH
CWIDE;
CARDS;
HIGHT 1.0 . . . . . . .
AMSPAN .846 1.0 . . . . . .
FORARM .805 .881 1.0 . . . . .
LOWLEG .859 .826 .801 1.0 . . . .
WEIGHT .473 .376 .380 .436 1.0 . . .
BITROC .398 .326 .319 .329 .762 1.0 . .
CGIRTH .301 .277 .237 .327 .730 .583 1.0 .
CWIDE .382 .415 .345 .365 .629 .577 .539 1.0
;
RUN;
Initial Solution: 주성분분석
PROC FACTOR PRIORS=SMC M=PRIN N=0 SCREE;
PROC FACTOR PRIORS=SMC M=PRIN N=2 R=V PLOT;
PROC FACTOR PRIORS=SMC M=PRIN N=3 R=V PLOT;
Factor Rotation
RUN;
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 상관계수 자체를 이용한 CFA – Result
Rotation Method: Varimax
Rotation Method: Varimax
Orthogonal Transformation Matrix
1
1
2
Orthogonal Transformation Matrix
1
2
1
2
3
0.78710 0.61682
-0.61682 0.78710
2
3
0.78683 0.61717 -0.00035
-0.61703 0.78663 -0.02220
-0.01343 0.01768 0.99975
Rotated Factor Pattern
Rotated Factor Pattern
FACTOR1 FACTOR2
FACTOR1 FACTOR2 FACTOR3
HIGHT
AMSPAN
FORARM
LOWLEG
WEIGHT
BITROC
CGIRTH
CWIDE
0.86957
0.91118
0.88504
0.86170
0.24228
0.18812
0.12759
0.25549
0.27919
0.20884
0.18305
0.24952
0.87166
0.77565
0.75583
0.65791
HIGHT
AMSPAN
FORARM
LOWLEG
WEIGHT
BITROC
CGIRTH
CWIDE
0.87085
0.90939
0.88375
0.86326
0.24268
0.18750
0.12790
0.25364
0.27772
0.21148
0.18505
0.24771
0.87072
0.77610
0.75505
0.66008
-0.10185
0.13056
0.09482
-0.12088
-0.06545
0.01505
-0.05363
0.11159
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 Initial Solution vs. Factor Rotaion
OPTIONS LS=75;
DATA BODY(TYPE=CORR);_TYPE_='CORR';
INPUT _NAME_ $ HIGHT AMSPAN FORARM LOWLEG WEIGHT BITROC CGIRTH
CWIDE;
CARDS;
HIGHT 1.0 . . . . . . .
AMSPAN .846 1.0 . . . . . .
FORARM .805 .881 1.0 . . . . .
LOWLEG .859 .826 .801 1.0 . . . .
WEIGHT .473 .376 .380 .436 1.0 . . .
BITROC .398 .326 .319 .329 .762 1.0 . .
CGIRTH .301 .277 .237 .327 .730 .583 1.0 .
CWIDE .382 .415 .345 .365 .629 .577 .539 1.0
;
RUN;
PROC FACTOR PRIORS=SMC METHOD=PRIN NFACT=2 PREPLOT;
Initial Solution
PROC FACTOR PRIORS=SMC METHOD=PRIN NFACT=2 R=V PLOT;
Factor Rotation
RUN;
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 Initial Solution vs. Factor Rotaion
2 factors will be retained by the NFACTOR criterion.
Factor Pattern
주성분 전체에 대한
선형결합 형태
HIGHT
AMSPAN
FORARM
LOWLEG
WEIGHT
BITROC
CGIRTH
CWIDE
FACTOR1
FACTOR2
0.85665
0.84600
0.80953
0.83216
0.72836
0.62651
0.56664
0.60691
-0.31662
-0.39766
-0.40184
-0.33512
0.53665
0.49448
0.51622
0.36025
Factor1=0.86hight+
0.85amspan+…+
0.60691cwide
Variance explained by each factor
FACTOR1 FACTOR2
4.409844
1.460918
Final Communality Estimates: Total = 5.870762
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 Initial Solution vs. Factor Rotaion
FACTOR1
F1*
1
D
.9
B
CA
.8
.7
.6
.5
.4
.3
.2
-1 -.9 -.8 -.7 -.6 -.5 -.4 -.3 -.2
.1
.6 .7 .8 .9
0
-.1
각 축이 중앙이 되도록 유지
-.2
-.3
-.4
-.5
-.6
-.7
-.8
-.9
-1
지표가 되는 정보가
정확하지 않음
F2*
H
E
F
G
HIGHT
=A
AMSPAN =B
-.1
.1
0
.1 . 2
.3
.4
.5
F
A
C
T
O
R
2
FORARM =C
LOWLEG =D
WEIGHT =E
BITROC =F
CGIRTH =G
CWIDE
=H
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 Initial Solution vs. Factor Rotaion
Rotation Method: Varimax, Orthogonal Transformation Matrix
Rotated Factor Pattern
FACTOR1 FACTOR2
HIGHT
MSPAN
FORARM
LOWLEG
WEIGHT
BITROC
CGIRTH
CWIDE
0.86957
0.91118
0.88504
0.86170
0.24228
0.18812
0.12759
0.25549
0.27919
0.20884
0.18305
0.24952
0.87166
0.77565
0.75583
0.65791
Variance explained by each factor
FACTOR1 FACTOR2
3.287865
2.582897
Final Communality Estimates: Total = 5.870762
Initial Solution과 정보량이 동일함
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.10 CFA: Common Factor Analysis
 Initial Solution vs. Factor Rotation
FACTOR1
-1
-.9 -.8
-.7
-.6
-.5
-.4
-.3
-.2
1
.9
.8
.7
.6
.5
.4
.3
.2
.1
-.1
.10
-.1
-.2
-.3
-.4
-.5
-.6
-.7
-.8
-.9
-1
CB
DA
HIGHT
H
0
.1 . 2
.3
.4
.5
GF
.6
E
.7 .8
.9
F
A
C
T
O
R
2
=A
AMSPAN =B
FORARM =C
LOWLEG =D
WEIGHT =E
BITROC =F
CGIRTH =G
CWIDE
=H
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
Development and Evaluation of An Internet Literacy
Questionnaire (ILQ)
인터넷 경험 측정 질문지를 구성하려고 한다. 이를 위하여 인터넷 경험능력과 관련 있는
21항목(Item)을 추출하여 총 52명의 대학생 집단으로부터 데이터를 얻었다. 그리고 21
항의 측정변수를 요약하여 간단명료한 질문지를 구성하려고 한다. 이는 여러 질문 항목
(Items)들의 상관관계를 기초로 하여 정보의 손실을 최소화하면서 항목의 수보다 적은
수의 잠재변수로 묶어서 인터넷 경험에 대하여 분석할 수 있을 것이다. 질문항목에 대
한 응답자의 데이터가 아래와 같이 주어졌을 때 요인분석(Factor Analysis)의 절차에 맞
게 분석을 실시하시오. (회전방식은 Varimax 방식을 이용하라.)
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 개발 프로세스
1단 계
1차 질문지 구성
신뢰성 분석
(86 항목 )
(문항 제거 )
2단 계
2차 질문지 구성
신뢰성 분석
(21 항목 )
타당성 검증
Test-retest
요인분석
IEQ 질문지 작성
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
[질문지 구성의 고려사항]
 사용능력 평가 질문지
 제품자체의 특수성 이해
 수용성(Capacity)
 응용(Application)
 기술지식에 대한 이해
 사회의 개인적 규칙이 개인에게 적합하게 응용되는가의 여부
 인터페이스에 관한 질문지
 일부에 한정되지 않고 사용능력과 관련된 전반적 내용
 신뢰도(Validity)와 타당성(Reliability) 증명
 사용자 수준(Level)결정
 응답시간(Response Time)
 질문지의 구성(Sub-factor)
 질문지 신뢰도(Reliability)
 동일한 개념을 반복해서 측정할 때 측정 결과 값의 일관성, 정확성, 의존 가능성, 안전성, 예측 가능성
 내적합치도(Internal Consistency Reliability)
ㆍCronbach’s Alpha 이용
서로 다른 문항이 서로 보완하여 체계적으로 개면, 변수, 또는 속성을 잘 측정하고 있는가를 보여줌
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS CODE-PPOC FACTOR
DATA LEQ;
LABEL X1 =‘키보드치기’
INPUT X1-X21;
X2 =‘ . …. . … . .’
CARDS;
•
---------X21=‘인터넷 보안설정’
RUN;
PROC PRINT;
TITLE '자료처리보기';
RUN;
PROC CORR DATA=LEQ ALPHA NOSIMPLE NOCORR;
VAR X1-X21;
TITLE '신뢰도 분석';
RUN;
PROC CORR DATA=LEQ NOSIMPLE;
VAR X1-X21;
TITLE '상관계수 보기';
•/VIF (Variance Inflation Factor):
RUN;
10보다 크면 다중공선성 의심
PROC REG DATA=LEQ;
•/TOL (Tolerance): 모수 추정치 허용도
MODEL X1=X2-X21/COLLIN VIF TOL;
0.1 미만일 경우 의심
TITLE '다중공선성 예 Dep Vari X1 나머지 InDep Vari X2-X21';
• COLLIN
RUN;
PROC FACTOR ALPHA PRIORS=SMC M=PRIN N=0 SCREE;
TITLE '기조구조 산출';
RUN;
PROC FACTOR PRIORS=SMC M=PRIN N=4 R=V;
TITLE '회전 4요인결정 확인적 요인분석';
RUN;
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- PROC PRINT
자료처리보기 15:46 Saturday, October 24, 1998
OXXXXXXXXXXXXXXXXXXX
BXXXXXXXXX11111111122
S123456789012345678901
1424455555355535555235
2334334344243233334343
3445555355445345545355
4135135255155132115125
5233444434355424344344
6455554354354454344354
7435454555255255445243
8445434445254344435345
9234321421211223311112
10 5 4 5 5 2 4 5 5 5 1 5 4 1 4 5 4 4 5 1 5 5
11 3 5 5 5 5 5 5 5 5 5 5 5 5 5 4 5 5 5 5 4 5
49 2 5 5 4 4 5 4 5 5 2 5 4 3 5 4 3 5 5 3 4 5
50 5 5 5 3 5 4 4 3 4 4 4 5 5 3 4 4 5 5 5 4 5
51 1 4 4 2 2 2 3 2 4 1 4 2 4 3 2 3 4 4 4 2 4
52 1 4 4 5 5 5 3 5 5 3 5 5 3 5 5 4 5 5 5 3 4
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT-Reliability
15:46 Saturday, October 24, 1998
Correlation Analysis
Cronbach Coefficient Alpha
for RAW variables: 0.931865
for
STANDARDIZED
variables: 0.934740
신뢰도 분석
Raw Variables
Std. Variables
Deleted
Correlation
Correlation
Variable
with Total
Alpha with Total
Alpha
--------------------------------------------------------------------------------------X1
0.508533 0.930619 0.506120 0.933586
X2
0.638789 0.928233 0.621926 0.931573
X3
0.556119 0.929635 0.553552 0.932766
X4
0.637308 0.928142 0.628074 0.931465
X5
0.645271 0.927957 0.648538 0.931105
X6
0.703371 0.926951 0.716041 0.929911
X14
0.629791 0.928342 0.616731 0.931664
X15
0.635471 0.928141 0.635817 0.931329
X16
0.694436 0.927020 0.688710 0.930396
X17
0.656724 0.927757 0.657914 0.930940
X18
0.646372 0.928787 0.672721 0.930679
X19
0.522771 0.930326 0.501856 0.933660
X20
0.601832 0.928902 0.609660 0.931787
X21
0.622816 0.928386 0.623382 0.931547
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT-The Correlation Matrix
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Multiclineariy
다중공선성 예 Dep Vari X1 나머지 InDep Vari X2-X21
Model: MODEL1 Dependent Variable: X1
Analysis of Variance
Sum of
Mean
Source
DF
Squares
Square
F Value Prob>F
Model
20 43.44351
2.17218
2.384 0.0145
Erro r
31 28.24880
0.91125
C Total
51 71.69231
Root MSE
0.95460 R-square
0.6060
Dep Mean
2.92308 Adj R-sq
0.3518
C.V.
32.65720
Parameter Estimates
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Multiclineariy
Variable DF
INTERCEP 1
X2
1
X3
1
X4
1
X5
1
X6
1
X7
1
X8
1
X9
1
X10
1
X11
1
X12
1
X13
1
X14
1
X15
1
X16
1
X17
1
X18
1
X19
1
X20
1
X21
1
Parameter
Estimate
-1.107330
0.696737
0.055674
0.060190
0.255561
-0.229370
-0.017656
0.124136
0.026193
-0.086836
-0.543627
-0.189038
0.241314
-0.329355
0.395065
0.057565
-0.356856
0.718035
-0.312357
0.335715
0.107214
Standard T for H0:
Error Parameter=0
1.08531847
-1.020
0.21828246
3.192
0.25755908
0.216
0.17365680
0.347
0.19784737
1.292
0.24326835
-0.943
0.16605590
-0.106
0.25175654
0.493
0.41526062
0.063
0.22060957
-0.394
0.40938970
-1.328
0.24537333
-0.770
0.22392177
1.078
0.19110137
-1.723
0.19039114
2.075
0.20138624
0.286
0.18669754
-1.911
0.45774621
1.569
0.22748238
-1.373
0.20783402
1.615
0.18853351
0.569
Prob > |T|
0.3155
0.0032
0.8303
0.7312
0.2060
0.3530
0.9160
0.6254
0.9501
0.6966
0.1939
0.4469
0.2895
0.0948
0.0464
0.7769
0.0652
0.1269
0.1796
0.1164
0.5737
Variance
Tolerance
Inflation
.
0.00000000
0.21231814 4.70991317
0.33901850 2.94969152
0.38587826 2.59149093
0.31565724 3.16799325
0.26175258 3.82040167
0.50856308 1.96632441
0.31786507 3.14598893
0.14554530 6.87071331
0.26836489 3.72626992
0.17582548 5.68745796
0.24819367 4.02911155
0.27504002 3.63583456
0.30035185 3.32942844
0.38870606 2.57263804
0.34013814 2.93998201
0.32245109 3.10124553
0.15157352 6.59745861
0.24909822 4.01448074
0.48219976 2.07382931
0.36744918 2.72146478
*10 이상 없음
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Multiclineariy: Collinearity Diagnostics
Collinearity Diagnostics
Condition
Number Eigenvalue
Index
1
19.88792 1.00000
2
0.27421 8.51627
3
0.17160 10.76552
4
0.11732 13.02011
5
0.08590 15.21595
6
0.06906 16.97008
7
0.05817 18.48985
8
0.05010 19.92365
9
0.04737 20.49062
10
0.04197 21.76906
11
0.03736 23.07369
12
0.03201 24.92511
13
0.02682 27.23147
14
0.02515 28.12100
15
0.02125 30.59305
16
0.01794 33.29800
17
0.01287 39.31750
18
0.01015 44.27221
19
0.00633 56.03982
20
0.00396 70.89972
21
0.00256 88.18460
Var Prop Var Prop
INTERCEP
X2
0.0000
0.0001
0.0014
0.0017
0.0006
0.0607
0.0060
0.0120
0.0099
0.0003
0.0000
0.0086
0.0011
0.0026
0.0090
0.0025
0.0021
0.0009
0.0368
0.0056
0.0057
0.1900
0.0202
0.0191
0.0001
0.0392
0.0354
0.0062
0.0187
0.0702
0.0869
0.1281
0.1980
0.0000
0.0473
0.2156
0.4850
0.0934
0.0341
0.0611
0.0018
0.0816
Var Prop
X3
0.0000
0.0011
0.0000
0.0007
0.0077
0.0005
0.0002
0.0075
0.0001
0.0785
0.0053
0.0296
0.0002
0.0109
0.0037
0.0067
0.0679
0.3656
0.1121
0.0005
0.3013
-
-
Var Prop Var Prop
X19
X20
0.0001
0.0001
0.0395
0.0017
0.0018
0.0017
0.0348
0.0001
0.0193
0.0036
0.0148
0.0046
0.0847
0.0101
0.0793
0.0398
0.1227
0.0007
0.0092
0.0002
0.0077
0.0009
0.0000
0.4200
0.0897
0.1065
0.0104
0.1079
0.0167
0.0974
0.1286
0.0008
0.0189
0.0005
0.0064
0.0203
0.1847
0.0001
0.0013
0.0528
0.1294
0.1303
Var Prop
X21
0.0001
0.0008
0.0185
0.0002
0.0089
0.0001
0.0582
0.0779
0.0861
0.0000
0.2118
0.0014
0.2253
0.0028
0.0087
0.0018
0.0196
0.0839
0.1312
0.0214
0.0412
*마지막 회귀 모형 / 보통회귀모형에서 R-square = 98 일 때, 0.0000661
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Prior Communality
20:40 Thursday, October 15, 1998
기조구조 산출
Initial Factor Method: Principal Factors
Prior Communality Estimates: SMC
X1
X2
X3
X4
X5
X6
X7
X8
X9
X10
X11
X12
X13
X14
0.605972 0.840201 0.661492 0.615611 0.700465 0.745545 0.491622 0.684608 0.854473 0.732970 0.833637 0.756469 0.734892 0.725910
X15
X16
X17
X18
X19
X20
X21
0.658699 0.660756 0.711545 0.859573 0.765183 0.555235 0.636344
Eigenvalues of the Reduced Correlation Matrix:
Total = 14.8312021 Average = 0.70624772
1
2
Eigenvalue 8.9455 2.1057
Difference 6.8398 0.8917
Proportion 0.6032 0.1420
Cumulative 0.6032 0.7451
Eigenvalue
Difference
Proportion
Cumulative
11
0.0956
0.0366
0.0064
1.0439
12
0.0590
0.0336
0.0040
1.0478
3
1.2140
0.0609
0.0819
0.8270
13
0.0254
0.0101
0.0017
1.0496
4
5
6
7
1.1531 0.5082 0.4323 0.3838
0.6449 0.0760 0.0485 0.1047
0.0777 0.0343 0.0291 0.0259
0.9047 0.9390 0.9681 0.9940
14
0.0153
0.0141
0.0010
1.0506
8
9
0.2791 0.2209
0.0582 0.0774
0.0188 0.0149
1.0128 1.0277
15
16
17
18
0.0012 -0.0432 -0.0785 -0.1288
0.0444 0.0354 0.0503 0.0044
0.0001 -0.0029 -0.0053 -0.0087
1.0507 1.0478 1.0425 1.0338
10
0.1435
0.0479
0.0097
1.0374
19
-0.1332
0.0472
-0.0090
1.0248
20
21
-0.1804 -0.1874
0.0070
-0.0122 -0.0126
1.0126
1.0000
0 factors will be retained by the NFACTOR criterion.
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Scree Plot for ILQ Factors
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Initial Factor Model
20:40 Thursday, October 15, 1998
기초구조 확인
X1
X2
X3
X4
X5
X6
X7
X8
X9
X10
X11
X12
X13
X14
X15
X16
X17
X18
X19
X20
X21
Initial Factor Method: Principal Factors
Factor Pattern
FACTOR1 FACTOR2 FACTOR3 FACTOR4
0.53072
0.11342
0.46589
0.09123
0.65277
0.29584
0.20687
-0.53693
0.58916
-0.01963
0.43974
-0.08143
0.63968
0.27571
0.22214
0.07253
0.68020
0.05997
-0.10465
0.34653
0.75487
-0.16927
-0.01554
0.08714
0.57287
0.12410
0.16888
0.27852
0.68680
-0.34379
0.03959
0.00831
0.71150
-0.50001
-0.23409
0.00169
0.60023
0.52931
-0.11401
0.27482
0.73582
-0.48831
-0.17121
-0.03645
0.77591
-0.27344
-0.10752
-0.02895
0.41595
0.55588
-0.45611
0.01026
0.64736
0.17617
0.07765
-0.43863
0.65806
0.10830
0.21068
0.33593
0.70861
0.14712
0.01687
0.17263
0.68802
0.07426
-0.29939
-0.18069
0.73476
-0.49377
-0.21157
-0.02674
0.52172
0.53914
-0.36908
-0.10333
0.63482
-0.07898
0.11919
0.17128
0.65067
0.00493
0.13384
-0.39119
Variance explained by each factor
FACTOR1 FACTOR2 FACTOR3 FACTOR4
8.945482 2.105701 1.213978 1.153085
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Rotation Factor Model
회전 4요인결정 확인
20:40 Thursday, October 15, 1998
X1
X2
X3
X4
X5
X6
X7
X8
X9
X10
X11
X12
X13
X14
X15
X16
X17
X18
X19
X20
X21
Rotation Method: Varimax
Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3 FACTOR4
0.09602
0.63150
-0.03338
0.33283
0.13742
0.22884
0.26919
0.83726
0.23332
0.52008
-0.09260
0.46261
0.13931
0.57732
0.27182
0.33647
0.42894
0.52509
0.36977
-0.02938
0.60193
0.41696
0.17280
0.20069
0.22035
0.59636
0.19205
0.09269
0.65902
0.32759
-0.00773
0.22322
0.87824
0.14802
0.07538 0.11029
0.05858
0.53696
0.65595 0.08332
0.86345
0.17753
0.04895 0.17624
0.71890
0.28667
0.16518 0.25087
0.04259
0.09550
0.81737 0.10555
0.26191
0.18320
0.27685
0.68537
0.27084
0.69627
0.18774 0.09284
0.34391
0.52826
0.34994 0.18457
0.49099
0.11806
0.48259 0.33654
0.88073
0.15847
0.07175 0.15232
0.09043
0.13352
0.78168
0.26968
0.41646
0.49597
0.10614 0.14861
0.36212
0.20693
0.12980
0.63525
Variance explained by each factor
FACTOR1 FACTOR2 FACTOR3 FACTOR4
4.759762 3.543629 2.604822 2.510033
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Final Factor Analysis Statistics for the Components
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Factor Loading of the Rotated Factor Matrix
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Means, Stand Deviation, Component-Total Score Correlations and
Coefficient Alphas for the Components
LEQ Component
M
SD
r
Cronbach’s Alpha
General Experience
4.26
0.95
0.76
0.92
Advance Experience
3.65
1.20
0.93
0.86
Internet Program Language
2.86
1.28
0.78
0.82
Software Application
3.42
1.12
0.83
0.74
ui.korea.ac.kr
Chapter
- 10 -
10-1. History
10-2. Preview
10-3. Objective
10-4. Definition
10-5. Basic Model
10-6. Factor Analysis Method
10-7. Factor Analysis Process
10-8. Considerations
10-9. PCA
10-10. CFA
10-11. Example
Factor Analysis
10.11 EXAMPLE
 SAS OUTPUT- Results
LEQ
General
Experience
Advance
Experience
Internet Program
Language
Software
Application
ui.korea.ac.kr