Transcript 2. 적합성검증 프로세스

신한은행 적합성검증
시스템
구축 및 적용 사례
2009. 12. 17
1
목차
I.
시스템 구축 배경 및 효과
II. 신한은행 적합성검증 시스템 소개
III. 시스템 활용 현황
IV. 향후 과제
I. 시스템 구축 배경 및 효과
1. 내부등급 승인 후 사후관리 현황
2. 적합성 검증 프로세스
3. 시스템 구축 배경 및 효과
3
2. 정기 적합성검증 개요
1. 내부등급법
승인 후 사후관리 현황
2.1 검증목적

최근
신한은행은 2008년 상반기에 바젤Ⅱ 기본내부등급법 승인 받음
승인 이후 신용평가시스템 성능의 지속적인 유지 및 개선을 위하여 주기적으로 적합
성 검증 및 모니터링을 실시하고 있음
적합성검증 대상 모형
 내부등급법 승인모형 : 기업4개, 소매
내부등급법 승인 모형
정기검증 주기
모니터링 주기
년1회 이상
분기1회 이상
대기업
기업
SME외감
SME비외감
기업SOHO
주거용부동산
소매
기타소매
 미승인 모형인 기업 21개(특수금융모형등), 소매SOHO, LGD/CCF 산출시스템
에 대한 적합성 검증도 주기적으로 실시함
4
2. 정기 적합성검증 개요
2. 적합성검증
프로세스
2.1 검증목적

최근
신한은행 신용평가모형 적합성검증 절차
0.5 개월
계획수립
1개월
2~3개월
검증대상
목록작성
필요데이터
정의
데이터추출
분석결과
평가
양적,질적
분석
검증보고서
작성
양적검증 분석항목
 변별력, 안정성, 계량화 세가지 영역에 대하여 기업모형의 경우 292개, 소매모
형의 경우 74개 세부항목에 대하여 산출하여 양적검증을 실시하고 있음
기업
소매
중분류항목
세부항목
중분류항목
세부항목
변별력
11
68
5
35
안정성
8
56
5
15
계량화
9
168
4
24
28
292
14
74
합계
5
2. 정기 적합성검증 개요
2. 적합성검증
프로세스 (계속)
2.1 검증목적

최근
양적검증 분석항목 예시 - 기업모형
양적검증 범위
분석항목 (중분류)
등급차별화
모형별 14등급 AR(1년~3년)
AR, AUROC
모형별 22등급 AR(1년~3년)
K-S통계량
업종별 AR
CAP Curve
모형별 Hit Ratio
모형별 하위모형 Score AR
변별력
하위모형 및 변수 변별력
변별력의 안정성
모형별 비재무변수의 IV, DFL
CAP Curve
모형별 등급별 분포 집중도
정상/부도차주의 재무비율별 기술통계량
재무변수의 Bucket별 부도율
모형별 투기등급 전이표
모형별 자기등급 유지율 및 등급전이 범위
모형별 Mobility Index
안정성
등급분포 변화
등급조정율
상관관계 분석
AR, AUROC
K-S통계량
모형별 등급 전이표(1년~3년)
전이행렬
Hit Ratio
모형별 재무변수 AR
대표자 변수의 IV, DFL
익스포져 집중도
통계지표
모형별 PSI
등급조정 사유별 차주수 및 구성비
3등급이상 상하향 Override 사유 분석(22등급체계)
재무변수간 상관관계
6
IV, DFL
HHI
기술통계량 추이
부도율 추이
전이행렬
MI
자기등급유지율
PSI
2. 정기 적합성검증 개요
3. 시스템
구축 배경 및 효과
2.1 검증목적

최근
내부등급법 승인 이전 시점부터 약 3년간 적합성 검증을 실시하였고, 현재는 검증
업무의 체계화 및 양적 검증항목에 대한 정형화도 상당부분 이뤄짐
수작업으로 진행하던 적합성 검증업무의 효율성과 신속성을 높일 필요성이 제기됨
 전체 적합성 검증 프로세스 중 계량적 검증지표 산출 작업에 인력 및 시간이 집
중됨
 분석결과에 대한 해석과 개선 방안 도출에 집중하지 못함
 양적검증 지표 작성 부서 또는 담당자에 따라 분석 결과에 차이가 발생
 보고서를 통한 정보 공유에 한계가 있음
검증시점
검증인력
계획수립
양적분석
보고서작성
2007년
8명
1개월
3개월
1개월
보고서
700 page
Appendix 1500 page
2008년
3명
0.5개월
2개월
1개월
보고서
400 page
Appendix 700 page
7
보고서
2. 정기 적합성검증 개요
3. 시스템
구축 배경 및 효과(계속)
2.1 검증목적

최근
적합성 검증시스템 구축 효과
 기존 계량적 검증지표 산출에 집중되었던 인력 및 시간을 최소화 할 수 있음
 분석결과의 해석 및 모형 개선 방안 도출 등 종합적 분석 기능을 강화하게 됨
 산출과정의 자동화를 통하여 개발부서와 검증부서의 측정 결과값의 일관성이
확보됨
 Web 화면을 통한 결과 조회로 검증 결과에 대한 접근성이 개선됨
시스템 구축이전
시스템 구축후
수작업
자동산출
2~3 개월
자동산출
3명
1명(IT인력)
산출횟수
년1회 / 분기1회
매월
결과 조회
보고서
Web/ 보고서
유연한 대처
시스템 수정이 어려움
데이터 수집
검증지표산출
인력
모형수정 대응
8
Ⅱ. 신한은행 적합성검증 시스템 소개
1. 시스템 구축 개요
2. 시스템 구축 범위
3. 시스템 구조도
4. 시스템 구축 결과
5. 시스템 R&R
9
2. 정기 적합성검증 개요
1. 시스템
구축 개요
2.1 검증목적

최근
프로젝트명 : 신용평가시스템에 대한 모니터링 및 적합성검증 시스템 구축
구축 모듈 : 적합성검증 시스템,
모니터링 시스템
(기존 각 모형개발팀별 보유)
구축 기간 : 2008.6. ~ 2008.12. (총 7개월)
소요 인력 : 총 15명, 86 M/M
M1
M2
M3
M4
M5
M6
착수 보고
착수
완료 보고
모니터링 및 적합성 검증 시스템 구현
보고서 화면 설계
요구사항
정의
M7
데이터 마트 구현
데이터 마트 설계
10
이행/안정화
단위 및 통합
테스트
2. 정기 적합성검증 개요
2. 시스템
구축 범위
2.1 검증목적

최근
적합성검증 시스템은 장기적인 모형의 성능을 검증하기 위한 정보를 제공하고
모니터링 시스템은 월별/분기별/반기별 등 단기간의 신용평가모형 변화 정보를 제공함
금융감독원 승인지원시스템 전송 데이터의 추출도 시스템내에서 자동 산출됨
적합성검증 시스템
모니터링 시스템
 활용부서 : 모형검증팀
 활용부서 : 모형개발팀
 대상 모형
 대상 모형
 소매/비소매 내부등급 승인 신용평가모
형
 승인 이외 모형 추가 (특수금융모형등)
 Risk components (PD/LGD/CCF)
 항목
 소매/비소매 내부등급 승인 신용평가모
형
 승인 이외 모형 추가 (특수금융모형등)
 Risk components (PD/LGD/CCF)
 항목
– 적합성검증 주요 양적검증지표 산출
– 신용평가 운영 현황/변동상황 조회
– 1년/2년/3년 단위 검증 정보 제공을 기초
로함
– 월별/분기별/반기별 등 단기간의 변화 정
보 제공
관련 데이터의 정비 및 통합 관리 체계(데이터 마트)
구축
11
2. 정기 적합성검증 개요
3. 시스템
구조도
2.1 검증목적

최근
기초데이터 수집 > 적합성검증 데이터 마트 생성 > 통합단말내 항목별 산출 저장 > 업무별
결과값 조회
L E G A C Y
비신
소용
매평
가
신
소용
매평
가
금융감독원
Risk Data Mart
익스포져
정보
txt
부도이력
정보
FINES
적합성검증 Data Mart
WEB
적합성 검증
기초데이터
모니터링
기초데이터
모형팀/검증팀 업무담당자
통합 단말
FLEX
금감원 전송
데이터
WEB,QUERY
분석화면/
보고서
고급분석가
비정형쿼리
수행 및 고급분석
12
2. 정기 적합성검증 개요
4. 시스템
구축결과
2.1 검증목적

최근
전월말 기준의 양적검증 결과를 기업모형의 경우는 당월 10일, 소매모형은 당월 25일에 자
동산출
적합성검증 및 모니터링 업무에 해당하는 항목별로 산출된 값을 web 보고서를 통해 조회
13
2. 정기 적합성검증 개요
4. 시스템
구축결과(계속)
2.1 검증목적

최근
모니터링
비소매
모니터링
포트폴리오
소매
포트폴리오 현황
상품별 현황
승인 및 실행 추이
포트폴리오 추이
신용평가
부도현황
계좌 및 금액 추이
신용평가 현황
금리 및 마진율 추이
차주유형별 신용평가 현황
상각계좌 추이
신용평가 추이
만기별 현황
차주유형별 신용평가 추이
부도율 현황
등급조정 현황
연체율 현황
등급격차 현황
전이율 추이
Vintage 추이
부도율 현황
리스크 현황
차주유형별 부도율 현황
예상손실 추이
부도율 추이
PD 세그먼트별 구성비 추이
차주유형별 부도율 추이
PD 세그먼트별 부도율 추이
누적부도율 현황
PD 기간경과효과 추이
부도사유 분석
주거용부동산 분류유형별 추이
부도차주 조회
LGD
내부 데이터 분석
회수율 추이(전체)
회수율 추이(여신종류별)
누적회수율 추이
회수율 구간별 분포
경과차월별 회수 추이
간접비/직접비 추이
외부 데이터 분석
낙찰기간별 분포
경락률/회수율 분포
LTV 구간별 LGD
CCF
한도소진율
한도소진율
CCF 추이
CCF 구간별 분포
한도소진율 구간별 CCF
14
2. 정기 적합성검증 개요
4. 시스템
구축결과(계속)
2.1 검증목적

최근
적합성검증
적합성검증
비소매
Summary
Summary
변별력
등급변별력
소매
평가항목 특성분석
변별력
PD 계량화
변별력 그래프 (Sub화면)
Binomial test
변수 변별력
Traffic light test
GMP test
LGD
Hit Ratio
등급별 집중도
포트폴리오 현황
포트폴리오 현황
LGD 계량화
차주단위 비교
정상/부도 기술통계량
신용여신
등급별 기술통계량
담보여신(외부)
변수 구간별 부도율
담보여신(내부)
부도전 등급전이
안정성
실측/예측 부도율 비교
하위모형 변별력
DFL 그래프 (Sub화면)
변별력의 안정성
안정성
CCF
등급전이 현황
포트폴리오 현황
포트폴리오 현황
CCF 계량화
실측/예측 CCF 현황
실측/예측 CCF 추이
등급전이 추이
PSI
금감원 제출
재무변수간 상관성
등급의 계량화
Binomial test
시스템 관리
벤치마크
변별력
등급별 부도율
권한관리
월별 데이터 처리
항목검증
파라미터 관리
등급별 GB index
CAP/K-S
안정성
시스템 관리
B/S 대사
GMP test
벤치마크
전송 데이터 조회
주요 검증결과 조회
실측/예측 부도율 비교
Traffic light test
소매
금감원 제출
공통 코드 관리
조회구분 선정
등급분포 추이
시나리오 설정
전이행렬(AS)
배치 프로그램 관리
전이행렬(BS)
화면목록 관리
15
2. 정기 적합성검증 개요
5. 시스템
운영 R&R
2.1 검증목적

최근
모니터링 및 적합성검증 시스템은 모형검증팀/ 모형개발팀/ IT 정보개발부 세개 부서가 종
합적으로 운영 관리하고 있음
상시 모니터링
적합성 검증
금감원 데이터 전송
현황 정보 및 신용평가모형 성과
에 대한 상시 모니터링
신용평가모형 및 RC 에 대한 성
과검증
금감원 제출 보고서의 주기적 확
인및
제출 시기별 대상 보고서 제출
 모형개발팀
 모형검증팀
 모형개발팀 & 모형검증팀
시스템 관리 – 데이터 검증
모니터링 및 적합성 검증 시스템
시스템 운영
B/S 대사 결과 및 데이터 항목 검
증 결과, 월별 데이터 처리내역 등
데이터 검증 결과 확인 및 데이터
검증 기능 관리
공통코드, 화면목록, 배치프로그
램 목록, 권한관리 등 시스템 관리
기능 및 시스템 운영 전반
 모형검증팀 & IT 정보개발부
 IT 정보개발부
16
Ⅲ. 시스템 활용현황
1. 상시 모니터링 기능
2. 적합성 검증 및 모니터링 보고서 작성
3. 고급 분석 활용
17
2. 정기 적합성검증 개요
1. 상시모니터링
기능
2.1 검증목적

최근
적합성검증 및 모니터링 시스템 산출항목에 대하여 최근 데이터를 이용한 결과값 조회가
가능함
시점별 비교, 기간별 추이 등을 확인하여 단기간의 변동, 중장기간의 변화 정보를 종합적으
로 검토가능함
Web을 이용한 조회로 접근성이 보고서에 비하여 편리함
18
2. 정기 적합성검증 개요
2. 적합성검증
및 모니터링 보고서 작성
2.1 검증목적

최근
적합성 검증보고서 및 모니터링 보고서 작성시 시스템 산출값을 capture 하여 사용
보고서 작성을 위한 작업량이 줄고, 보고서 결과값에 대한 객관성이 확보됨
19
2. 정기 적합성검증 개요
3. 고급
분석 활용
2.1 검증목적

최근
각각의 양적검증항목 결과화면에 대한 SQL 예시를 제공함
SQL 예시를 활용하여 추가 상세 분석/ 기타 유사 분석을 위한 중간 데이터 확보가 가능함
기초 데이터 작업과정이 생략 가능하여 데이터 수집시 발생 가능한 오류를 방지할 수 있음
20
2. 정기 적합성검증 개요
Ⅳ.2.1향후
과제
검증목적

최근
1. 모니터링 기능 확장
모형에 사용되지 않은 후보 변수들에 대한 성능평가 및 모니터링 기능 확장
신규 모형 개발시 활용 가능한 정보 축적
2. 시뮬레이션 기능 추가
가상 변수조합을 통한 가상모형 시뮬레이션 기능을 추가하여 모형개발 보조
Tool로 이용
 현재 모형에 사용된 변수 가중치 및 등급 구간 변경등의 시뮬레이션 기
능
 기타 변수 조합을 이용한 가상 등급 생성 기능 추가하여 현재 모형 성능
과 비교
21