Transcript DataStage_운영자_지침서.ppt

미래신용정보 DW 프로젝트
DataStage 운영자 지침서
Operator’s Guide
작성일 : 2003/05/14
미래신용정보DW프로젝트
3. DataStage 사용자 설명서
3.1 DataStage 환경 설정
dsenv : DataStage의 환경파일로써, DataStage가 실행될 때 필요한 환경변수를 정의한다.
1. DataStage의 home 디렉토리($dshome)에 dsenv 파일이 존재한다. vi로 수정할 수 있다.
$dshome은 install시 DataStage Server를 설치한 곳이다. 일반적으로 root directory(/)밑에
서 cd `cat .dshome`(숫자 1 왼쪽 옆에 있는 key)을 입력하면 된다.
DataStage 운영자 지침서.ppt
2
미래신용정보DW프로젝트
①
②
③
1. DataStage의 환경파일로써, DataStage가 실행될 때 필요한 환경변수를 정의한다.
① - 설치시 Default로 생성되는 내용이다. 수정할 필요는 없다.
② - Library Path와 Path를 정의하는 부분이다. DataStage의 Library와 OS의 Library를 같
이 정의한다. 설치시 Default로 생성되는 부분이다.
③ - DBMS의 환경을 Setting한다. DBMS user의 환경파일을 복사해서 사용한다.
2. 아래의 그림처럼 , 같은 user(ettuser)로 login 하더라도, unix로 직접 access하는 것과
DataStage를 통하여 access하는 것은 서로 다른 shell 환경이므로, dsenv를 수정하여 같은
환경으로 만들어 줘야 한다.
dsenv
DataStage
DataStage
DataStage
User Login
Shell
커맨드
Unix
Unix
Unix
User Login
Shell
커맨드
DataStage 운영자 지침서.ppt
3
미래신용정보DW프로젝트
3.2 사용자 권한 설정
Administrator에서 뭔가 작
업을 할려면 반드시 root 또
는 dsadm User로 들어가야
한다.
1. DataStage Administrator를 실행(반드시 root & dsadm user로 login할 것.)하면 General 탭
과 Projects 탭이 보여진다. 존재하는 Project가 보여지고, 왼쪽에 커맨드 버튼이 있다. 여
기서 원하는 Project를 선택한 후 ‘Properties’ 버튼을 클릭하고 Permissions 탭을 선택한
다. root user가 아니면, Properties에 가서 user의 권한을 setting할 수 없다.
* 다른 버튼에 대해서는 필히 교육받은 후 확인할 것.
Project를 없애므로 주의!
Project별로 각각 설정이 가
능하므로, 먼저 원하는
Project를 선택하자.
반드시 root & dsadm 유저만
이 할 수 있다. 이것은 ReBuild Indexing이라는
DataStage 내부 Architecture
와 관련 사항이므로 주의하자.
* DataStage가 Job과 JobID, JobName에 대한 연결고리를 가지게 되는데, 이것을 저장하는 곳을 VOC라고 일
컫게 된다. Re-Build Indexing은 이 VOC 파일이 잘못되어 JobID를 못찾게 되거나 하는 경우, 또는 RT_LOG,
RT_CONFIG등과 RT_BP가 Match 되지 않을 경우 이것을 수정하는 역할을 수행하는 것을 말한다. (필히
DataStage 기술지원팀과 상의하에 처리할 것)
DataStage 운영자 지침서.ppt
4
미래신용정보DW프로젝트
여기서 원하는 유저의
그룹을 선택한다.
유저 그룹에 줄 권한을
선택한다.
2. Permissons 탭을 클릭하면 user group이 보여지고, 아래쪽 콤보박스에는 User Role이 보여진
다.
3 . User role 은 DataStage Operator 와 DataStage Developer 두 개 가 있 다 . 이 중 DataStage
Developer 는 DataStage의 모 든 Component(Administrator, Designer, Director, Manager) 를
사용할 수 있고, DataStage Operator는 오직 Director만 사용할 수 있다. Operator가 다른
Component에 login할려고 하면 다음과 같은 오류 메시지가 발생한다. Job을 운영시 발생하는
문제에 대해서 Operator가 처리할 수 있는 권한이 거의 없으므로, Developer로 두는 것이 좋
다.
DataStage 운영자 지침서.ppt
5
미래신용정보DW프로젝트
3.3 Job 관련 운영
(1) Sceduling
Batch Job 또는 Job을 특별한 때에 자동으로 실행할 수 있게 스케쥴해두면, 매번 직접 실행하
는 수고를 덜 수 있다.
1. Director에서 Job 메뉴를 선택하면, 가운데 부분에서 Add To Schedule…/ Reschedule…/
Unschedule… 의 메뉴가 보인다. 여기서 ‘Add To Schedule…’를 제외한 다른 메뉴는 모두
이미 Scheduling되어 있는 Job(Batch Job)에 해당되는 메뉴이다.
- ‘Add To Schedule…’는 선택된 Job을 새로 Scheduling하는 것을 말한다.
- ‘Reschedule…’는 선택된 Scheduling되어 있는 Job의 Schedule을 수정하는 것을 말한다.
- ‘Unschedule…’는 선택된 Scheduling되어 있는 Job을 Schedule에서 제외하는 것을 말한다.
실제로 Schedule과 관련된 Tool Bar는 다음과 같다.
이 버튼을 누르면
이 버튼을 누르면
Reschedule 버튼. 반드시
Director가 Status
View 상태로 된다.
Director가 Log
View 상태로 된다.
Director가 Schedule View
상태일 때만 활성화된다.
이 버튼을 누르면
Add To Schedule 버튼. 이 버튼은
Director가 Schedule
View 상태로 된다.
Director가 Status View 상태라도
활성화 되어 있다.
DataStage 운영자 지침서.ppt
6
미래신용정보DW프로젝트
2. Add To Schedule…과 Reschedule…은 같은 화면상에서 작업을 한다. 먼저, Run Job 그룹박스
내부에서 Job을 실행할 주기 Today/ Tomorrow/ Every/ Next/ Daily 중에서 하나를 선택한다.
- ‘Today’는 Server의 일자로 오늘 현재를, ‘Tomorrow’는 다음 일자를 말한다.
- ‘Every’는 매번을 의미하는데, Day 그룹박스와 연관이 있다.
- ‘Next’는 다음번을 의미한다. 역시 Day 그룹박스와 연관이 있다.
- ‘Daily’는 매일 작업을 의미한다. Day 그룹박스에서 자동으로 모든 요일이 체크된다.
- 여기서 ‘Daily’와 ‘Every’를 제외한 나머지는 모두 1회성 스케쥴 옵션이다.
3. Unschedule…을 선택하면 확인 메시지가 나타나고 확인을 하면 스케쥴된 Job을 제외하게 된
다. 반드시 Director가 Schedule View 상태에서 실행가능하다.
4. Schedule은 하나의 Job에 대해 중복적으로 Add할 수 있으므로, 같은 Job을 다른 시간대에 매
일 실행하는 것이 가능하다.
주기나 일자에 대한 선
택외에 어느 시간에 실
행할 것인지에 대해 선
택한다.
‘Every’나 ‘Next’를
이들 주기중 하
선택하면 요일과 일자중
에서 선택할 수 있다.
나를 선택한다.
Director가 Status View 상태와 Schedule View 상
태, Log View 상태일 때 나오는 항목들이 다르다.
Schedule View일 때, Job Name과 주기, 시간과
Parameter에 대한 값이 보여진다.
Unschedule…을 실행했
을 때 나오는 확인 메시
지.
DataStage 운영자 지침서.ppt
7
미래신용정보DW프로젝트
(2) Run Job
Batch Job 또는 Job을 실행하게 한다.
1. Director에서 Job 메뉴를 선택하면, Run Now…/Stop의 메뉴가 보인다.
- ‘Run Now…’는 선택된 Job을 실행하는 것을 말한다.
- ‘Stop’은 현재 Running중인 Job을 강제적으로 멈추게하는 것을 말한다.
- 둘다 Director가 Status View 이거나 Log View 상태여야 한다.
실제로 Run Job과 관련된 Tool Bar는 다음과 같다.
이 버튼을 누르면
Abort가 난 Job을
Job을 Run 할 수 있
다.
Reset 한다.
Running 중인 Job을 선택하면,
활성화되고, 이 버튼을 누르
면 Job을 중단시킨다.
DataStage 운영자 지침서.ppt
8
미래신용정보DW프로젝트
Parameter 입력부분. Job에서
Default로 준 값이 보여진다.
데이터의 건수 Limit
Job을 Run 시킨다.
Job의 Warning Limit
Validate에 대해선
DataStage 교육 교
재를 참고.
2. Job을 Run하게 되면 Batch Job 생성에서 처럼 위와 같은 창이 열려서, Job Running의 Limits
을 선택하게 된다. 또한, Parameter가 있다면 Parameter를 입력받게 된다.
3. Run Job한 것을 Stop하게 되면 다음과 같은 메시지를 출력한다. DataStage는 Running 중인
Job을 종료시킬 때, 강제적인 Kill이 아니라, 현재 메모리상에 존재하는 Process의 Stop을
Server에 요청하게 된다. 즉, Stop 버튼을 누른다고 모두다 즉각적인 효력을 발휘하는 것은
아니고 일부 Job은 시간이 걸릴 수도 있다.
Director가 Status View 상태일 때, Job Name과
상태, 시작 시간과 일자, 그리고 이미 종료된 Job
에 대해서 마지막으로 실행한 시간과 일자가 보여
진다.
이 버튼을 누르면
Running 중인 Job을
Stop할 수 있다.
Stop을 실행했을 때 나
오는 확인 메시지.
DataStage 운영자 지침서.ppt
9
미래신용정보DW프로젝트
(3) Monitoring
Job의 현재 상황을 세부적으로 알 수 있다.
1. Job이 실행중이거나, 실행되었거나, 혹은 실행하기 전이라도 Tools의 New Monitor를 통하여
현재 상황을 볼 수 있다. 만일 Job이 실행중이라면 아래의 모니터링 화면상에서 Num rows나
Rows/sec, Elapsed time이 변하는 것을 볼 수 있고, Job이 실행되기 전이라면 모두 0으로 나
올 것이다. 실행이 끝난 Job은 마지막 상태를 보여준다.
Stage Name, Stage의 상태,
‘Num rows’는 현재 처리하고 있는
Stage에 연결된 Link Name,
Link의 Type을 보여준다.
데이터 건수를
‘Started at’는 시작 시간을
Link Type중
‘<<Pri’는 Primary Input을
‘Elapsed time’은 경과 시간을
‘Rows/sec’는 초당 처리건수를
‘<Ref’는 Reference(Lookup)을
‘>Out’은 Output을 나타낸다.
나타낸다.
‘Interval’은 모니터링
을 하는 시간 간격을
나타낸다. 이것을 수정
하고 나서 ‘Save
setting’에 체크가 되
어 있으면 자동으로 변
경한 값이 저장된다.
DataStage 운영자 지침서.ppt
10
미래신용정보DW프로젝트
(4) Reset Job
현상태의 Job을 Run이 가능한 상태로 만들어 준다.
상태가 ‘Has been reset’으로
되고 Run Now… 버튼이 활성
화 되었다.
DataStage 운영자 지침서.ppt
11
미래신용정보DW프로젝트
(5) Delete Job
지금 선택한 Job이 어떤 이유로 인하여 지워야 할 필요가 있다. 이때 만들어진 Job을 지워야
할 것이다.
미리 Job 또는 Batch Job을
선택하고 이 메뉴를 선택하면
확인하는 Dialog Box가 나타
난다.
또한, Manager에서도 Job이
나 Batch Job을 삭제할 수
있다. 원하는 Job을 선택하
고 마우스 오른쪽 버튼을 눌
러 Pop-Up 메뉴에서 선택하
거나, Job 선택후 Delete 키
를 누르면 된다.
DataStage 운영자 지침서.ppt
12
미래신용정보DW프로젝트
3.4 Log 관리
(1) View Log
실행한 Job의 수행 단계별 기록인 Log를 볼 수 있다.
이 버튼을 눌러 Log를
확인한다. Batch Job에
서는 Job 자체의 Log는
보이지 않는다.
Warning과 Fatal이 없다면
정상적인 작업이다.
1. 실행이 끝난 Job에 대하여 Log를 확인할 수 있다. Log View 버튼을 누르기 전에 먼저 Job을
선택해야 한다.
2. Batch Job에서는 Job 자체의 Log가 남지 않고, 전체적인 상황이 Log로 남으므로,
먼저 Log
를 확인하고 이상이 발생한 Job의 경우, Status View로 가서 그 Job을 선택하고 다시 Log
View 버튼을 눌러 Log를 확인한다.
DataStage 운영자 지침서.ppt
13
미래신용정보DW프로젝트
한 Log를 더블클릭하면 상세한
내용의 창이 뜬다.
3. 이상이 발생한 경우에는 상황에 따라 처리한다. Warning이라도 Validate시 발생했다면 정상
일 수 있다. 반면 Fatal일 경우에는 Log를 잘 파악해서 판단해야 한다.
DataStage 운영자 지침서.ppt
14
미래신용정보DW프로젝트
(2) Clear Log
Log가 너무 많아지면, Job의 수행에도 영향을 미칠 수 있다. 많은 Log는 사용자가 Job의 Log
를 확인하는데 시간을 지체하게 만들 수 있으며, Project의 Disk Space도 많이 차지한다.
1. Director에서 Job 메뉴에 보면 Clear Log…메뉴가 있다. Director에서는 Clear Log에 대한
작업을 하나의 Job에 대해서만 가능하다. 따라서, 먼저 Job을 선택하고, Clear Log…메뉴를
클릭하면 어떤 작업을 할 것인지 물어온다.
Job의 이름이 명시되어
있음을 유의하라.
‘Immediate purge’는 즉각적인 Log 지우기
이다. 이것을 선택하면, Immediate 그룹박
스의 내용중 하나를 선택하게 된다.
‘Clear all entries’는 이 Job의 모든 Log를 지운다. 단 하나의
Log(즉, 모든 Log를 지웠다는 Log)만 남게 된다.
‘Up to last run’은 마지막 실행되었던 Log이전의 모든 Log를 지
운다.
‘Before date’는 입력된 일자 이전의 모든 Log를 지운다.
DataStage 운영자 지침서.ppt
15
미래신용정보DW프로젝트
‘Auto-purge’는 자동으로 Log를 지워준다. 이때, Auto-purge 그
룹박스에서 선택한 옵션이 영향을 미친다. Auto-purge한 내용은
Server에 셋팅되어 있지만, 이 라디오버튼을 누르기 전에는 그
내용을 확신할 수 없다. 결국, 최초로 보여지는 Auto-purge 그룹
박스의 내용은 자신의 클라이언트에서 마지막으로 봤을 때의 모
습이다.
‘Enabled for this job’는 이 Job에 대해 Auto-purge를 하겠다는
옵션이다.
‘Up to previous (job run)’은 선택한 숫자보다 전의 실행되었던
모든 Log를 지운다.
‘Older than (days)’는 입력된 일자 이전의 모든 Log를 지운다.
2. Auto-purge는 이후로 생성되는 Job의 Log에 대해 영향을 미친다. 만일 다른 클라이언트에서
그 옵션을 바꿀 수 있다면, 그 내용을 확인하는 기회를 자주 가지는 것이 좋을 것이다.
Auto-purge했을 때의 결과가 아래에 있다.
Auto-purge는 Control이라는 Job
수행 단계가 지나야 실행된다.
Auto-purge했다
는 Log가 남았다.
DataStage 운영자 지침서.ppt
16
미래신용정보DW프로젝트
3.5 필터링 View
Director의 View 메뉴에는 Filter Entries…라는 서브메뉴가 있다. 이를 잘 활용하면, 많은
Job이나 Log에서 원하는 부분을 쉽게 선택해 볼 수 있다.
1. Filter Entries…는 Director가 Status(Status와 Schedule은 같은 내용을 보여준다.) View
상태인지, Log View 상태인지에 따라 선택하는 내용이 틀리다.
여기는 Job의 상태
로 조건을 준다.
‘Include’는 포함할 내용, ‘Exclude’
는 배제할 내용을 말한다.
Jobs matching에 입력할 때는 ‘*’
를 쓰도록 권한다. ‘*604*’라면 604
가 중간에 끼는 Job명은 모두
Include/Exclude 되게 된다. 두개 이
상의 조건은 지원하지 않는다.
DataStage 운영자 지침서.ppt
17
Released에 대해서는
DataStage 교육 교재
참고
미래신용정보DW프로젝트
2. Log에서의 Filter Entries…는 다음 그림과 같다.
‘From’은 Log를 볼 첫
시점이고, ‘Through’
는 끝 시점이다.
Log의 Type별로 체크해서
Warning만 본다든지 하는
일이 가능하다.
Log를 볼 때의 개수 제한이다.
Last 100 이 디폴트 값이다.
위에서 보이는 Limit의 옵션이 디폴트 값으로 되
어 있고, Log가 그 수를 초과했을 때, Log View
상태로 가게 되면 나오는 메시지이다.
DataStage 운영자 지침서.ppt
18
미래신용정보DW프로젝트
3.6 작업 백업
(1) Export
DataStage에서는 실제로 Backup을 받을만한 것은 Job 뿐이다. Data는 Backup을 받을 필요가
없고, Hash는 새로 생성하면 된다. Log를 Backup 받을 수도 있을 것이다.
1. Manager 에 서 Export > DataStage Components… 메 뉴 를 선 택 하 면 된 다 . 선 택 된 항 목 이
Selection으로 Export 창이 뜰것이다. 이것은 Default값으로, 아무것도 선택하지 않을 순 없
다.
한 Export File에 여러 개의 항목을 넣고 싶
다면, 기존에 존재하는 파일에 덧붙여쓰기
(여기를 체크)를 권한다.
원하는 Job을 선택할 수 있
다. 한 항목에 대해 복수선
택은 불가능하므로, 한번에
하나의 Job만 선택가능하다.
Job 뿐만 아니라, 다른 MetaData도
Export할 수 있다. Category 별로
가능하다. Category가 없다면, 각
항목별로 가능하다.
DataStage 운영자 지침서.ppt
19
미래신용정보DW프로젝트
여길 클릭하여 Backup
File을 둘 위치를 선
택하자. Backup File
은 Client에 저장되므
로 잊어버리지 않도록
주의!
Project 전체에 대해 Backup을
받는다면, 여길 클릭.
Options 탭에서는 Category별로 할 것인지, 항목별로 할 것인
지 선택할 수 있다. 또, DataStage가 Default로 만들어주는
몇가지 기본적인 Read-Only MetaData를 Export할 수 있게 선
택가능하다. Default 값으로 두는 것이 유리하다.
DataStage 운영자 지침서.ppt
20
미래신용정보DW프로젝트
(2) Import
DataStage에서 Backup받아 뒀던 내용을 다시 서버로 불러오는 작업이다.
1. Manager에서 Import > DataStage Components…메뉴를 선택하면 된다. 다은과 같이 Import에
관련된 창이 뜬다.
여길 눌러서 Import할 파일에 대해서 Browse
해서 찾아보거나 위치와 파일을 직접 입력할
수 있다.
Import all 은 그 Export했
이 옵션은 이미 존재하는 메타데이
던 파일의 모든 내용을 가
져오는 것이다.
터가 있을 때, overwrite 할 것인
가 하는 질문을 던지는 것을 체크
Import selected는 Export
했던 파일에서 필요한 것만
할 수 있다.
Default값은 그러한 질문없이 모두
선택적으로 가져올 수 있다.
overwrite하게 되어 있다.
DataStage 운영자 지침서.ppt
21
미래신용정보DW프로젝트
3.7 문제 해결
(1) Job Un-Lock
운영중 Job이 Lock 걸릴 경우가 있다. 다른 어떤 클라이언트에서 사용하지도 않는데, 누군가
작동중이라고 나오는 경우, Lock이 걸렸다고 보고, 그것을 풀어줘야 한다.
1. DataStage는 Job을 실행하거나 누군가 Open했을 때, 누가 그 Job을 Monitoring하고 있을 때,
그 Job에 대하여 Lock을 건다.
2. Lock을 풀어야 한다고 생각해 볼 필요가 있을 때는 다음과 같다.
① - Designer에서 어떤 Job을 Open하는 데, 실제로 그 Job이 Running중이거나, 다른 누군가
사용하지 않는데 ‘누군가 사용중이다’라는 메시지가 나올 경우. Client로 접속했다가,
Client가 비정상 종료(Windows Error)되었을 때도 발생할 수 있다.
② - Job이 아래 3번의 방법으로 확인했을 때, 실행중이지 않는데도 Director에서 그 Job이
Running 중인 것으로 나오는 경우. 누군가에 의해 비정상적으로 Job이 종료되었을 때 발생할
수 있다.
3. Server 에 서 ‘ ps –ef | grep uv’ 를 실 행 하 여 , DataStage 작 업 이 있 는 지 확 인 한 다 .
‘unirpcd’, ‘uvdlockd –config’, ‘uv’ 이 세가지는 DataStage 구동의 필수 데몬들이다. 이
들외에 다른 항목이 나온다면(물론, grep uv는 제외하고), 실제로 누군가 실행하는 작업이
있다는 것이다. 아무것도 없고, 여전히 Lock이 걸렸다면, ‘ps –ef | grep phan’으로 확인해
본다. 만일 ‘grep phan’ 했을 경우 항목이 나온다면(grep phan 제외), 실제로 After-Job
Subroutine 같은 것을 실행하고 있을 경우처럼, DataStage가 메모리상에서 무언가 작업을 하
고 있을 경우이다.
세개의 Daemon외에 다른 것
이 있다면 DataStage가 작
업중이라는 뜻이다.
현재 Running중인 Job을 알
수 있다.
4. DataStage가 무슨 작업을 한다 하더라도, 그 Job을 멈출 필요가 있을 때가 있다. 이럴 때는
Director에서 먼저 Job을 Stop 시키자. 만일 그렇게 했는데도 안된다면, Job의 PID를 가지고
Kill 하는 수 밖에 없다. ‘ps –ef | grep uv’를 통해 Job을 확인하고 , ‘kill –9 JobPID’로
Job을 중단하자. 이렇게 강제로 중단시킨 경우, 십중팔구는 Job의 Status가 변경되지 않고
남아있을 가능성이 있다. 이때는 Director의 Job > Clear Status File로 해결할 수 있다.
DataStage 운영자 지침서.ppt
22
미래신용정보DW프로젝트
5. 하지만, 그렇게 강제로 종료시킨 경우가 아닌데도 Job의 Status가 이상하고, 여전히 Job이
Lock이 걸려있다면, 다음과 같은 방법을 쓰자. Director의 Job > Cleanup Resources 를 선택
하여 Job이 Lock 걸려있음을 확인하고, 그 Job을 ‘Release’시킨다.
Cleanup
Resources나
Clear Status
File이 Director
에서 가능하게 할
려면,
Administrator의
여기가 체크되어
있어야 한다.
이것은 많은 시
간을 필요로 할
때도 있다.
우선 원하는 항목을
우리가 원하는
선택하고 이 Release
All 버튼을 클릭.
것은 바로 이
PID이다.
DataStage 운영자 지침서.ppt
23
미래신용정보DW프로젝트
6. 또는 Server 상에서, 다음처럼 실행하자.
. ./dsenv는 DataStage User가 아
닌 경우, DataStage의 UV Shell을
이용할 수 있게 해준다.
여기서는 Esc키로 빠져나온다.
Default로 UV Shell은 대문자로 나온다. UV Shell은
SQL*Plus와 같다고 생각하면 된다. 먼저 해당되는
Project에 login하고 운영자 TOOL을 기동한다.
5번이 Lock 걸린
Job을 Un-Lock할 수
있는 메뉴를 제공한
다.
DataStage 운영자 지침서.ppt
24
미래신용정보DW프로젝트
4번을 입력하면 현재
Lock이 걸린 Job들이 보
인다. 여기서 Job의 PID
를 기억하도록 하자.
7번을 입력하면 Job의 PID를
물어온다. 기억했던 PID를
입력하고 Enter 키를 입력하
면 된다.
DataStage 운영자 지침서.ppt
25
미래신용정보DW프로젝트
Job의 Lock을 풀고 UV Shell에서 빠
져 나갈 때는 번호를 묻는 Prompt상
에서는 Enter만 입력하면 된다. 그
리고 ‘>’ 이 Prompt가 나올 때,
‘Q’를 입력하면 된다.
DataStage 운영자 지침서.ppt
26