본문 바로가기

DataStage3

DataStage 쿼리 결과값을 파라미터로 활용 DataStage에서 필요시 쿼리 결과값을 job 파라미터로 활용이 가능하다. 파라미터셋을 별도로 추가(변수명, 파일명 지정) 하고, 쿼리 결과를 파일에 기록하면 (파라미터셋에서 지정한 파일명으로) 사용하고자 하는 Job에서 파라미터로 활용하는 방식. ex) 타겟테이블의 특정 컬럼의 max값 기준으로 ETL 하고자 할 때 1. 파라미터셋 생성 Parameters 탭에서 name 지정 (여기서 지정한 Parameter name을 파라미터로 사용하기 위해 수행할 쿼리 결과값에 concat 시켜야함.) Values 탭에서 파일명 지정 (지정한 경로에 써질 파일명) 위 처럼 추가하면, DS서버에서 ParameterSets/ParameterSet명(위 예에서 test_param) 폴더 아래에 Value File .. 2021. 4. 20.
까먹었을때 참고할 linux 명령어 정리 DataStage 관련 및 종종 쓰게 되는 linux 명령어들을 필요시 참고 하고자 기록 합니다. 계속 추가할 예정입니다. DataStage 관련 현재 수행중인 JOB, Sequence 확인 $ watch -n 1 -d "ps -ef | grep 'phantom DSD.RUN ' | grep -v grep" 불필요 세션 정리 1. 세션 확인 DSEngine 폴더에서 $ . ./dsenv $ bin/uv -info ==> phantom ~ : 현재 실행중인 job 앞에 dsapi_slave 가 붙은 것 : Designer 통해 접속중인 클라이언트 2. 세션 정리 불필요 세션들의 정리를 위해 (ex. 오늘날짜 아닌) 위 1번 항목의 리스트를 확인 해둔다. (pid 입력을 위해) DSEngine 에서 $bin.. 2021. 3. 13.
DataStage Job Xml export DataStage 클라이언트 툴 설치시 포함된 프로그램들을 활용하면 몇몇 유용한 기능들을 활용할 수 있습니다. Job 정보 테이블에 저장하기 (Folder path, SQL문, Job 생성/최종수정일시 등 ) Job 별로 저장된 쿼리문 확인을 위해 일일이 job을 열어보지 않고 테이블에서 확인 할 수 있다면 영향도 파악 등에서 훨씬 수월할 거 같습니다. 이를 위한, 2가지 방법 1. Job Xml export 하여 쿼리문 테이블에 저장 dsexport, dsjob 등의 명령을 활용하기 위해, 클라이언트 툴 설치경로 아래에 \Clients\Classic 으로 이동 dsjob Job 및 Sequence Name 목록 출력 dsjob -domain domain명:port -user ID -password PW.. 2021. 1. 17.
728x90