DataStage 관련 및 종종 쓰게 되는 linux 명령어들을 필요시 참고 하고자 기록 합니다.
계속 추가할 예정입니다.
DataStage 관련
현재 수행중인 JOB, Sequence 확인
$ watch -n 1 -d "ps -ef | grep 'phantom DSD.RUN ' | grep -v grep"
불필요 세션 정리
1. 세션 확인
DSEngine 폴더에서
$ . ./dsenv
$ bin/uv -info
==> phantom ~ : 현재 실행중인 job
앞에 dsapi_slave 가 붙은 것 : Designer 통해 접속중인 클라이언트
2. 세션 정리
불필요 세션들의 정리를 위해 (ex. 오늘날짜 아닌) 위 1번 항목의 리스트를 확인 해둔다. (pid 입력을 위해)
DSEngine 에서
$bin/uvsh
>LOGTO 프로젝트명
>DS.TOOLS
(Datastage tools menu 가 출력되며, CLI 방식으로 진행)
4, 9 입력
정리 다되면 상위메뉴로. (메뉴번호 입력없이 엔터)
나가기: Q
bin/uv -info 입력하여 세션 정리 되었는지 확인
콘솔에 에러로 표시된 job에 대한 로그파일 경로
ds설치경로/Server/DSODB/logs/JobRuntime.err
$ ls
디렉터에서 Unschedule 하면 크론탭에서도 삭제된다.
크론탭에서 스케쥴 삭제하면 디렉터에서도 Unschedule됨
크론탭 백업 / 원복
crontab -l > 파일명
crontab < 파일명
크론탭삭제
crontab -r
크론탭 각 줄 주석 한번에 넣기
:%s/^/#
vi 편집기 블럭지정
v (visual mode)
스크립트 수행 로그를 콘솔 및 파일 둘 다 출력 (stddout, stderr)
$ ./실행파일명 2>&1 | tee -a 대상파일명
'학습장 > Data Engineering' 카테고리의 다른 글
sqoop upsert시 Mixed update/insert is not supported against the target database yet (0) | 2021.04.02 |
---|---|
sqoop export 시 org.apache.parquet.io.ParquetDecodingException (0) | 2021.04.02 |
sqoop export (0) | 2021.03.12 |
pyspark groupBy 샘플코드 (0) | 2021.03.01 |
Sqoop ETL (0) | 2021.02.21 |
댓글