학습장/ETC7 python 외부 스크립트 import 별도 작성하여 모듈로 사용하고자 하는 python 스크립트를 path 신경쓰지 않고 import 시키기 위한 간단한 방법 리눅스 기준 아래 경로에 .py를 위치 시킨다. (기존 패키지가 위치하는 경로) 사용자홈디렉토리/.local/lib/python3.X/site-packages pip (--user 옵션) 으로 외부 패키지 설치한 경우에도 위 경로에 설치 됨. python은 import시 내부적으로 3군데에서 해당 모듈이 존재하는지 찾는다. - 내장모듈 - sys.modules - sys.path PYTHON_PATH 에 추가해준 경로가 sys.path 에도 추가됨 ex) sys.path 확인 >>> import sys >>> sys.path ['', '/home/testuser/.local/lib/p.. 2021. 4. 12. Bash shell date 반복문 Bash shell date 활용한 반복문 샘플입니다. ex. 시작월(YYYYMM) ~ 종료월(YYYYMM) 입력하여 월별 반복수행 #!/bin/bash if [ $# -ne 2 ]; then echo "usage: $0 startYM endYM" exit 1 fi startYm=`date -d $1"01" +'%Y-%m-%d'` endYm=`date -d $2"01 + 1 month" +'%Y-%m-%d'` while [ "$startYm" != "$endYm" ]; do echo `date -d "$startYm" +"%Y"` `date -d "$startYm" +"%m"` ":" $startYm "~" `date -d "$startYm + 1 month" +"%Y-%m-%d"` # ... start.. 2021. 4. 5. CSV 파일 분할하기 컬럼 갯수에 따라 다르겠지만 백만건 이상인 경우 CSV 파일이 완전히 열리지 않아 분할이 필요한 경우 참고 1. split 명령어 활용 bash shell에 내장되어 있는 split 명령어 이용 (Mac의 경우 기본터미널에서 사용가능) Window 인 경우 cygwin 설치하면 split 명령어 사용 가능 사용방법 split -l 라인수 대상파일 분할된파일명(prefix) $ split -l 1000000 result.csv result_split_ $ ls result_split* result_split_aaresult_split_ab 100만 라인 단위로 나누어져 xxxx_aa, xxxx_ab, xxxx_ac, ... 와 같이 생성된다. 2. 인코딩 변환 한글 깨질 경우 (split 명령어를 이용해 .. 2021. 2. 18. 이전 1 2 다음 728x90