대용량 CSV 분할1 CSV 파일 분할하기 컬럼 갯수에 따라 다르겠지만 백만건 이상인 경우 CSV 파일이 완전히 열리지 않아 분할이 필요한 경우 참고 1. split 명령어 활용 bash shell에 내장되어 있는 split 명령어 이용 (Mac의 경우 기본터미널에서 사용가능) Window 인 경우 cygwin 설치하면 split 명령어 사용 가능 사용방법 split -l 라인수 대상파일 분할된파일명(prefix) $ split -l 1000000 result.csv result_split_ $ ls result_split* result_split_aaresult_split_ab 100만 라인 단위로 나누어져 xxxx_aa, xxxx_ab, xxxx_ac, ... 와 같이 생성된다. 2. 인코딩 변환 한글 깨질 경우 (split 명령어를 이용해 .. 2021. 2. 18. 이전 1 다음 728x90