CSV 파일 분할하기

컬럼 갯수에 따라 다르겠지만 백만건 이상인 경우 CSV 파일이 완전히 열리지 않아 

분할이 필요한 경우 참고

 

1. split 명령어 활용

• bash shell에 내장되어 있는 split 명령어 이용 (Mac의 경우 기본터미널에서 사용가능)
• Window 인 경우 cygwin 설치하면 split 명령어 사용 가능

사용방법

split -l 라인수 대상파일 분할된파일명(prefix)

$ split -l 1000000 result.csv result_split_
$ ls result_split*
result_split_aa		result_split_ab

100만 라인 단위로 나누어져 xxxx_aa, xxxx_ab, xxxx_ac, ... 와 같이 생성된다.

 

 

2. 인코딩 변환

한글 깨질 경우

(split 명령어를 이용해 분할된 첫번째파일 (xxxx_aa) 제외한 그 이후 파일들은 한글이 깨짐)

$ iconv -c -f utf-8 -t euc-kr 기존파일명 > 신규파일명