RDBMS-HDFS1 Sqoop ETL Sqoop (SQL to Hadoop) Sqoop은 RBMS HDFS 사이에 데이터 ETL을 위해 만들어진 프로젝트이며, 하둡의 YARN, MapReduce 위에서 동작하는 하둡 에코시스템의 툴 중의 하나입니다. CLI로 간단하게 DB와 HDFS사이에 ETL 실행 가능 --query 옵션을 사용하면 가져올 데이터에 select 쿼리 사용 가능 --num-mapper (또는 -m ) 옵션으로 병렬성 크기 지정가능 다양한 종류의 DB 지원 MySQL의 경우 기본적으로 지원하며, 그 외에 DB는 jdbc 드라이버를 /var/lib/sqoop 에 위치시켜야 함. 주요 명령어 sqoop eval 실제 적재 작업이 수행되지는 않고, --query 파라미터에 작성된 쿼리를 RDB에서 수행하여 결과값 출력 해당 RDB.. 2021. 2. 21. 이전 1 다음 728x90