ERROR s2v.S2V: ERROR: S2V.save(): did not pass the Vertica requirements pre-check.

spark 버전이 spark-vertica 커넥터가 지원하지 않는 경우 save시 에러

 

Vertica 8.1.x 

 

ASIS

scala 2.11.12
pyspark 2.4.0 

vertica-8.1.1_spark2.1_scala2.11.jar

 

TOBE
scala 2.12.10
pyspark 3.0.2

 

 

기존 커넥터 사용시 아래와 같은 에러 발생함

 

ERROR s2v.S2V: ERROR: S2V.save(): did not pass the Vertica requirements pre-check.  The following problems were encountered: java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

 

vertica-spark2.4-3.0_scala2.12.jar 사용시 정상 동작함

 

 

위 처럼 서로 다른 hadoop 환경과 vertica 연동 시 HadoopConfDir을 조정 가능, 버티카 노드에 연동하고자 하는 소스시스템의 hdfs-site.xml, core-site.xml 을 폴더로 구분지어 놓고, 아래와 같은 구문으로 설정

 

ALTER DATABASE mydb SET HadoopConfDir = '/etc/hadoop/conf_serv1';

(VERIFY_HADOOP_CONF_DIR() 구문에서 HadoopConfDir에 지정된 경로에 대해 validation 체크한다.)

 

https://www.vertica.com/docs/8.1.x/HTML/index.htm#Authoring/AdministratorsGuide/ConfiguringTheDB/HadoopParameters.htm

https://www.vertica.com/docs/8.1.x/HTML/index.htm#Authoring/AdministratorsGuide/ConfiguringTheDB/HadoopParameters.htm