본문 바로가기

전체 글535

sqoop upsert시 Mixed update/insert is not supported against the target database yet sqoop export 를 이용하여 타겟테이블에 통으로 적재하고자 하는데, 일반적인 ETL 툴 처럼 Truncate & Insert가 불가할 것으로 생각되었음. sqoop export에서 아래와 같은 파라미터를 추가하면 upsert 유사한 기능을 제공함. --update-key column_name \ --update-mode allowinsert --update-mode를 명시하지 않으면 (디폴트: updateonly) update-key 컬럼 기준 변경된 부분이 없으면, insert 되지 않고 종료됨. 그러나, 해당 기능은 일부 타겟 DB에 한정됨 ( 가능 : Oracle, Mysql, Postresql ) ex) 타겟DB - Vertica 경우 아래와 같은 에러 발생 Mixed update/inse.. 2021. 4. 2.
sqoop export 시 org.apache.parquet.io.ParquetDecodingException sqoop export 시 아래와 같은 에러 발생하는 경우. Error: org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file hdfs://xxx stdout에서는 위처럼 나오지 않고, yarn applicaiton 로그를 봐야 확인 됨. 소스파일은 parrquet 포맷. 소스파일의 일부 필드에 null 값이 있었음. (타겟테이블에서 해당 컬럼들은 timestamp, parquet에서는 unix timestamp 값으로 bigint) 아래 경우에는 정상수행 - pyspark으로 해당 필드 isNotNull() 으로 발라내서 별도 경로에 write한 후 해당 파일을 export 시에는 정상 수행 -.. 2021. 4. 2.
동탄 맛집 석기시대 내돈내산 안녕하세요. 오늘 포스팅 할 곳은 '석기시대'입니다. 동탄 센트럴파크 근처에 있고 개나리공원 사이에 있습니다. 👉석기시대 👉운영시간 11시30분~24시 연중무휴 👉메뉴 제주흑돼지 👉장점 직접 구워주심, 적당한가격, 푸짐한 양 추가로주는 순두부찌개 👍 외부모습 입니다. 폴딩도어로 이루어져있어서 딱 좋았어요 저희는 3인가족이라 반마리를 시켜서 먹었습니다. 동네 언니들이 맛있다고 이야기해주었어요~^_^ 시식 사진 갑니닷 처음에 이렇게 올려주시고 구워주십니다. 어느정도 익으면 파인애플과 베인컨을 함께 먹을수있게 주십니다.^_^ 먹고나면 본격적으로 고기챱챱♡ 요건 그냥 주는 순두부찌개인데 넘 맛났어요♡ 그리고 마지막으로 볶음밥까짓☺ 👉👉총평: 푸짐히 삼겹살먹고플때 또 갈 것 같아요. 다른가게와 차별화된 불판, 순.. 2021. 3. 31.
키친아트 라팔 폴딩포트 안녕하세요. 오늘 포스팅할 내용은 키친아트 라팔 폴딩포트 입니다. 캠핑을 할때면 커피를 먹을때도 그렇고 가볍게 끓일 물이 필요 할때마다 냄비를 꺼내어 끓였습니다. ㅜㅡㅜ 그러던중, 캠핑용품중에서 전기포트를 찾게 되었습니다. 👍일단 가장 마음에 드는점 : 부피간소화 접힘. 접혀요♡ 캠핑에서 가장중요한점은 부피를 최소화하며 간편한가 일텐데요. 캠핑에 맞추어 나와서 적합하게 만들어 진것 같습니다. 동영상과 같이 힘으로 조금 눌러주면 손쉽게 접힙니다. 옆에서 본 모습과 위에서 본 모습입니다. 보시는 것과 같이 손잡이도 접혀요~^_^ 👍그리고 마음에드는점. 햇반데우기 기능. 캠핑장에 가면 전자렌지가 없고 있어도 멀리 있어서 불편함이 있는데 안에 햇반이 들어가는 사이즈로 넣고 데워 먹기 좋은것 같아요. 👍제일 중요.. 2021. 3. 30.
메카니멀 터닝메카드 피닉스 미리내 에반 안녕하세요. 이번에 포스팅할 내용은 메카니멀 장난감입니다. 저희민트는 올해 6살이 되었고 또래 친구들이 하나둘씩 갖이게 되면서 민트에게도 구입해주게 되었습니다. 사실 처음 사기전에 너무..... 고민이 되었어요. 손바닥 만한게 작게는 13,000원 많게는 18,000원 이더라구요..ㅜㅜ 그래도 민트 친구들이 있으니 저두 구입해주었습니다. 열어보는 장난감 이외에 카드도 들어있어요. 카드를 자세히 보면 바코드같은 모양쪽이 자석원리가 있어서 메카니멀이 달릴때 카드에 닿으면 멈추면서 메카니멀이 변신! 하게됩니다^_^ 친구와 초록색 경기판을 깔고 하면되는것 같아요. 아직 6살 친구들은 그런것 보다는 ㅋ 갖고 로봇놀이처럼 하더라구요. 첫 메카니멀이 오자마자 ㅋ 민트 친구가 그러더라구요. "우리 메카니멀 모으쟈♡" .. 2021. 3. 28.
동탄 화훼단지 블루베리 나무 구입 안녕하세요~! 저번에 후리지아에 이어 이번엔 블루비리 나무를 심기위해 동탄화훼단지에 갔다오게되었습니다. 제가 간곳은 크게 3군데 정도의 화훼단지들이 있습니다. 본격적으로 화훼단지를 구경하였습니다. 너무너무이쁜 꽃들과 화분이 많더라구요~! 저는 블루베리 나무와 꽃병용 후리지아 1단을 샀습니다♡ 블루베리 나무는 작은것 2만~ 중간사이즈 3만원 정도 하더라구요^_^ 꽃값도 시세가있는것 같아서 다를수있습니다. 집에와서 이쁘게 배치하였어요. 블루베리도 꽃이 피고 열매가 맺겠죠♡ 블루베리를 수확하는날까지♡ 그럼 모두들 행복하세요^_^ 2021. 3. 28.
빅히트 BTS 게임 리듬하이브 rhythm hive 안녕하세요. 오늘 전할 내용은 내가 직접깔아서 사용해본 리든하이브 입니다. 빅히트에서 나온 게임인데요~! 깔아서 사용하니 아미들과 ㅋㅋ 이제막 입덕한 우리 아들 아미도(?) ㅋㅋ 함께 즐겁게 하고있는 게임이 되어서 올리게 되었습니다. 첫 실행하면 이렇게 나오구요. 역시나 ㅋㅋ 가수들답게 리허설이라는 샌스가....😍 처음부터 들어가서 모드를 누르고 노래를 선택후 준비하기 캐릭터를 선택후 플레이를 누르면 게임이 시작됩니다. 비티에스 이외에도 엔하이픈 다양한 가수들 노래가 나와서 함께 즐길수 있습니다. 6살 아이도 하기에 어렵지 않은 게임이고 BTS를 좋아하는 팬들도 노래를 함께 들으며 할수있어서 좋은것 같습니다. 그럼 오늘도 즐거운 하루되세요~^_^ 2021. 3. 27.
외장하드 케이스로 남는 하드 재활용 오늘은 안쓰는 HDD나 SSD 재활용하는 방법 중 한가지에 대해 포스팅 하겠습니다. 집에 안쓰는 노트북용 SSD가 있어서 교체하고 노트북에서 기존에 사용하던 500GB짜리 하드가 쓸데가 없게 되었는데요, 외장하드 케이스가 있으면 일반 외장하드처럼 쓸 수 있습니다. '외장하드 케이스'로 검색해서 노트북에서 쓰시던 디스크라면 2.5인치, 데스크탑에서 쓰던 것이라면 3.5인치를 구매하시면 됩니다. 대부분 만원이내에 팔고 있습니다. 이 케이스 자체에 SATA방식으로 꽂는 부분이 있어서 남는 디스크를 장착하고 USB로 PC에 연결하면 외장하드 처럼 쓸 수 있더라구요. 제가 구매한 건 NEXT-425U3 이고요, 요즘 나오는 HDD는 SATA3 방식 인 거 같고 저희가 장착한 HDD는 좀 된거라 SATA2인데 케이.. 2021. 3. 26.
728x90

티스토리툴바