학습장/Data Engineering26 ADF 배치작업 모니터링 방안 Azure Data Factory를 활용한 데이터 처리 관련 작업시 배치 모니터링 등으로 활용할 수 있는 방법 정리해보았습니다. ADF Error Handling 방법들 1. webhook Teams 내에 curl 등을 통해 webhook을 받을 수 있는 Incoming webhook을 생성하여, Pipeline 내에서 특정 블럭이 실패시 호출하여 실패 알림으로 활용가능 webhook용 파이프라인의 URL은 Incoming webhook에서 생성된 URL 지정 Teams 채널에 webhook 위한 메뉴얼 참조 https://learn.microsoft.com/ko-kr/azure/data-factory/how-to-send-notifications-to-teams?tabs=data-factory Micr.. 2023. 2. 7. Azure 환경에서 구동되는 ETL - Azure ADF ADF : Azure Data Factory MS의 클라우드 서비스인 Azure 제품 중 하나로서 ETL, 데이터 Processing, 머신러닝 등을 클라우드 환경에서 활용할 수 있습니다. 최근에 조금씩 알아가고 있는 단계에서 알게 된 내용들에 대해 정리하고자 합니다. Azure DevOps 나 Git과의 연동을 지원함. UI 상에서 변경 내용들이 Git과 연동되어 저장됨. UI 환경에서 작업된 내용이 내부적으로는 대부분 json 형식의 스크립트로 저장되는 것으로 보임. 동시작업을 위해서는 주기적으로 publish를 해주어야 함 - 파이프라인 : 보통의 ETL Tool에서 Job으로 통칭하는 작업 단위를 ADF에서는 파이프라인 이라고 함. 이 파이프라인에서는 ADF 에서 제공하는 여러가지의 블럭들을 활용.. 2023. 1. 16. [DW] Mart Modeling 스타스키마 팩트테이블을 중심으로, 디멘젼 테이블이 주위를 둘러쌓은 모델 (별모양으로) 이해하기 쉽다 팩트 테이블은 3정규형, 차원 테이블은 2정규형 조인 감소하여 쿼리 성능 향상 분석관점이 명확하고, 데이터가 많은 경우 유리 다른 관점으로 분석 요구 시 차원 테이블이 추가되고, 팩트를 다시 말아야 하거나 다른 팩트 테이블이 추가되어야 할 수도 있다. 분석관점이 명확 하지 않을 경우, 스노우플레이크가 더 적합할 때도 있다. 번역본인데 아래는 뭔소리야 비즈니스 사용자들이 다양한 차원을 살펴봄으로써 디자인 단계에서 고려하지 못했던 질문에 대한 답을 찾을 수 있다 ?? 팩트테이블의 세부 표현 수준에 따라 다양한 수준에서 롤업할 수 있다 차원 테이블이 많을 수록 더 많은 측면에서 리포팅이 가능 (당연한소리아녀?).. 2022. 11. 28. [DW] Dimensional Modeling Dimensional Modeling 비즈니스 유저들이 DW시스템에서 좀 더 쉽고 빠르게 쿼리를 날리면서 사용할 수 있도록 하는 설계? 데이터기반 의사결정을 지원하기 위해서 분석데이터를 빠르고 유연하게 제공하기 위한 구축 방법론 Fact 비즈니스 프로세스에서 측정하고자 하는 값, 일반적으로 '숫자' (항상 그런것은 아님) '이벤트'와 관련 있음 Measure 테이블 거래금액 등의 트랜잭션 정보가 담긴다. 그래뉴래러티(Granularity) : 하나의 팩트테이블의 각 행은 모두 동일한 수준의 값이어야 한다. 이 특성이 유지 되는 한, 팩트 테이블의 모든 값에 대해 연산을 적용 하더라도 팩트 테이블의 계산 값에 대해 무결성 보장 Dimension Fact 값을 비즈니스적으로 설명하는 속성(보통 텍스트)을 갖.. 2022. 11. 24. 이전 1 2 3 4 ··· 7 다음 728x90
