ADF2 ADF 배치작업 모니터링 방안 Azure Data Factory를 활용한 데이터 처리 관련 작업시 배치 모니터링 등으로 활용할 수 있는 방법 정리해보았습니다. ADF Error Handling 방법들 1. webhook Teams 내에 curl 등을 통해 webhook을 받을 수 있는 Incoming webhook을 생성하여, Pipeline 내에서 특정 블럭이 실패시 호출하여 실패 알림으로 활용가능 webhook용 파이프라인의 URL은 Incoming webhook에서 생성된 URL 지정 Teams 채널에 webhook 위한 메뉴얼 참조 https://learn.microsoft.com/ko-kr/azure/data-factory/how-to-send-notifications-to-teams?tabs=data-factory Micr.. 2023. 2. 7. Azure 환경에서 구동되는 ETL - Azure ADF ADF : Azure Data Factory MS의 클라우드 서비스인 Azure 제품 중 하나로서 ETL, 데이터 Processing, 머신러닝 등을 클라우드 환경에서 활용할 수 있습니다. 최근에 조금씩 알아가고 있는 단계에서 알게 된 내용들에 대해 정리하고자 합니다. Azure DevOps 나 Git과의 연동을 지원함. UI 상에서 변경 내용들이 Git과 연동되어 저장됨. UI 환경에서 작업된 내용이 내부적으로는 대부분 json 형식의 스크립트로 저장되는 것으로 보임. 동시작업을 위해서는 주기적으로 publish를 해주어야 함 - 파이프라인 : 보통의 ETL Tool에서 Job으로 통칭하는 작업 단위를 ADF에서는 파이프라인 이라고 함. 이 파이프라인에서는 ADF 에서 제공하는 여러가지의 블럭들을 활용.. 2023. 1. 16. 이전 1 다음 728x90