AZ-305.Data Factory

Azure Data Factory(Azure 데이터 팩토리, ADF)는 Microsoft Azure에서 제공하는 클라우드 기반 데이터 통합 서비스입니다. 다양한 데이터 소스와 환경 간의 데이터를 이동 및 변환할 수 있는 워크플로우(파이프라인)를 생성, 스케줄링, 오케스트레이션할 수 있도록 지원합니다. 특히 대규모 ETL(Extract, Transform, Load) 및 ELT(Extract, Load, Transform) 프로세스를 구현하는 데 유용합니다.

Azure Data Factory 주요 기능

1. 데이터 통합
   • Azure Blob Storage, Azure SQL Database와 같은 Azure 서비스는 물론, Amazon S3, Salesforce, SAP 등 외부 플랫폼을 포함한 다양한 온프레미스 및 클라우드 데이터 소스에 연결할 수 있습니다.
2. 파이프라인(Pipeline)
   • ADF의 파이프라인은 데이터 이동 및 변환 작업을 수행하는 워크플로우를 정의합니다.
   • 각 파이프라인은 데이터 복사, Databricks 노트북 실행, 저장 프로시저 호출 등 여러 작업(Activity)으로 구성될 수 있습니다.
3. 데이터 이동
   • Copy Activity를 사용해 지원되는 데이터 저장소 간 데이터를 이동할 수 있습니다.
   • 대규모 데이터 전송에 적합하며 성능 최적화를 지원합니다.
4. 데이터 변환
   • Azure Databricks, Azure Synapse Analytics, Azure HDInsight와 같은 외부 도구와의 연동 지원.
   • 코드 작성 없이 데이터 변환을 설계할 수 있는 Mapping Data Flow를 제공합니다.
5. 트리거 및 스케줄링
   • 시간 기반 또는 이벤트 기반 트리거를 사용하여 파이프라인 실행을 예약할 수 있습니다.
   • CI/CD 파이프라인을 통해 자동화된 배포 및 관리를 지원합니다.
6. 통합 런타임(Integration Runtime, IR)
   • 데이터 워크플로우를 실행하기 위한 컴퓨팅 인프라를 제공합니다.
   • 유형:
     • Azure IR: 클라우드 기반 데이터 처리.
     • Self-hosted IR: 온프레미스 데이터 소스와 클라우드 간 데이터 통합.
     • SSIS IR: SQL Server Integration Services(SSIS) 패키지 실행.

사용 사례

• 온프레미스 데이터베이스에서 클라우드로 데이터 마이그레이션.
• 데이터 웨어하우스를 위한 데이터 수집 및 변환.
• 다중 데이터 소스 통합 및 정제.
• 머신 러닝 모델 훈련용 데이터 준비.

Azure Data Factory는 사용자 친화적인 인터페이스와 다양한 데이터 소스 지원으로 데이터 엔지니어링의 복잡성을 줄이고 작업 효율성을 높이는 데 기여합니다.