Airflow sensors | Create custom sensor to sense files

Опубликовано: 22 Июль 2023
на канале: MaxcoTec Learning

1,723

See how airflow sensors can pitch in your ETL pipelines to sense something before proceeding with downstream dependencies.

Get code here:
https://github.com/maxcotec/Apache-Ai...

How to deploy airflow locally using Docker
   • Run Airflow 2.0 via Docker | Minimal ...

How to deploy airflow locally on a multinode kubernets cluster
   • Airflow with Kubernetes Executors | R...

build your first data pipeline in airflow
   • Build your first pipeline DAG | Apach...

#apacheairflow #kubernetes #airflowsensors #dataengineering #etl #maxcoteclearning

Video outline:
00:00 intro and outline
00:38 definition
01:27 operation modes
02:23 sensor types
02:57 github repo & reference videos
03:47 spin-up airflow locally
05:15 write dag with BashSensor
06:42 test BashSensor
07:18 write custom sensor - check file exists
09:19 test custom file-check sensor
10:30 outro

Смотрите видео Airflow sensors | Create custom sensor to sense files онлайн, длительностью часов минут секунд в хорошем качестве, которое загружено на канал MaxcoTec Learning 22 Июль 2023. Делитесь ссылкой на видео в социальных сетях, чтобы ваши подписчики и друзья так же посмотрели это видео. Данный видеоклип посмотрели 1,723 раз и оно понравилось 21 посетителям.

11,720

318