Data Engineering

Apache Airflow

We weten allemaal hoe het gaat, je begint met een kleine cronjob die elke avond zal lopen. Een paar weken later schrijf je een andere job, die gebruik maakt van de input van de eerste job. Voor de zekerheid plan je het een paar uur na middernacht in. De komende weken heb je af en toe mensen die bij je bureau klagen dat de gegevens ontbreken en dat ze hun werk niet kunnen doen. Dit is waar Apache Airflow een rol speelt.

Apache Airflow is een data-orkestratietool, om je datapipelines te monitoren, te controleren en te laten draaien. Airflow zorgt voor de planning van opdrachten en visualiseert je pipelines op een grafische manier. Als je ETL vanuit een database doet, kan het voorkomen dat de database om verschillende redenen niet beschikbaar is, Airflow zal detecteren dat de opdracht mislukt, en het later opnieuw proberen. Dit omvat het uitstellen van de taken die afhankelijk zijn van de invoer van de eerste job.

In deze training leer je hoe je workflows kunt ontwikkelen met Apache Airflow. In deze cursus leer je de internals, de terminologie en de best practices van het schrijven van DAG's. Om je vertrouwen te vergroten en om je comfortabel te maken met Airflow, zullen alle deelnemers een use case behandelen met betrekking tot het schrijven en onderhouden van datapipelines.

Is de Apache Airflow training iets voor mij?

  • Ja – als je een data scientist bent
  • Ja – als je een data engineer bent
  • Ja – als je je dataproducten naar productie wilt brengen

Wat kan ik bereiken met deze training?

Je leert onder andere over deze onderwerpen:

  • DAG
  • Operators en sensors
  • Branching
  • Taken
  • Connecties
  • Libraries
  • Gebruikelijke Variabelen
  • Geavanceerde onderwerpen
  • Logs
  • xCom
  • Schrijven van je eigen operators en hooks
  • Pools
  • Jinja Templating

Wat moet ik nog meer weten?

Enkele voorwaarden:

  • Om ervoor te zorgen dat je het maximale uit deze training kunt halen verwachten we een basiskennis van de Python programmeertaal (bijv. kennis van de concepten vermeld onder Basics op learnpython.org
  • Basisprincipes van data engineering

Vereisten:

  • Het is belangrijk dat je voor deze training jouw eigen laptop meeneemt met toegang tot het internet

Deze training wordt aangeboden door onze trainingspartner GoDataDriven

Contact opnemen
contact-us

Hoe kunnen we je helpen?

Heb je behoefte aan persoonlijk advies of vragen naar de mogelijkheden? Ons team bij Xebia Academy staat tot je dienst. Wij zijn hier om je te helpen.
Als je meer wilt weten over onze training op maat op jouw bedrijfslocatie, kijk dan eens op onze In-Company pagina.

Stuur bericht

Of geef ons een belletje

+31 (0)35 538 1921