Data Engineer

Deel A: Moderne data platformen (4h)
Vandaag duiken we in de wereld van data engineering. In deze introductie krijg je een overzicht van het huidige data landschap. Welke verwachtingen hebben we vandaag van data en welke technologieën helpen deze in te lossen? We bekijken wat een data platform nu “modern” maakt, wie daar baat bij heeft en welke rol de cloud speelt.

Deel B: Intro tot Cloud Services(4h)
Een basis omtrent cloud is onmisbaar voor een moderne data engineer. Je krijgt een introductie tot de basisconcepten van cloud en gaat er zelf mee aan de slag. We bekijken virtuele machines, container registries, enkele van de vele opslagmogelijkheden, en enkele vendorspecifieke geavanceerde oplossingen, maar ook hoe API’s in zowel de browseromgevingen als in command line interfaces worden gebruikt om snel te kunnen schakelen naargelang de noden van de organisatie.

Deel A: Basis commandline en Linux (4h)
Vele data applicaties draaien op Linux, een alternatief voor het besturingssysteem Windows of MacOS. Je kan Linux grafisch gebruiken, maar de kracht zit hem vooral in de commandline interface of CLI. In deze module bekijken we welke tools de commandline biedt en hoe ze het leven van een data engineer makkelijker maken.

Deel B: Versiebeheer met git (4h)
Programmeurs delen kennis via code, door deze te schrijven, documenteren en te reviewen. Een belangrijke tool hierbij is de versiecontrole software git, die overgewaaid is uit software engineering. Git betekent het einde van e-mail attachments met daarin je code, al dan niet voorzien van versienummers. We gebruiken deze tool in de rest van deze cursus om code te beheren en samenwerking te vergemakkelijken.

Je data applicatie werkt nu, super! Maar ze werkt op jouw laptop… Aangezien het nogal moeilijk is om jouw laptop als productieserver te gebruiken moeten we zorgen dat de applicatie ook werkt op andere machines. In deze module bespreken we Docker, een van de meest revolutionaire technologieën van het afgelopen decennium, om deze uitdaging aan te gaan.
Docker is dé onmisbare tool geworden voor vele software engineers. Als data engineer zal je dit ook tegenkomen, aangezien Docker het packagen en deployen van je oplossing sneller een betrouwbaarder maakt. Docker zorgt ervoor dat je code op iedere machine kan draaien. Je gaat hands-on aan de slag met Docker om zelf te ondervinden wat het voor jou kan betekenen.

Eén van de sleutelcomponenten van een goede analytics oplossing is nog steeds een relationele database. Je leert over SQL (inclusief joins en windowing), zet een data warehouse op in Snowflake en bouwt data pipelines met DBT.

Wanneer je data te groot wordt of door vele producenten ervan snel op je afkomt, dan zal je als data engineer beroep doen op een framework dat over meerdere machines kan schalen. Spark is een framework dat veel gebruikt wordt en toelaat om data op grote schaal te verwerken. Je gaat in deze module aan de slag met PySpark, zodat je met eenvoudige Python code enorm veel werk kan verzetten.

Deel A: Orchestration with Airflow (4h)

Je hebt een productieve maand achter de rug en hebt plots 3, 4, 5, … 10 batch data pipelines in productie staan. Geweldig! Maar, je zal vast niet 7/7 elke dag om 6:30 de pipeline manueel willen starten. Daarvoor gebruiken we “workflow orchestrators”, zoals Airflow.

Een orchestrator zorgt ervoor dat je optimaal kan inzetten op automatisatie. Hoe vaak moet de pipeline uitgevoerd worden? Wat moet er gebeuren als er iets mis gaat? De meest gebruikte tool hiervoor is Apache Airflow, waarmee je in deze module zelf aan de slag gaat!

 

Deel B: Capstone Project (4h)

Als laatste opdracht bouw je een heuse data pipeline binnen een modern data platform met echte data, waarbij je al de tools en technieken uit deze cursus combineert. Startende met data van een externe bron, bouw je cleaning- en transformatiepipelines om de data in een data warehouse op te slaan, klaar voor het gebruik van de vele analysten. Vanaf hier kan je een query-gebaseerd dashboard bouwen dat elk uur verse data laat zien!

Capstone Project - Vervolg (8h)

Deel A: Capstone Project - Vervolg (4h)

 

Deel B: Hot topics in Data engineering (4h)

Proficiat! Je bent erin geslaagd om een eigen batch ETL pipeline te bouwen. Meer nog, je hebt hiervoor state-of-the-art tools gebruikt. Nu is het tijd om verder te kijken naar wat de wereld van data engineering – die continu verandert – verder te bieden heeft. We bekijken enkele recente topics die steeds meer aandacht krijgen, zoals streaming, MLOps en data mesh.