Lead Data Orchestration Engineer / Expert Apache Airflow & AWS

Dans le cadre du renforcement d’une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l’optimisation, la sécurisation et l’évolution d’une plateforme d’orchestration Data à forte volumétrie. La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens. Vous interviendrez autour de 4 axes majeurs : 1. Optimisation de la plateforme Airflow • Optimisation d’une plateforme de 200+ DAGs en production • Évolution et optimisation de la DAG Factory • Migration des dépendances inter-DAGs vers les Datasets Airflow • Optimisation des performances au parse-time et runtime • Mise en place de tests automatisés des DAGs en CI/CD 2. Sécurisation & résilience • Capacity planning et tuning Airflow • Gestion des pools, scaling et rétention des logs • Rotation des secrets • Amélioration de l’observabilité et de l’alerting • Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux 3. Étude et migration de la plateforme • Benchmark des alternatives à AWS MWAA • Étude d’architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect • Réalisation de POC et recommandation d’une architecture cible • Pilotage d’une éventuelle migration jusqu’à la mise en production 4. Leadership & transmission • Définition et application des standards techniques • Mentorat des équipes Dev & Ops • Formation d’une dizaine de collaborateurs • Accompagnement des équipes vers des compétences Data Engineering / DataOps