Data Engineer Java (H/F)

Rejoignez une grande plateforme data au sein d'un acteur majeur du secteur de la grande distribution. Vous contribuerez à la conception et au développement de services digitaux centralisés, permettant aux équipes métier d'accéder à des données fiables, accessibles et exploitables via API, tout en accélérant les traitements analytiques et renforçant l'alignement entre les besoins opérationnels et décisionnels. Vous interviendrrez dans un environnement technique moderne, basé sur le cloud et l'écosystème big data, au sein d'une équipe agile et collaborative. Vos missions porteront notamment sur des projets à forte valeur ajoutée liés à la gestion de référentiels critiques (articles, points de vente) et à l'optimisation des pipelines de données. Responsabilités : - Concevoir et développer des services de traitement de données robustes et scalables en Java et/ou Scala, en appliquant les principes de programmation fonctionnelle - Architcter et maintenir des pipelines de données complexes utilisant Apache Spark et Apache Kafka, en garantissant performance et fiabilité sur de grands volumes - Piloter l'ingestion et le traitement de flux de données en temps réel via Pub/Sub, en assurant la cohérence et la qualité des données - Optimiser les requêtes et les modèles de données dans BigQuery, en maîtrisant le SQL avancé pour extraire des insights sur des volumes massifs - Orchestrer et automatiser les workflows de données avec DBT (Data Build Tool), en structurant les transformations et les dépendances - Mettre en place et maintenir les chaînes CI/CD via GitLab CI/CD et Docker Compose, en garantissant des déploiements fiables et reproductibles - Contribuer à l'évolution de l'infrastructure cloud sur Google Cloud Platform (GCP), en suivant les bonnes pratiques de sécurité et d'optimisation - Collaborer activement avec les équipes métier, data science et infrastructure dans un contexte Agile/Scrum, en partageant les connaissances et en proposant des améliorations continues - Documenter et maintenir les standards de qualité et de performance des solutions développées Télétravail : 2 jours par semaine Localisation : Lyon