Data Engineer

Nous recherchons un·e Data Engineer pour faire évoluer notre plateforme data moderne et accompagner la montée en échelle de nos flux de données, nos outils analytiques et nos cas d’usage temps réel.

Tu travailleras au sein de l’équipe Data Engineering, en lien direct avec les analystes, les data scientists et l’ensemble des équipes métiers.

Vos missions principales seront les suivantes :

1. Construire et maintenir des pipelines de données robustes et scalables

• Intégration de données depuis diverses sources internes et externes via Airbyte et AWS DMS

• Orchestration des workflows avec Airflow

• Conception de pipelines temps réel ou événementiels avec AWS Lambda, SQS, SNS

2. Structurer un entrepôt de données fiable pour les usages analytiques

• Modélisation des données avec dbt, en lien avec les data analysts et les besoins métier

• Organisation des données dans notre datalake (S3 + Athena)

• Mise en place de tests automatisés, de documentation et de bonnes pratiques de versioning

3. Gérer et faire évoluer l’infrastructure data

• Déploiement et gestion de l’infrastructure via Terraform (Airbyte, Airflow, Lambda, S3, IAM, etc.)

• Surveillance de la performance des pipelines et des coûts (CloudWatch, logs, métriques)

• Pas de DevOps dédié à l’équipe Data : tu es responsable de l’industrialisation de ta stack, avec le soutien ponctuel de l’équipe DevOps besoin

4. Activer la donnée pour des cas d’usage avancés

• Structuration de données pour des moteurs de recherche internes avec Elasticsearch

• Support aux Data Scientists pour la mise en production de use cases ML