Data Engineer / Data Ops H/F

Mission et activités :

C'est au sein d'un SI en forte mutation technologique que vous participerez aux activités de développement, de déploiement, d’optimisation et d’exploitation des clusters de traitement. Dans un contexte opérationnel fort, proche des agents des services de renseignement, vous apporterez votre touche d’innovation pour accroitre l’efficience et la productivité des mises en production et des plateformes du GIC.

Vos missions consisteront notamment à :

· Implémenter, optimiser et maintenir des algorithmes de traitement de données,

· Participer à l’évolution de l’architecture, en intégrant de nouveaux composants (frameworks, bibliothèques, …) permettant de mieux répondre aux besoins,

· Assurer le déploiement et le maintien des plateformes Big Data,

· Assurer le recueil d’indicateurs de bonne santé ainsi que la mise en place de métriques,

· Interagir avec l’équipe DevOps pour améliorer la fiabilité des architectures et l’automatisation des déploiements,

· Assurer une veille technologique constante pour rester au plus haut niveau et garantir une adéquation des clusters existants avec l’état de l’art du domaine.

Vous pourrez également être amené à participer aux travaux de définition des conventions de l’organisme comme le design des architectures, la création de processus qualité, l’élaboration des bonnes pratiques, l’organisation du cycle de vie logiciel ou l’amélioration des méthodes agiles.

Formation et expérience :

Diplômé d’un master ou d’une école d’ingénieur avec une spécialisation en informatique.

Expérience ou appétence marquée développement, architectures et le traitement Big Data. Expérience en lien avec les philosophies DataOps et/ou DevOps.

Savoir-faire :

Le poste requiert des connaissances générales avancées, en analyse et traitement de la donnée, en management des outils de la big data, et de son écosystème ainsi que l’architecture des environnements.

En pratique, vous serez amené à assurer le déploiement et le maintien des plateformes Big Data du GIC en s’appuyant très fortement sur l’automatisation. Vous devrez garantir la vision globale du périmètre couvert par les plateformes dont vous aurez la charge. Il vous faudra assurer le recueil d’indicateurs de bonne santé ainsi que de métriques ainsi que rendre possible des mesures de performances des dites plateformes.

Cela nécessite de maitriser, a minima, l’écosystème de développement nécessaire pour effectuer ces tâches (python, pandas, jupyter, ...) et de faire preuve d’esprit critique, de recul et de pragmatisme, quant aux solutions que vous proposerez.

Enfin, le déploiement des modèles ainsi imaginés au sein d’un écosystème Big Data représente un défi pour lequel il est également attendu que vous développiez des compétences (kafka, spark, hadoop, ...) afin d’aider et d’accompagner quotidiennement les équipes à mettre en place et maintenir les solutions existantes. Cela nécessitera également de respecter des pratiques de développement et organisationnelles partagées (git, code review, méthode agile, ...).

Une connaissance de la culture DevOps et des outils associé sera apprécié.

 Aptitudes recherchées :

· Esprit rigoureux et passionné capable d’investiguer, ou d’imaginer si besoin, des pistes d’analyse viables

· Capacité d’analyse

· Esprit d’équipe

· Sens du contact et de la communication

· Discrétion dans le traitement de sujets sensibles

Environnement technique :

- Environnement principalement Open source

- Langages : Python, PySpark (optionnel : Scala)

- Big data : Hadoop, Spark, ElasticSearch

- Bases de données et stockage : Maitrise du SQL, NoSQL

- Architecture : Kafka, conteneurs, CI/CD

- Gestion des configurations : Ansible, Puppet, Chef

- Script : Python, Bash

- Intégration continue : Git

Documents à transmettre