La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.

La Direction Data a 3 activités principales : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.

Adossée à la plateforme data, la prestation se déroulera au sein de l’équipe Pilotage. L’équipe actuellement constituée d’un Product Owner et d’un Data ingénieur a la charge de la mise à disposition des données utiles à l’ensemble des dashboards via son produit “Data4All”, basé sur la Google Cloud Platform.

La stack technique de l’équipe est principalement constituée de SQL, Dbt et Airflow pour l’orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l’industrialisation de l’infrastructure (IaC). La stack inclut aussi d’autres services de la Google Cloud Platform.

Activité de cette équipe :

1- Prendre en charge le produit data Data4All aussi bien dans le build que dans le run :

• Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes
• Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données
• Traiter et corriger les anomalies
• Concevoir les modèles de données adaptés aux besoins des utilisateurs dans un environnement big data (gestion de la volumétrie et des coûts)

2- Accompagner les utilisateurs de Data4All dans leurs usages

3- Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes

4- Mettre en place le contrôle qualité sur les données

Prestation attendue

En interaction avec les membres de l’équipe, la prestation consiste en :

• La mise en place de pipelines de traitement de données
• Le développement des modèles de données
• L’extraction et l’exposition des données issues de la zone silver de la plateforme data vers Data4All
• L’industrialisation des différents environnements de Data4All, en collaboration avec l’équipe d’ops
• La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe
• La participation active à la veille technique pour l’amélioration de la stack
• L’amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP

Expertises requises dans le cadre de la prestation

• Au moins 3 ans d’expérience en tant que Data ingénieur dans un environnement data
• Compétences solides en data : structures de données, code, architecture
• Expériences (au moins 2 ans) sur des projets intégrant DBT dans un contexte de gestion de tables incrémentales complexes et d’optimisation des coûts et performances
• Expériences dans un environnement du Cloud Provider Public Google (GCP)
• Expériences sur des projets Big Data intégrant BigQuery et Airflow
• Expériences dans la mise en place de pipeline ETL / ELT
• Expériences sur des projets intégrant Gitlab (Gitlab CI/CD)
• Expériences sur des projets intégrant Docker
• Expériences sur des projets intégrant Terraform et Terragrunt
• Une maitrise des langages SQL et Python est indispensable
• Capacité à participer activement aux différentes phases de cadrage des besoins
• Capacité à vulgariser et à communiquer sur des aspects purement techniques
• Pratique des méthodes Agile (Scrum, Kanban)

Modalités pour chacune des prestations

Présence sur site requise dans les locaux en fonction des besoins de la prestation et à minima équivalente à 50% du temps de celle-ci.

Matériel performant à fournir par le prestataire. Pour ce faire, les postes de travail utilisés lors des prestations doivent avoir :

- Un antivirus à jour et activé

- Un mécanisme de chiffrement du disque activé

- Un système d'exploitation à jour de ses correctifs de sécurité

- Un mécanisme de verrouillage du poste activé

- Un moyen de stockage sécurisé des mots de passe.

De manière générale, le profil proposé pour réaliser la prestation devra être équipé de l’ensemble des moyens de communication nécessaires à la bonne exécution de la prestation.

pbourgeois@mindquest.io