Data Engineer – Expert SPARK SCALA (IT)Free-Work

Inventiv'IT est un cabinet regroupant des experts, des partenaires et des consultants qui accompagnent nos clients dans le diagnostic, la mise en place de métrologies et le déploiement de solutions adaptées.

Nous sommes experts sur 2 axes majeurs du Data Management :

- le Big Data :
•avec un catalogue de formations au Big Data (présentation, fondamentaux SI et métiers, analyse, outils Big Data etc.)
•l'étude du système d'Information et la réalisation de POC ou de POV.
•la définition d'une stratégie et d'une politique de la gouvernance des Data adaptées
•l'accompagnement dans le déploiement des solutions Big Data

- la Business Intelligence (ou Informatique Décisionnel) et le Smart BI :
•l'étude, la définition des besoins et la préconisation de solutions adaptées
•l'accompagnement dans la réalisation du projet : architecture, développement et déploiement des outils
•l'accompagnement et la conduite du changement via des formations, des plans de communication pédagogique et le transfert des compétences
•l'assurance d'experts techniquement compétents (Oracle, BI Apps, DACC, Tableau Software, Qlikview, ...) qui pilotent également les migrations et l'évolution des outils et des besoins de nos clients.

Inventiv'IT est l'expert de la valorisation des données d'entreprises.

Vous intégrerez l'equipe IT Corporate Functions Data Integration, qui a pour responsabilité

l'intégration des données (ainsi que les flux retours) en provenance de notre partenaire Arkea (qui opère le système bancaire en marque blanche pour le compte de CCF) vers notre Data Platform sur le

cloud AWS.

Vous aurez à travailler sur le « run » (suivi de production et gestion des défauts sur les données

reçues/envoyées) :

- Jobs AWS Glue (Spark serverless sur AWS)

- Lambda Functions AWS

- DAG Airflow

- Flux de fichiers CFT/SFTP

- Reporting PowerBI

ainsi que sur les nouveaux projets :

- « Ingestion V2 » : Evolution de l'ingestion des données dans la Data Platform (Spark).

- Data Quality : mise en place de traitements (DBT) pour détecter les données non conformes

et consolider des KPI permettant de gérer la qualité des données.

- Data Privacy : purge de données, mise en conformité RGPD.

- API Management (Gravitee) accompagnement au deploiement des nouvelles API / migration

des API existantes vers cet outil. Administration de l'outil en lui-même (K8S, helm, AWS).

Formation & Expérience Requises :

Vous justifiez d'une expérience de plus de 5 ans dans le domaine de la data et/ou des solutions cloud

AWS (idéalement orientées Data ou API Management).

Qualités requises :

• Esprit d'analyse et de diagnostique

• Capacité d'anticipation, force de proposition, inventivité

• Excellent sens de la collaboration

• Autonomie et rigueur

• Curieux/se et passionné/ée