Data Engineer
Le Data Engineer est responsable de la conception, de la construction et de la maintenance des infrastructures de données. Il développe des pipelines de traitement de données, assure la qualité et la disponibilité des données, et collabore avec les Data Scientists et les analystes pour fournir des données fiables et exploitables.
Missions principales
- Concevoir et développer des pipelines de données pour l'extraction, la transformation et le chargement (ETL) des données.
- Assurer la qualité, la cohérence et la sécurité des données.
- Optimiser les performances des systèmes de traitement de données.
- Collaborer avec les équipes métiers pour comprendre les besoins en données.
- Mettre en place des solutions de stockage adaptées (Data Lakes, Data Warehouses).
- Assurer une veille technologique sur les outils et technologies de traitement de données.
Compétences requises
- Maîtrise des langages de programmation tels que Python, Scala ou Java.
- Connaissance des frameworks de traitement de données (Spark, Hadoop).
- Expérience avec les bases de données relationnelles et NoSQL.
- Connaissance des outils d'orchestration de workflows (Airflow, Luigi).
- Compétences en modélisation de données et en optimisation des requêtes.
- Familiarité avec les environnements cloud (AWS, GCP, Azure).
Formation et diplômes
Le poste de Data Engineer est généralement accessible avec un diplôme de niveau Bac+5 en informatique, en ingénierie ou en mathématiques appliquées. Une spécialisation en Big Data ou en Data Engineering est un atout.
Evolution de carrière
- Lead Data Engineer ou Architecte Big Data.
- Responsable de la gouvernance des données.
- Consultant en architecture de données.
- Chef de projet Data ou Directeur de projets Big Data.
Exemple de missions récentes publiées sur Nexoris
- Data Engineer – Équipe Assets et Projets DataProcessing : Participation aux développements des projets en cours et à venir, ainsi qu'à la maintenance évolutive des applications existantes au sein de l’équipe. Localisation : Paris. TJM net proposé : 550 €/jour.
- Data Engineer – Réglementation & Conformité Financière : Développement de solutions de traitement de données pour répondre aux exigences réglementaires et de conformité. Localisation : Paris. TJM net proposé : 600 €/jour.
- Data Engineer – Spécialiste Singlestore : Expertise sur la base de données Singlestore pour optimiser les performances des systèmes de traitement de données. Localisation : Paris. TJM net proposé : 620 €/jour.
- Data Engineer – Spark / Scala / Hadoop – IT Market Risk : Développement des processus d’intégration, de traitement et de calcul des données du Market Risk, avec des outils de l’écosystème Hadoop. Localisation : Paris. TJM net proposé : 650 €/jour.
Découvrez la plateforme Nexoris
