Data Engineer M/F - CDI
Jellysmack, France
Job Description
Jellysmack propose une technologie unique articulée autour de 4 produits qui visent à optimiser la création et la distribution sociale de vidéos.
L'équipe Tech œuvre pour la mise en place d’outils utilisés en interne par les équipes contenu afin de déterminer les sujets qui buzzent, les aider dans la création de contenu, suivre les performances des vidéos internes etc. en injectant dans chacun de ces produits une dose conséquente d’algorithmie, de statistiques et de machine / deep learning.
Stack technique
- Langage : SQL, Python et Bash
- Hébergement : AWS
- Données : Redshift, Kinesis Stream, Kinesis Firehose, Aurora Mysql, ElasticSearch, ElasticCache-Redis, S3, Glue, Athena, etc.
- Orchestration de jobs : Airflow
- Environnement : On utilise Visual Code, mais c’est libre et sur l’OS que tu préfères ! (Vim anyone ?)
- Automatisation: Terraform amp; Ansible
- CI/CD : Gitlab
Missions principales
Nous recherchons notre prochain(e) Data Engineer afin d'intégrer notre équipe Infrastructure composée de 5 Data Engineers, 5 Cloud Engineers et 1 Database Architect. Vous occuperez un rôle central, et votre mission principale consistera à monitorer la plateforme data, la faire évoluer, ainsi qu'accompagner quotidiennement les équipes Data.
En binôme avec un(e) Data Engineer déjà en place, et en collaboration étroite avec le reste de l'équipe Infra, vous serez notamment en charge de:
- Mettre en place des librairies Python facilitant le travail des Data Scientists,
- Créer et optimiser des pipelines data complexes,
- Monitorer la plateforme d’exécution des jobs data,
- Refactorer du code,
- Accompagner les data scientists au quotidien dans une démarche d'amélioration continue (code Python, méthodologie de travail, architecture des jobs, peer programming, code reviews.),
- Améliorer les process et la stack technique data (exemples: mise en place d'un framework de calcul distribué; participation à la migration vers une solution full dockerisée pour l'exécution des jobs data.).
Quelques exemples de projets
- Mise en place d'un pipeline data Airflow (DAG) en rapport avec une nouvelle fonctionnalité d'un de nos produits,
- Construction d'un système de monitoring des performances de nos algorithmes,
- Développement d'une librairie permettant de mutualiser les requêtes SQL fréquemment exécutées par nos Data Scientists,
- Ajout dans Pilot (notre Python Data Job Framework) d'une feature permettant de charger/serialiser un modèle de Machine Learning depuis/vers un repository S3,
- Mise en place d'un travail de Ramp;D sur la génération et le déploiement automatique de notre image Airflow sur nos environnements dev/preprod/prod, via un CI/CD.
Requirements
Vous êtes diplômé(e) d'un master en computer science, d'une école d'ingénieur / université (BAC+5)
Vous justifiez d'une expérience de 2 à 5 années sur des environnements similaires
Vous maîtrisez Python et SQL
Rigoureux(se), vous êtes bon(ne) pédagogue et bon(ne) communicant(e), et vous aimez travailler en équipe
Débrouillard(e) et curieux(se), vous savez résoudre des problèmes.