Note! This job has been aggregated through external sources, the Apply link will take you to the company's website.
undefined

Data Engineer M/F - CDI Job in France
Jellysmack , France

Never pay for job application, test/interview.
Safe Job Search | EEO Laws in France
Experience
1 Year
Salary
0 - 0
Job Type
Job Shift
Job Category
Requires Traveling
No
Career Level
Telecommute
Yes
Qualification
As mentioned in job details
Total Vacancies
1 Job
Posted on
Apr 16, 2021
Last Date
Jul 16, 2021
Location(s)

Job Description

Jellysmack propose une technologie unique articulée autour de 4 produits qui visent à optimiser la création et la distribution sociale de vidéos.

L'équipe Tech œuvre pour la mise en place d’outils utilisés en interne par les équipes contenu afin de déterminer les sujets qui buzzent, les aider dans la création de contenu, suivre les performances des vidéos internes etc... en injectant dans chacun de ces produits une dose conséquente d’algorithmie, de statistiques et de machine / deep learning.

Stack technique

  • Langage : SQL, Python et Bash
  • Hébergement : AWS
  • Données : Redshift, Kinesis Stream, Kinesis Firehose, Aurora Mysql, ElasticSearch, ElasticCache-Redis, S3, Glue, Athena, etc.
  • Orchestration de jobs : Airflow
  • Environnement : On utilise Visual Code, mais c’est libre et sur l’OS que tu préfères ! (Vim anyone ?)
  • Automatisation: Terraform amp; Ansible
  • CI/CD : Gitlab


Missions principales

Nous recherchons notre prochain(e) Data Engineer afin d'intégrer notre équipe Infrastructure composée de 5 Data Engineers, 5 Cloud Engineers et 1 Database Architect. Vous occuperez un rôle central, et votre mission principale consistera à monitorer la plateforme data, la faire évoluer, ainsi qu'accompagner quotidiennement les équipes Data.


En binôme avec un(e) Data Engineer déjà en place, et en collaboration étroite avec le reste de l'équipe Infra, vous serez notamment en charge de:

- Mettre en place des librairies Python facilitant le travail des Data Scientists,

- Créer et optimiser des pipelines data complexes,

- Monitorer la plateforme d’exécution des jobs data,

- Refactorer du code,

- Accompagner les data scientists au quotidien dans une démarche d'amélioration continue (code Python, méthodologie de travail, architecture des jobs, peer programming, code reviews...),

- Améliorer les process et la stack technique data (exemples: mise en place d'un framework de calcul distribué; participation à la migration vers une solution full dockerisée pour l'exécution des jobs data...).


Quelques exemples de projets

- Mise en place d'un pipeline data Airflow (DAG) en rapport avec une nouvelle fonctionnalité d'un de nos produits,

- Construction d'un système de monitoring des performances de nos algorithmes,

- Développement d'une librairie permettant de mutualiser les requêtes SQL fréquemment exécutées par nos Data Scientists,

- Ajout dans Pilot (notre Python Data Job Framework) d'une feature permettant de charger/serialiser un modèle de Machine Learning depuis/vers un repository S3,

- Mise en place d'un travail de Ramp;D sur la génération et le déploiement automatique de notre image Airflow sur nos environnements dev/preprod/prod, via un CI/CD.

Requirements

Vous êtes diplômé(e) d'un master en computer science, d'une école d'ingénieur / université (BAC+5)

Vous justifiez d'une expérience de 2 à 5 années sur des environnements similaires

Vous maîtrisez Python et SQL

Rigoureux(se), vous êtes bon(ne) pédagogue et bon(ne) communicant(e), et vous aimez travailler en équipe

Débrouillard(e) et curieux(se), vous savez résoudre des problèmes.

Job Specification

Jellysmack

Information Technology and Services - Castries, France