Ingenieur de Données

Nous sommes actuellement à la recherche d'un Data Engineer pour une entreprise SaaS située à Montréal.


L'équipe

En rejoignant une équipe dynamique et ambitieuse de développeurs avides de technologies, vous travaillerez dans un environnement agile pour cons
truire, maintenir,

faire évoluer et créer des solutions Big Data.

Notre équipe travaille à un rythme rapide sur des produits impressionnants qui évoluent constamment dans la technologie des fonctionnalités et le t
rafic, ce qui entraîne une augmentation

volume de données existantes et nouvelles vers les pipelines. Nous recherchons donc quelqu'un qui peut prendre les choses rapidement.

Votre travail sera dynamique, intéressant et stimulant


Le défi

• Implémenter dans l'environnement Apache Spark & Python

• Nettoyer et préparer les données pour l'équipe Bi

• Prise en charge et amélioration des scripts pour l'ingestion de données et la maintenance des données dans le lac de données

• Surveiller les performances et recommander/implémenter toute infrastructure nécessaire

changements

• Définir les politiques de conservation et d'accès aux données

• Automatiser l'infrastructure du pipeline de données dans un environnement Linux

• Concevoir des systèmes qui tiennent compte des coûts et qui offrent la meilleure valeur

• Gérer le cluster et l'environnement et les scripts/outils associés

• Travailler avec des développeurs et d'autres ingénieurs d'infrastructure pour fournir une solution complémentaire

• Travailler avec une équipe qualifiée de développeurs et d'architectes dans un cadre dynamique de groupe.

• Apporter des innovations et de nouvelles solutions aux défis actuels et futurs


En tant qu'ingénieur de données, vous concevrez, développerez, documenterez et testerez des solutions de Big Data. Vous travaillerez sur la collecte,
le stockage, le traitement et l'analyse

de grands ensembles de données (10 ^ 10).

Vous êtes fan des technologies Hadoop telles qu'Apache Spark et HDFS ce poste est fait pour vous.

L'équipe est à la recherche d'un ingénieur de données talentueux, passionné, retroussé, pratique et hautement indépendant qui participera à :

pipelines de données

Vous êtes un bon candidat si

• 2+ années d'expérience en tant qu'ingénieur de données

• 2 ans et plus d'expérience avec les pipelines et les outils de production Hadoop

• 3+ années d'expérience en Python

• Expérience avec Scala et Spark

• 3+ années d'expérience de travail dans un environnement Linux

• Compréhension approfondie des principes de l'informatique distribuée

• Expérience pratique avec SQL et/ou NoSQL (MySQL | MongoDB | Elastic Search | MemSQL).

• Capacité à comprendre et à résoudre les problèmes de Big Data à de nombreuses couches de la pile

• Capacité à effectuer plusieurs tâches, à prioriser et à estimer l'effort

• Expérience dans l'établissement de normes d'intégration et des processus connexes.

• Soucieux des détails

• Bonne tenue de documentation

• Expérience avec les outils de gestion de flux de travail (Jira, GitHub Workflow)


Encore mieux si vous avez

• Autonome (capable de configurer et de maintenir un environnement de développement)

• Expérience avec AWS EMR et AirFlow

• Un adorateur du TDD

• Expérience des outils conceptuels (diagramme UML, Flow)

• Expérience avec les conteneurs et les architectures basées sur des conteneurs.

• Expérience avec R

• Expérience avec les algorithmes d'apprentissage automatique

• Expérience avec Apache Spark Dataframes|Ensembles de données

• Expérience de travail dans un environnement Agile

• Bilingue préféré (anglais et français)


Avantages sociaux

• Heures flexibles

• 3 semaines de vacances plus 1 semaine à Noël ;

• Assurance maladie avec soins dentaires ;

• Assurance-vie;

• Carte de transport en commun ;

• Programme de jumelage des cotisations au REER.