Connecting...

W1siziisimnvbxbpbgvkx3rozw1lx2fzc2v0cy9syxdyzw5jzs1oyxj2zxkvanbnl2pvyl9kzwzhdwx0x2jhbm5lci5qcgcixv0

Big Data Engineer

Big Data Engineer

Job Title: Big Data Engineer
Contract Type: Contract
Location: Île-de-France, France
Industry:
Salary: Negotiable
Start Date: ASAP
Reference: 10/12/2021LN_1639125676
Contact Name: Lala Ndiaye
Contact Email: l.ndiaye@lawrenceharvey.com
Job Published: December 10, 2021 08:41

Job Description

Mission / Freelance / France / Ile-de-France / Big Data /

Lawrence Harvey recherche pour le compte de son client plusieurs consultants Big Data Engineer pour une mission de longue durée

Pas de sous-traitance, merci.

Démarrage ASAP

Mission de 6 mois +

Ile-de-France

Mission :

  • - Participer à l'automatisation de l'infrastructure Bigdata ( basée sur le logiciel de l'éditeur Cloudera CDP 7.1) s'appuyant sur TERRAFORM et ANSIBLE

- Extension automatisée des clusters Bigdata avec l'ajout de nouveaux datanodes

- Ajout automatisé de nouvelles fonctionnalités ( Hbase, Encryption)

- Mise en œuvre de l'infrastructure de secours

- Maintien de la production en conditions opérationnelles

Technologie UNIX

  • Linux
  • Shell
  • Python
  • Ansible
  • Open source
  • SSL
  • Redhat
  • Agile Scrum
  • Terraform

Expertises complémentaires

  • Hadoop
  • HDFS
  • Oozie
  • Zookeeper
  • Ranger
  • Knox
  • Kerberos
  • LDAP
  • Hbase
  • Kafka
  • Cloudera Manager
  • Spark
  • Hive
  • Nifi

Contexte :

2 équipes :

  • Uneéquipedontlerôle est :
    • le déploiement et le maintien en condition opérationnelles des différents environnements bigdata
    • d'unemanièreentièrementautomatisée,infrAsCode,s'appuyantsurTerraformetAnsible
      • en se basant sur des Vms Openstack, du block storage, des load balancers ainsi que des serveurs physiques
    • Cette équipe est experte sur les technologie Terraform, Ansible et Hadoop

  • Uneéquipedontlerôle est :
    • Ledéveloppementd'APIpermettant auxutilisateursde
      • Créer et gérer des ressources Hadoop (Répertoires HDFS, BDD Hive, BDD Hbase, Queues Yarn, Topics Kafka..) sur n'importe quel cluster
      • En quelques minutes
      • En mode self service
    • CesAPI :
      • Sont Développées en langage python
      • Sont Hébergées sur Kubernetes
      • S'appuient sur un orchestrateur qui est Apache AIRFLOW, lui-même en python
      • Et font appel a des playbooks Ansible pour exécuter les commandes sur les différents clusters Hadoop

  • Cette équipe est donc experte sur les technologie Python et Ansible

Si cette opportunité vous intéresse, merci de postuler sur l'annonce ou de m'envoyer votre CV à l.ndiaye@lawrenceharvey.com (Lala N'diaye) et je vous recontacterai pour vous donner plus de détails sur la mission.

N'hésitez pas à partager avec votre réseau si vous connaissez des personnes qui pourraient être intéressées.

Lawrence Harvey is acting as an Employment Business in regards to this position. Visit our website and follow us on Twitter for all live vacancies (lawharveyjobs)