[wpms_breadcrumb reverse="0"]
Les distributions HADOOP

Hadoop – Cloudera / Hortonworks pour développeurs

Reference : HCHPD
3 jours - 2,100 € € HT Télécharger la fiche
Prochaines sessions
  • Le 02/03/2021
  • Le 15/06/2021
Hadoop – Cloudera / Hortonworks pour développeurs
Objectifs

  • Réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
  • Définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
  • Exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop

Pré requis

  • Une expérience dans le développement, si possible avec Java.
  • Une connaissance préliminaire d’Hadoop n’est pas exigée

Modalités pédagogiques

Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques

Certification

non

Public visé
  • Développeurs est destinée aux développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop.
Inscription

Programmes de Hadoop – Cloudera / Hortonworks pour développeurs

Introduction

  • Présentation générale d’Hadoop
  • Exemples d’utilisation dans différents secteurs
  • Historique et chiffres clés : Quand parle-t-on de Big Data ?

HDFS : interfacage avec Java

  • Le système de fichier Hadoop Distributed File System (HDFS)
  • Lecture et écriture sur le HDFS
  • Manipulation des types de fichier SequenceFile
  • Qu’est-ce que le DistributedCache et comment partager les références ?

MapReduce/YARN : principe et développement Java

  • Le paradigme MapReduce et l’utilisation à travers YARN
  • Implémentation de problématiques réelles avec le paradigme MapReduce
  • Implémentation de problématiques plus complexes
  • Utilisation des combinateurs et partitionners
  • Les bonnes pratiques pour le développement des applications MapReduce

Manipulation des données avec un Query language et Java

  • Présentation et fonctionnement de HBase, Hive et PIG
  • HBase et Hive : JDBC et requêtes
  • Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
  • Pig : Développement et intégration avec JAVA
  • Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)