[wpms_breadcrumb reverse="0"]
Les tendances du BIG DATA

Big Data – Architecture et technologies

Reference : BD03
2 jours - 1160 €
Big Data – Architecture et technologies
Objectifs

  • comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

Pré requis

  • une bonne culture générale sur les systèmes d’information.

Modalités pédagogiques

Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques

Prochaines sessions
  • Le 5/09/2018
  • Le 14/11/2018
Inscription

Programmes de Big Data – Architecture et technologies

INTRODUCTION

  • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
  • Définition ETL : Extract Transform Load
  • Les acteurs

STOCKAGE

  • Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
  • Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
  • Les différents modes et formats de stockage.
  • Stockage réparti : réplication, sharping, gossip protocl, hachage
  • Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
  • Les bases de données
  • Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB

INDEXION ET RECHERCHE

  • Moteurs de recherche
  • Principe de fonctionnement
  • Méthodes d’indexation
  • Exemple de Lucene, et mise en œuvre avec solr
  • Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce

CALCUL ET RESTITUTION, INTEGRATION

  • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
  • Les produits : langage de calculs statistiques, R Statistics Language
  • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
  • Zoom sur Hadoop : complémentarité de HDMS et MapReduce

EVOLUTIONS

  • Les offres Saas BigData comme Google BigQuery
  • Les limites. Les nouveautés annoncées