[wpms_breadcrumb reverse="0"]
Les tendances du BIG DATA

Big Data – Architecture et technologies

Reference : BD03
2 jours - 1200 € HT
Prochaines sessions
  • Le 24/09/2019
  • Le 19/11/2019
Big Data – Architecture et technologies
Objectifs

  • comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

Pré requis

  • une bonne culture générale sur les systèmes d’information.

Modalités pédagogiques

Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques

Inscription

Programmes de Big Data – Architecture et technologies

INTRODUCTION

  • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
  • Définition ETL : Extract Transform Load
  • Les acteurs

STOCKAGE

  • Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
  • Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
  • Les différents modes et formats de stockage.
  • Stockage réparti : réplication, sharping, gossip protocl, hachage
  • Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
  • Les bases de données
  • Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB

INDEXION ET RECHERCHE

  • Moteurs de recherche
  • Principe de fonctionnement
  • Méthodes d’indexation
  • Exemple de Lucene, et mise en œuvre avec solr
  • Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce

CALCUL ET RESTITUTION, INTEGRATION

  • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
  • Les produits : langage de calculs statistiques, R Statistics Language
  • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
  • Zoom sur Hadoop : complémentarité de HDMS et MapReduce

EVOLUTIONS

  • Les offres Saas BigData comme Google BigQuery
  • Les limites. Les nouveautés annoncées