Big Data – Architecture et technologies

Reference : BD03

2 jours - 1 230 € € HT Télécharger la fiche

Prochaines sessions

Objectifs

comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

Pré requis

Modalités pédagogiques

Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques

Certification

non

Public visé

Inscription

Programmes de Big Data – Architecture et technologies

Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
Définition ETL : Extract Transform Load
Les acteurs

Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
Les différents modes et formats de stockage.
Stockage réparti : réplication, sharping, gossip protocl, hachage
Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
Les bases de données
Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB

Moteurs de recherche
Principe de fonctionnement
Méthodes d’indexation
Exemple de Lucene, et mise en œuvre avec solr
Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce

Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
Les produits : langage de calculs statistiques, R Statistics Language
Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
Zoom sur Hadoop : complémentarité de HDMS et MapReduce