Les tendances du BIG DATA
Big Data – Architecture et technologies
Reference : BD03
2 jours - 1200 € HT Prochaines sessions
- Le 19/11/2019
Objectifs
- comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.
Pré requis
- une bonne culture générale sur les systèmes d’information.
Modalités pédagogiques
Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques
Public visé
Inscription
Programmes de Big Data – Architecture et technologies
INTRODUCTION
- Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
- Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
- Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
- Définition ETL : Extract Transform Load
- Les acteurs
STOCKAGE
- Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
- Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
- Les différents modes et formats de stockage.
- Stockage réparti : réplication, sharping, gossip protocl, hachage
- Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
- Les bases de données
- Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB
INDEXION ET RECHERCHE
- Moteurs de recherche
- Principe de fonctionnement
- Méthodes d’indexation
- Exemple de Lucene, et mise en œuvre avec solr
- Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce
CALCUL ET RESTITUTION, INTEGRATION
- Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
- Les produits : langage de calculs statistiques, R Statistics Language
- Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
- Zoom sur Hadoop : complémentarité de HDMS et MapReduce
EVOLUTIONS
- Les offres Saas BigData comme Google BigQuery
- Les limites. Les nouveautés annoncées