[wpms_breadcrumb reverse="0"]
Les tendances du BIG DATA

Big Data – Architecture et technologies

Reference : BD03
2 jours - 1 230 €  € HT Télécharger la fiche
Prochaines sessions
    Big Data – Architecture et technologies
    Objectifs

    • comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

    Pré requis

    • une bonne culture générale sur les systèmes d’information.

    Modalités pédagogiques

    Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques

    Public visé
    Inscription

    Programmes de Big Data – Architecture et technologies

    INTRODUCTION

    • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau, liés aux nouvelles technologies et aux nouveaux usages
    • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, …
    • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
    • Définition ETL : Extract Transform Load
    • Les acteurs

    STOCKAGE

    • Caractéristiques NoSQL : Structure de données proches des utilisateurs, développeurs
    • Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, …
    • Les différents modes et formats de stockage.
    • Stockage réparti : réplication, sharping, gossip protocl, hachage
    • Systèmes de fichiers distribués : GFS, HDFS, BigTable, …
    • Les bases de données
    • Quelques exemples de produits et leurs caractéritiques : cassandra, MongoDB, CouchDB,DynamoDB

    INDEXION ET RECHERCHE

    • Moteurs de recherche
    • Principe de fonctionnement
    • Méthodes d’indexation
    • Exemple de Lucene, et mise en œuvre avec solr
    • Recherche dans les bases de volumes importants : exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce

    CALCUL ET RESTITUTION, INTEGRATION

    • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
    • Les produits : langage de calculs statistiques, R Statistics Language
    • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
    • Zoom sur Hadoop : complémentarité de HDMS et MapReduce

    EVOLUTIONS

    • Les offres Saas BigData comme Google BigQuery
    • Les limites. Les nouveautés annoncées