[wpms_breadcrumb reverse="0"]
Formation numérique

Kafka, ingestion et traitement de messages

Reference : KAITM
1 jour - 680 € € HT
Prochaines sessions
  • Le 21/09/2020
  • Le 20/11/2020
Kafka, ingestion et traitement de messages
Objectifs

  • Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.

Pré requis

  • Connaissance de l’écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)

Modalités pédagogiques

Cours dispensé en mode présentiel avec une alternance d’apports théoriques et méthodologiques, et de mises en situations pratiques

Public visé
  • Chefs de projet, développeurs souhaitant mettre en œuvre kafka pour la distribution de messages
Inscription

Programmes de Kafka, ingestion et traitement de messages

Introduction

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
    Présentation de l’achitecture et du rôle de chaque composant :
    broker, producer, consumer
    Liaison avec Zookeeper

Mise en oeuvre

  • Préconisations d’installation et prérequis
    Travaux pratiques:
    installation et lancement de zookeeper et du kafka-server,
    Création d’un topic simple,
    Mise en oeuvre d’une chaîne de base.
    Visualisation des messages avec kafka-console-consumer

Multi-broker

  • Etude de la configuration du broker
    Travaux pratiques :
    création d’une configuration multi-broker,
    démarrage de plusieurs noeuds

La réplication

  • Facteur de réplication
    Partitions
    Travaux pratiques:
    tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect

  • Présentation des fonctionnalités : intégration de données d’origines multiples,
    modes de fonctionnement (standalone ou distribué)
    Travaux pratiques :
    configuration de connecteurs, ingestion de données,
    création d’une chaîne de transformation

Kafka Streams

  • Les apports de Kafka Streams: applications temps réel et microservices