RB8 - Storm, développer pour le Big Data

Reference RB8

Length 3 days

Modality Formations catalogue

2000 €

SKU: RB8 Categories: ,

target Objectives

Traiter en temps réel des données placées dans le Cloud.

Coordonner des échanges

Développer des services pour le Cloud.

Synchroniser des données entre un Cloud privé et un réseau social.

tablet Prerequistes

Il est important d'avoir une expérience dans le développement, si possible en Java. Une compréhension des problèmes liés au Big Data est un plus.

check Description

Vous apprendrez dans cette formation à développer des applications vous permettant de traiter en temps réel des données et services placés dans le Cloud. Vous découvrirez également les atouts de Storm par rapport au Big Data traditionnel et comprendrez son système de calcul distribué temps réel.

check user Audience profile

Développeurs, architectes.

Discover lesson plan

Le Big Data

Définition du périmètre du Big Data. Le projet Hadoop, positionnement du projet Storm.
Les concepts de base des projets Big Data.
Différence entre Cloud Computing privé et public.
Les architectures Big Data à base du projet Storm.
Démonstration

Exemples d’utilisation de Storm.

Introduction au projet Apache Storm

Définition de l’environnement de développement.
Création de projets basés sur Storm.
Définition des composants Storm (spout et bolt).
Définition des flux Storm.
Modèle de données (clé, valeur).
Travaux pratiques

Utiliser l’API Storm pour gérer les enregistrements d’utilisateurs.

Scalabilité horizontale

Définition de la haute disponibilité.
Les topologies possibles.
Parallélisation des calculs et traitement de données.
Scalabilité des serveurs Web.
Utilisation de Storm cluster.
Scalabilité des bases de données.
Travaux pratiques

Gérer la montée en charge via l’augmentation des serveurs Web.

Traitement des messages garantis

Définition d’un message “entièrement traité”.
Cycle de vie d’un message.
L’API Storm pour la définition de la fiabilité.
Stratégie de mise en place de la fiabilité pour une application utilisant le Big Data.
Travaux pratiques

Réguler les messages client et assurer leur suivi.

Tolérance aux pannes

Gestion des bolts.
Le projet Apache Kafka.
Définition des transactions.
Topologie transactionnelle et Storm cluster.
Rôles des Nimbus et ZooKeeper.
Travaux pratiques

Utiliser ZooKeeper pour la négociation distribuée.

Développement de services pour le Cloud

Programmation de services avec les différents langages Clojure, Java, Ruby, Python.
Introduction à de nouveaux langages.
Travaux pratiques

Appliquer l’interopérabilité dans le Big Data temps réel.

L’architecture Kafka

L’aperçu de Kafka Producers, Brokers, Consumers.
Les fichiers journaux de Kafka.
Les schémas Avro.
Utilisation de ZooKeeper.
Travaux pratiques

Étude de la configuration de Kafka dans l’architecture KAPPA.

Interconnexion avec les réseaux sociaux

L’utilisation de Twitter4J.
Configuration de la sécurité d’accès.
Gestion d’événements avec Storm.
Définition de callback.
Travaux pratiques

Synchroniser des données entre un Cloud privé et un réseau social.

Related training