Écosystème Big Data

18

Composants

7

Rubriques

100%

Open Source

PB+

Scalabilité

Bienvenue dans l'Explorateur Hadoop

Hadoop est bien plus qu'un simple outil — c'est un écosystème complet de composants interdépendants. Chaque "pièce du puzzle" joue un rôle précis. Cliquez sur un composant pour découvrir sa définition, ses objectifs, sa position dans l'architecture et des exemples concrets d'utilisation.

Stockage & Système de Fichiers

Couche fondamentale pour le stockage distribué massif des données.

3 composants

HDFS

Hadoop Distributed File System

Système de fichiers distribué conçu pour stocker de très grands fichiers sur un cluster de machines ordinaires. Il divis...

Stocker des données volumineuses (PB+) de faç... Garantir la haute disponibilité via la réplic...

Stockage & Système de Fichiers

YARN

Yet Another Resource Negotiator

Framework de gestion des ressources et d'ordonnancement des jobs dans un cluster Hadoop. Il sépare les responsabilités d...

Gérer et allouer les ressources CPU/RAM du cl... Ordonnancer les jobs de multiples utilisateur...

Stockage & Système de Fichiers

ZooKeeper

Apache ZooKeeper

Service de coordination distribué qui fournit des mécanismes de synchronisation, de configuration et de nommage pour les...

Gérer l'élection du leader (HA NameNode, HBas... Stocker les configurations partagées du clust...

Stockage & Système de Fichiers

Traitement & Calcul

Moteurs de calcul distribué pour traiter massivement les données.

3 composants

MapReduce

Hadoop MapReduce

Modèle de programmation et framework d'exécution pour le traitement parallèle de grands ensembles de données. Il décompo...

Traiter des fichiers de taille pétaoctets en ... Abstraire la complexité du calcul distribué...

Traitement & Calcul

Apache Spark

Moteur de traitement unifié, ultra-rapide, pour le traitement batch, le streaming, le machine learning et les graphes. U...

Traitement batch et streaming en temps réel... Machine Learning distribué (MLlib)...

Traitement & Calcul

Apache Tez

Framework d'exécution de DAG (Directed Acyclic Graph) conçu comme moteur d'exécution optimisé pour Hive et Pig. Remplace...

Accélérer les requêtes Hive (5-10× vs MapRedu... Réduire la latence des workflows ETL complexe...

Traitement & Calcul

Requêtage & Analyse

Interfaces SQL et outils d'analyse pour interroger les données distribuées.

3 composants

Apache Hive

Infrastructure de datawarehouse construite sur Hadoop qui fournit une interface SQL (HiveQL) pour interroger et gérer de...

Permettre aux analystes d'interroger HDFS via... Gérer le schéma des données (Metastore)...

Requêtage & Analyse

Apache Pig

Plateforme de haut niveau pour créer des programmes MapReduce avec le langage Pig Latin. Conçu pour les développeurs ETL...

Simplifier l'écriture de pipelines ETL comple... Traiter des données semi-structurées et non-s...

Requêtage & Analyse

Apache Impala

Moteur de requêtes SQL massivement parallèle conçu pour des analyses interactives sur HDFS et HBase. Contrairement à Hiv...

Requêtes SQL interactives en secondes (vs min... Analyses BI ad-hoc sur des téraoctets de donn...

Requêtage & Analyse

Ingestion & Collecte

Outils pour collecter et importer des données depuis diverses sources.

3 composants

Apache Sqoop

Outil de transfert de données bidirectionnel entre des bases de données relationnelles (MySQL, Oracle, PostgreSQL, SQL S...

Importer des tables relationnelles dans HDFS/... Exporter des résultats Hadoop vers des SGBD...

Ingestion & Collecte

Apache Flume

Service distribué, fiable et disponible pour collecter, agréger et transporter des flux de données de log (données event...

Collecter des logs en temps réel depuis des c... Agréger des flux d'événements vers HDFS ou HB...

Ingestion & Collecte

Apache Kafka

Plateforme de streaming d'événements distribuée, haute performance et durabilité. Kafka fonctionne comme un bus de messa...

Ingérer des millions d'événements par seconde... Découpler les systèmes producteurs et consomm...

Ingestion & Collecte

Bases NoSQL

Bases de données distribuées pour les accès à faible latence.

2 composants

Apache HBase

Base de données NoSQL distribuée orientée colonnes, construite sur HDFS. Inspiré de Google BigTable, HBase offre des acc...

Accès aléatoire rapide (ms) sur des milliards... Stocker des données time-series et des profil...

Apache Cassandra

Apache Cassandra

Base de données NoSQL distribuée, masterless, conçue pour la haute disponibilité et la scalabilité linéaire. Inspirée de...

Haute disponibilité (zéro single point of fai... Scalabilité linéaire (ajouter des nœuds = +pe...

Orchestration & Workflow

Planification et automatisation des pipelines de données.

2 composants

Apache Oozie

Système de planification de workflows pour Hadoop. Oozie orchestre des pipelines de jobs Hadoop (MapReduce, Hive, Pig, S...

Orchestrer des pipelines multi-étapes complex... Planifier des jobs selon des calendriers (cro...

Orchestration & Workflow

Apache Airflow

Plateforme d'orchestration de workflows programmatique. Les DAGs (Directed Acyclic Graphs) sont définis en Python, offra...

Définir des pipelines en Python (code, pas XM... Interface web riche pour monitoring et debugg...

Orchestration & Workflow

Sécurité & Gouvernance

Protection, authentification et gouvernance des données.

2 composants

Apache Ranger

Framework centralisé de sécurité pour l'écosystème Hadoop. Ranger fournit une gestion fine des accès (RBAC/ABAC) via une...

Gestion centralisée des politiques de sécurit... Contrôle d'accès au niveau ligne et colonne (...

Sécurité & Gouvernance

Apache Atlas

Plateforme de gouvernance et gestion des métadonnées pour l'écosystème Hadoop. Atlas fournit un catalogue de données, le...

Cataloguer et découvrir les datasets du clust... Tracer le lineage des données (origine → tran...

Sécurité & Gouvernance

Visualiser l'Architecture Complète

Découvrez comment tous ces composants s'interconnectent dans un écosystème cohérent.

Vue Architecture Comparer les outils