Oozie Définition

C’est un système de gestion de flux de travail open source pour les systèmes d’information Hadoop. Il fournit une plate-forme d’automatisation des processus métiers pour simplifier la gestion des tâches exécutées sur une plate-forme Hadoop.

Il a été initialement développé par Yahoo! en tant que projet opensource sous la Licence Apache 2.0. En 2012, Hortonworks a repris le développement et la maintenance du projet.

Oozie offre une fonctionnalité de workflow native pour Hadoop en fournissant une interface utilisateur graphique pour la définition des workflows. Les workflows sont décrits en utilisant le langage de définition de workflow Apache Hadoop (HDFS) et les tâches sont exécutées sur la plate-forme Hadoop en utilisant MapReduce, Pig, Hive, Sqoop et HDFS.

Il fournit également une fonctionnalité de coordonnateur pour automatiser le lancement périodique de workflows basés sur un calendrier. Les coordonnateurs peuvent être définis pour exécuter des workflows une fois, toutes les heures, tous les jours, toutes les semaines ou tous les mois.

Il permet aussi la définition de workflows paramétrés, ce qui permet de spécifier les paramètres d’un workflow lors de son exécution. Cela permet aux workflows de s’adapter à des données ou des environnements changeants.

Il offre une intégration native avec Hadoop Security et permet aux workflows d’être exécutés avec les mêmes privilèges que l’utilisateur qui les a lancés.

C’est entièrement compatible avec l’API REST et fournit une interface utilisateur Web pour le monitoring et la gestion des workflows.

C’est un projet Apache open source et est disponible sous la Licence Apache 2.0.

À quoi sert les flux ?

Les flux sont une façon de structurer les données afin quelles soient facilement accessibles et quelles puissent être traitées de manière efficace. Les flux peuvent être utilisés pour stocker des données de manière séquentielle ou parallèle, ce qui permet une lecture et un traitement plus efficaces.

Cest quoi Hadoop Security ?

Hadoop Security fait référence à la sécurité des données et des systèmes dans un environnement Hadoop. Il comprend la sécurité des données, l’authentification, l’autorisation et l’audit.

Oozie : Automatisation des Workflows pour Hadoop

Caractéristiques Utilisations
Plate-forme d'automatisation des processus métiers Simplification de la gestion des tâches Hadoop
Interface utilisateur graphique pour les workflows Définition de workflows en utilisant Hadoop (HDFS)
Coordonnateurs pour lancement périodique de workflows Automatisation basée sur le calendrier
Workflows paramétrés Adaptabilité à des données ou environnements changeants
Intégration native avec Hadoop Security Exécution avec les privilèges de l'utilisateur
Compatibilité avec l'API REST Interface utilisateur Web pour monitoring et gestion
Projet Apache open source Licence Apache 2.0

À quoi servent les flux ?

Les flux sont utilisés pour structurer les données afin de les rendre accessibles et traitables de manière efficace. Ils permettent un stockage séquentiel ou parallèle des données pour une lecture et un traitement optimisés.

Qu'est-ce que Hadoop Security ?

Hadoop Security englobe la sécurité des données et des systèmes dans un environnement Hadoop. Cela inclut la sécurité des données, l'authentification, l'autorisation et l'audit.

Cliquez ici pour prendre les mesures nécessaires pour réaliser votre projet dès maintenant.