Apache Falcon: nouvelle plateforme de gestion de données pour l'écosystème Hadoop

Apache Falcon est une nouvelle plateforme de gestion de données pour l'écosystème Hadoop qui simplifie le traitement des flux d'intégration et la gestion des flux sur les clusters hadoop. Apprenez à le configurer.



Apache Falcon est un framework de gestion du cycle de vie des données dans les clusters Hadoop. Il établit une relation entre divers éléments de données et de traitement dans un environnement Hadoop, et fournit également des services de gestion des flux tels que la rétention des flux, les réplications entre les clusters, l'archivage, etc.



Voyons d'abord comment configurer Apache Falcon. Exécutez la commande ci-dessous pour télécharger le référentiel git de Falcon:

Commander: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Pour exécuter Falcon, vous devez d'abord le construire.

Commander: cd faucon



Commander: export MAVEN_OPTS = '- Xmx1024m -XX: MaxPermSize = 256m -noverify' && mvn installation propre -DskipTests

Commander: mvn clean assembly: assembly -DskipTests -DskipITs

Une fois que vous avez construit falcon, vous trouverez un paquet falcon dans le répertoire / falcon / distro / target /.

Les commandes de construction de Falcon semblent très simples, mais vous rencontrerez de nombreux problèmes avant de voir le message Build Success. J'ai rencontré beaucoup de problèmes lors de sa construction pour Hadoop-2.2.0

Donc, pour éviter la douleur de la construction de Falcon, je vous donne un package Falcon construit avec succès, que vous pouvez télécharger en utilisant le lien ci-dessous.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Décompressez le fichier pour obtenir le répertoire falcon-0.10.

Commander: décompressez falcon-0.10-SNAPSHOT.zip

Définissez les variables d'environnement flacon dans le fichier .bashrc.

Commander: sudo gedit .bashrc

Commander: source .bashrc

Vous pouvez aller dans le répertoire falcon et voir les fichiers et répertoires qu'il contient.

Commander: cd falcon-0.10-INSTANTANÉ /

Commander: ls

Vous pouvez trouver des scripts Falcon dans le répertoire bin.

Exécutez la commande ci-dessous pour démarrer Falcon.

Commander: ./bin/falcon-start

étend et implémente ensemble en java

Vous verrez un nouveau démon FalconServer en cours d’exécution.

Commande: jps

Commander: ./bin/falcon admin -version

Ouvrez votre navigateur et accédez à hôte local: 15000 . Vous pouvez voir l'interface utilisateur Web Falcon.

Vous avez une question pour nous? Mentionnez-les dans la section commentaires et nous vous répondrons.

Articles Similaires:

Exploration vers le bas sur Apache Drill