Hive & Yarn sont électrifiés par Spark

Dans ce blog Apache Spark et Big Data, voyons comment créer Spark pour une version Hadoop spécifique. Nous apprendrons également comment créer Spark pour YARN et HIVE.

Dans ce blog, voyons comment créer Spark pour une version Hadoop spécifique.



Nous apprendrons également à construire Spark avec HIVE et YARN.



KM

java exemple d'attente et de notification

Considérant que vous avez Hadoop, jdk, mvn et aller préinstallé et préconfiguré sur votre système.



configure-Building-Yarn-and-Hive-on-Spark

Ouvert Navigateur Mozilla et télécharger Étincelle en utilisant le lien ci-dessous.

https://edureka.wistia.com/medias/k14eamzaza/



Terminal ouvert.

Commande: tar -xvf Downloads / spark-1.1.1.tgz

Commande: ls

Ouvrez le répertoire spark-1.1.1.

Tu peux ouvrir pom.xml fichier. Ce fichier vous donne les informations sur tous les dépendances vous avez besoin.

Ne le modifiez pas pour éviter les ennuis.

Commande: cd spark-1.1.1 /

Commande: sudo gedit sbt / sbt-launch-lib.bash

Modifiez le fichier comme ci-dessous, enregistrez-le et fermez-le.

Nous réduisons la mémoire pour éviter les problèmes d'espace de tas d'objets, comme mentionné dans l'instantané ci-dessous.

Maintenant, exécutez la commande ci-dessous dans le terminal pour créer spark pour Hadoop 2.2.0 avec HIVE et YARN.

Commande: ./sbt/sbt -P fil -P ruche -Phadoop-2.2 -D hadoop.version = 2,2,0 -D sauterTests Assemblée

Remarque: Ma version Hadoop est 2.2.0, vous pouvez la changer en fonction de votre version Hadoop.

Pour les autres versions de Hadoop

# Apache Hadoop 2.0.5-alpha

-Dhadoop.version = 2.0.5-alpha

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0.23 -Dhadoop.version = 0.23.7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Cela prendra un certain temps pour la compilation et l'empaquetage, veuillez attendre qu'il se termine.

Deux pots spark-assembly-1.1.1-hadoop2.2.0.jar et spark-examples-1.1.1-hadoop2.2.0.jar est créé.

Chemin de spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Chemin de spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Félicitations, vous avez construit avec succès Spark pour Hive & Yarn.

Vous avez une question pour nous? Veuillez les mentionner dans la section commentaires et nous vous recontacterons.

Articles Similaires:

Apache Spark avec Hadoop - Pourquoi est-ce important?