Exemples de ruche et de fil sur Spark

Dans ce blog, nous allons exécuter des exemples Hive et Yarn sur Spark. Tout d'abord, créez Hive et Yarn sur Spark, puis vous pouvez exécuter des exemples Hive et Yarn sur Spark.

Nous avons appris à Construisez Hive and Yarn sur Spark . Maintenant, essayons des exemples Hive et Yarn sur Spark.





Learn-Spark-Now

Exemple de Hive sur Spark

Nous allons exécuter un exemple de Hive sur Spark. Nous allons créer une table, charger des données dans cette table et exécuter une requête simple. Lorsque vous travaillez avec Hive, il faut construire un HiveContext qui hérite de SQLContext .



Commander: cd spark-1.1.1

Commander: ./bin/spark-shell



Créer un fichier d'entrée 'échantillon' dans votre répertoire personnel comme ci-dessous snapshot (séparé par des tabulations).

Commander: val sqlContext = nouveau org.apache.spark.sql.hive.HiveContext (sc)

Commander: sqlContext.sql ('CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY' 'LINES TERMINATED BY'
«»)

comment faire une alerte en javascript

Commander: sqlContext.sql ('LOAD DATA LOCAL INPATH' / home / edureka / sample 'INTO TABLE test')

Commander: sqlContext.sql («SELECT * FROM test WHERE rang<5”).collect().foreach(println)

Exemple de fil sur Spark

Nous allons exécuter l'exemple SparkPi sur Yarn. Nous pouvons déployer Yarn sur Spark dans deux modes: le mode cluster et le mode client. En mode Yarn-cluster, le pilote Spark s'exécute dans un processus maître d'application qui est géré par Yarn sur le cluster, et le client peut disparaître après le lancement de l'application. En mode client-yarn, le pilote s'exécute dans le processus client et le maître d'application n'est utilisé que pour demander des ressources à Yarn.

comment créer une chaîne aléatoire en java

Commander: cd spark-1.1.1

Commander: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

Après avoir exécuté la commande ci-dessus, veuillez attendre un certain temps jusqu'à ce que vous obteniez RÉUSSI message.

Feuilleter localhost: 8088 / cluster et cliquez sur l'application Spark.

Cliquer sur journaux .

Cliquer sur stdout pour vérifier la sortie.

Pour déployer Yarn sur Spark en mode client, faites simplement –Deploy-mode comme 'client'. Maintenant, vous savez comment créer Hive and Yarn sur Spark. Nous avons également fait des travaux pratiques sur eux.

Vous avez une question pour nous? Veuillez les mentionner dans la section commentaires et nous vous recontacterons.

Articles Similaires

Apache Spark avec Hadoop - Pourquoi est-ce important?

apprendre ssis étape par étape

Hive & Yarn sont électrifiés par Spark