Spark - Fehler "In Ihrer Konfiguration muss eine Master-URL festgelegt sein" beim Senden einer App

Ich habe eine Spark-App, die im lokalen Modus problemlos ausgeführt wird, aber beim Senden an den Spark-Cluster einige Probleme hat.

Die Fehlermeldung lautet wie folgt:

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
    at GroupEvolutionES$.<init>(GroupEvolutionES.scala:37)
    at GroupEvolutionES$.<clinit>(GroupEvolutionES.scala)
    ... 14 more

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 5.0 in stage 0.0 (TID 5, cluster-node-02): java.lang.NoClassDefFoundError: Could not initialize class GroupEvolutionES$
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

Im obigen Code GroupEvolutionESist die Hauptklasse. Die Fehlermeldung lautet "Eine Master-URL muss in Ihrer Konfiguration festgelegt sein", aber ich habe den Parameter "--master" für angegeben spark-submit.

Wer weiß, wie man dieses Problem behebt?

Spark-Version: 1.6.1

Wo ist das sparkContext-Objekt definiert, befindet es sich innerhalb der Hauptfunktion?

Auch ich hatte das gleiche Problem. Der Fehler, den ich gemacht habe, war, dass ich den sparkContext außerhalb der Hauptfunktion und innerhalb der Klasse initiiert habe.

Als ich es innerhalb der Hauptfunktion initiierte, funktionierte es einwandfrei.

Die TLDR:

.config("spark.master", "local")

eine Liste der Optionen für spark.master in spark 2.2.1

Ich bin auf dieser Seite gelandet, nachdem ich versucht hatte, ein einfaches Spark SQL-Java-Programm im lokalen Modus auszuführen. Zu diesem Zweck stellte ich fest, dass ich spark.master mit folgenden Einstellungen festlegen konnte:

SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.config("spark.master", "local")
.getOrCreate();

Ein Update zu meiner Antwort:

Dies ist in einer Produktionsumgebung nicht das, was Sie tun sollten. In einer Produktionsumgebung sollte spark.master an einer von mehreren anderen Stellen angegeben werden: entweder in $ SPARK_HOME / conf / spark-defaults.conf (hier wird es von Cloudera Manager abgelegt) oder in der Befehlszeile, wenn Sie es senden die App. (ex Spark-Submit - Master-Garn).

Wenn Sie spark.master auf diese Weise als 'lokal' angeben, versucht spark, in einem einzelnen JVM ausgeführt zu werden, wie in den Kommentaren unten angegeben. Wenn Sie dann versuchen, --deploy-mode cluster anzugeben, wird die Fehlermeldung angezeigt, dass der Cluster-Bereitstellungsmodus nicht mit dem Master "local" kompatibel ist. Dies liegt daran, dass das Setzen von spark.master = local bedeutet, dass Sie NICHT im Cluster-Modus ausgeführt werden.

Stattdessen sollten Sie für eine Produktions-App innerhalb Ihrer Hauptfunktion (oder in Funktionen, die von Ihrer Hauptfunktion aufgerufen werden) einfach Folgendes verwenden:

SparkSession
.builder()
.appName("Java Spark SQL basic example")
.getOrCreate();

Hierbei werden die in der Befehlszeile / in den Konfigurationsdateien angegebenen Konfigurationen verwendet.

Um dies auch klar zu machen: --master und "spark.master" sind genau dieselben Parameter, die nur auf unterschiedliche Weise angegeben wurden. Das Setzen von spark.master im Code, wie in meiner obigen Antwort, überschreibt Versuche, --master festzulegen, und überschreibt Werte in der spark-defaults.conf. Tun Sie dies also nicht in der Produktion. Es ist großartig für Tests.

Siehe auch diese Antwort . die Links zu einer Liste der Optionen für spark.master und was jeder tatsächlich tut.

eine Liste der Optionen für spark.master in spark 2.2.1

Arbeitete für mich nach dem Ersetzen

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");

mit

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

Diese Lösung wurde in einem anderen Thread im Stackoverflow gefunden.

Der Standardwert von "spark.master" ist spark: // HOST: PORT. Der folgende Code versucht, eine Sitzung von dem eigenständigen Cluster abzurufen , der bei HOST: PORT ausgeführt wird , und erwartet, dass sich der Wert für HOST: PORT im befindet Spark-Konfigurationsdatei.

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .getOrCreate();

" org.apache.spark.SparkException: In Ihrer Konfiguration muss eine Master-URL festgelegt sein " besagt, dass HOST: PORT nicht in der Spark-Konfigurationsdatei festgelegt ist.

Um den Wert von "HOST: PORT" nicht zu beeinträchtigen , setzen Sie spark.master als lokal

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .config("spark.master", "local")
    .getOrCreate();

Hier ist der Link für die Liste der Formate, in denen die Master-URL an spark.master übergeben werden kann

Referenz: Spark Tutorial - Spark Ecosystem einrichten

Wenn Sie eine eigenständige Anwendung ausführen, müssen Sie SparkContextstattdessen verwendenSparkSession

val conf = new SparkConf().setAppName("Samples").setMaster("local")
val sc = new SparkContext(conf)
val textData = sc.textFile("sample.txt").cache()

Fügen .setMaster("local")Sie einfach Ihren Code wie unten gezeigt hinzu:

val conf = new SparkConf().setAppName("Second").setMaster("local") 

Es hat bei mir funktioniert! Viel Spaß beim Codieren!

Wie wählt der Funkenkontext in Ihrer Anwendung den Wert für den Funkenmaster aus?

• Sie können es entweder explizit SparkConfbeim Erstellen von SC bereitstellen .
• Oder es wählt aus dem System.getProperties(wo SparkSubmit es früher nach dem Lesen Ihres --masterArguments gesetzt hat).

Läuft jetzt SparkSubmitauf dem Treiber - in Ihrem Fall auf dem Computer, auf dem Sie das spark-submitSkript ausführen . Und das funktioniert wahrscheinlich auch für Sie wie erwartet.

Aus den von Ihnen veröffentlichten Informationen geht jedoch hervor, dass Sie in dem Code, der an den Executor gesendet wird, einen Spark-Kontext erstellen. Da dort keine spark.masterSystemeigenschaft verfügbar ist, schlägt dies fehl. (Und das sollten Sie eigentlich nicht tun, wenn dies der Fall ist.)

Können Sie bitte den GroupEvolutionESCode posten (speziell dort, wo Sie ihn erstellen SparkContext(s)) ?

Ersetzen:

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");
WITH
SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

Hat die Magie.

Ich hatte das gleiche Problem. Hier ist mein Code vor der Änderung:

package com.asagaama

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD

/**
  * Created by asagaama on 16/02/2017.
  */
object Word {

  def countWords(sc: SparkContext) = {
    // Load our input data
    val input = sc.textFile("/Users/Documents/spark/testscase/test/test.txt")
    // Split it up into words
    val words = input.flatMap(line => line.split(" "))
    // Transform into pairs and count
    val counts = words.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }
    // Save the word count back out to a text file, causing evaluation.
    counts.saveAsTextFile("/Users/Documents/spark/testscase/test/result.txt")
  }

  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("wordCount")
    val sc = new SparkContext(conf)
    countWords(sc)
  }

}

Und nach dem Ersetzen:

val conf = new SparkConf().setAppName("wordCount")

Mit:

val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]")

Es hat gut funktioniert!

var appName:String ="test"
val conf = new SparkConf().setAppName(appName).setMaster("local[*]").set("spark.executor.memory","1g");
val sc =  SparkContext.getOrCreate(conf)
sc.setLogLevel("WARN")

Versuche dies

Merkmal machen

import org.apache.spark.sql.SparkSession
trait SparkSessionWrapper {
   lazy val spark:SparkSession = {
      SparkSession
        .builder()
        .getOrCreate()
    }
}

erweitert es

object Preprocess extends SparkSessionWrapper {

Es fehlt der zu setzende setMaster ("local [*]") . Sobald wir hinzugefügt haben, wird das Problem behoben.

Problem:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

Lösung:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .master("local[*]")
      .getOrCreate()

Wenn Sie folgenden Code verwenden

 val sc = new SparkContext(master, "WordCount", System.getenv("SPARK_HOME"))

Dann durch folgende Zeilen ersetzen

  val jobName = "WordCount";
  val conf = new SparkConf().setAppName(jobName);
  val sc = new SparkContext(conf)

In Spark 2.0 können Sie folgenden Code verwenden

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .master("local[*]")// need to add
  .getOrCreate()

Sie müssen .master ("local [*]") hinzufügen, wenn das Ausführen von local hier * alle Knoten bedeutet. Sie können insted of 8 1,2 usw.

Sie müssen die Master-URL festlegen, wenn Sie sich im Cluster befinden

Wenn Sie in JavaSparkContext keine Spark-Konfiguration bereitstellen, wird dieser Fehler angezeigt. Das heißt: JavaSparkContext sc = neuer JavaSparkContext ();

Lösung: Stellen Sie JavaSparkContext bereit sc = new JavaSparkContext (conf);