Programmierung apache-spark-standalone

Welchen Clustertyp soll ich für Spark wählen?

Ich bin neu in Apache Spark und habe gerade erfahren, dass Spark drei Arten von Clustern unterstützt: Standalone - das heißt, Spark verwaltet seinen eigenen Cluster YARN - mit dem YARN-Ressourcenmanager von Hadoop Mesos - Apaches dediziertes Ressourcenmanagerprojekt Da ich neu bei Spark bin, sollte ich zuerst Standalone ausprobieren . …

76 apache-spark yarn mesos apache-spark-standalone

Welche Beziehung besteht zwischen Arbeitnehmern, Arbeiterinstanzen und Ausführenden?

Im Spark Standalone-Modus gibt es Master- und Worker-Knoten. Hier einige Fragen: Bedeutet 2 Worker-Instanz einen Worker-Knoten mit 2 Worker-Prozessen? Enthält jede Worker-Instanz einen Executor für eine bestimmte Anwendung (die Speicher, Aufgabe verwaltet) oder einen Worker-Knoten einen Executor? Gibt es ein Flussdiagramm, das erklärt, wie Spark zur Laufzeit funktioniert, z. B. …

72 apache-spark apache-spark-standalone

Als «apache-spark-standalone» getaggte Fragen