Wie drucke ich den Inhalt von RDD?

Ich versuche, den Inhalt einer Sammlung auf der Spark-Konsole zu drucken.

Ich habe einen Typ:

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

Und ich benutze den Befehl:

scala> linesWithSessionId.map(line => println(line))

Aber das ist gedruckt:

res1: org.apache.spark.rdd.RDD [Unit] = MappedRDD [4] auf der Karte um: 19

Wie kann ich das RDD auf die Konsole schreiben oder auf der Festplatte speichern, um den Inhalt anzuzeigen?

Wenn Sie den Inhalt einer RDD anzeigen möchten, können Sie Folgendes verwenden collect():

myRDD.collect().foreach(println)

Das ist jedoch keine gute Idee, wenn die RDD Milliarden von Leitungen hat. Verwenden Sie take()zum Ausdrucken nur wenige:

myRDD.take(n).foreach(println)

Die mapFunktion ist eine Transformation . Dies bedeutet, dass Spark Ihre RDD erst dann auswertet, wenn Sie eine Aktion darauf ausführen .

Zum Drucken können Sie Folgendes verwenden foreach(was eine Aktion ist):

linesWithSessionId.foreach(println)

Um es auf die Festplatte zu schreiben, können Sie eine der saveAs...Funktionen (Standbildaktionen) der RDD-API verwenden

Wenn Sie dies in einem Cluster ausführen, printlnwird nicht in Ihren Kontext zurückgedruckt. Sie müssen die RDDDaten zu Ihrer Sitzung bringen. Dazu können Sie es in ein lokales Array zwingen und dann ausdrucken:

linesWithSessionId.toArray().foreach(line => println(line))

Sie können Ihre RDDin eine DataFramedann show()es konvertieren .

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

Dies zeigt die obersten 20 Zeilen Ihrer Daten an, sodass die Größe Ihrer Daten kein Problem darstellen sollte.

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

Es gibt wahrscheinlich viele architektonische Unterschiede zwischen myRDD.foreach(println)und myRDD.collect().foreach(println)(nicht nur "sammeln", sondern auch andere Aktionen). Einer der Unterschiede, die ich gesehen habe, ist myRDD.foreach(println), dass die Ausgabe in zufälliger Reihenfolge erfolgt. Zum Beispiel: Wenn meine Festplatte aus einer Textdatei stammt, in der jede Zeile eine Nummer hat, hat die Ausgabe eine andere Reihenfolge. Aber wenn ich das getan habe myRDD.collect().foreach(println), bleibt die Reihenfolge genauso wie die Textdatei.

In Python

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

Dadurch wird der gesamte Inhalt der RDD ausgedruckt

c.take(10)

und Spark neuere Version wird Tabelle schön zeigen.

Anstatt jedes Mal zu tippen, können Sie;

[1] Erstellen Sie eine generische Druckmethode in Spark Shell.

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2] Oder noch besser: Mit impliziten Elementen können Sie die Funktion der RDD-Klasse hinzufügen, um deren Inhalt zu drucken.

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

Anwendungsbeispiel:

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

Ausgabe:

2
6
4
8

Wichtig

Dies ist nur sinnvoll, wenn Sie im lokalen Modus und mit einer kleinen Datenmenge arbeiten. Andernfalls können Sie die Ergebnisse entweder nicht auf dem Client sehen oder haben aufgrund des großen Dataset-Ergebnisses nicht genügend Arbeitsspeicher.

Sie können auch als Datei speichern: rdd.saveAsTextFile("alicia.txt")

In der Java-Syntax:

rdd.collect().forEach(line -> System.out.println(line));