Als «apache-spark» getaggte Fragen

Ich habe einen Datums-Pyspark-Datenrahmen mit einer Zeichenfolgenspalte im Format MM-dd-yyyyund versuche, diese in eine Datumsspalte zu konvertieren. Ich habe es versucht: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() und ich bekomme eine Folge von Nullen. Kann jemand helfen?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql 

Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie mit Fakten und Zitaten beantwortet werden kann, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 4 Jahren . Verbessere diese Frage Ich verwende derzeit Pandas und …

80 python  pandas  apache-spark  dask 

Ich bin neu mit Apache Spark und habe anscheinend Apache-Spark mit Homebrew in meinem MacBook installiert: Last login: Fri Jan 8 12:52:04 on console user@MacBook-Pro-de-User-2:~$ pyspark Python 2.7.10 (default, Jul 13 2015, 12:05:58) [GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin Type "help", "copyright", "credits" or "license" for more …

80 python  apache-spark  pyspark  pycharm  homebrew 

Ich versuche, Spark auf meinem Mac zu installieren. Ich habe Home Brew verwendet, um Spark 2.4.0 und Scala zu installieren. Ich habe PySpark in meiner Anaconda-Umgebung installiert und verwende PyCharm für die Entwicklung. Ich habe in mein Bash-Profil exportiert: export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1` export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec" export …

80 java  python  macos  apache-spark  pyspark 

Wie ich in Spark Dataframe weiß, kann dieser für mehrere Spalten denselben Namen haben, wie im folgenden Datenrahmen-Snapshot gezeigt: [ Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0})), Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, …

80 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Ich habe ein seltsames Verhalten meines Scala-Compilers bemerkt. Beim Kompilieren einer Klasse wird gelegentlich ein OutOfMemoryError ausgelöst. Hier ist die Fehlermeldung: [info] Compiling 1 Scala source to /Users/gruetter/Workspaces/scala/helloscala/target/scala-2.9.0/test-classes... java.lang.OutOfMemoryError: PermGen space Error during sbt execution: java.lang.OutOfMemoryError: PermGen space Es kommt nur gelegentlich vor und der Fehler wird normalerweise beim nachfolgenden …

79 scala  apache-spark  memory-management  sbt  scalatra-sbt 

Wenn Sie Scala in Spark verwenden und die Ergebnisse mit verwenden saveAsTextFile, scheint die Ausgabe in mehrere Teile aufgeteilt zu werden. Ich übergebe nur einen Parameter (Pfad). val year = sc.textFile("apat63_99.txt").map(_.split(",")(1)).flatMap(_.split(",")).map((_,1)).reduceByKey((_+_)).map(_.swap) year.saveAsTextFile("year") Entspricht die Anzahl der Ausgänge der Anzahl der verwendeten Reduzierungen? Bedeutet dies, dass die Ausgabe komprimiert ist? Ich …

78 scala  apache-spark 

Ich habe versucht, einen vernünftigen Weg zum Testen SparkSessionmit dem JUnit-Testframework zu finden. Obwohl es gute Beispiele dafür zu geben scheint SparkContext, konnte ich nicht herausfinden, wie ein entsprechendes Beispiel zum Laufen gebracht werden kann SparkSession, obwohl es an mehreren Stellen intern in der Funkenprüfbasis verwendet wird . Ich würde …

77 scala  unit-testing  apache-spark  junit  apache-spark-sql 

Ich bin neu in Apache Spark und habe gerade erfahren, dass Spark drei Arten von Clustern unterstützt: Standalone - das heißt, Spark verwaltet seinen eigenen Cluster YARN - mit dem YARN-Ressourcenmanager von Hadoop Mesos - Apaches dediziertes Ressourcenmanagerprojekt Da ich neu bei Spark bin, sollte ich zuerst Standalone ausprobieren . …

76 apache-spark  yarn  mesos  apache-spark-standalone 

Gibt es eine Möglichkeit, eine Aggregatfunktion auf alle (oder eine Liste von) Spalten eines Datenrahmens anzuwenden, wenn Sie a ausführen groupBy? Mit anderen Worten, gibt es eine Möglichkeit, dies für jede Spalte zu vermeiden: df.groupBy("col1") .agg(sum("col2").alias("col2"), sum("col3").alias("col3"), ...)

76 apache-spark  dataframe  apache-spark-sql  aggregate-functions 

Ich verwende Spark 1.3.1 (PySpark) und habe mithilfe einer SQL-Abfrage eine Tabelle generiert. Ich habe jetzt ein Objekt, das a ist DataFrame. Ich möchte dieses DataFrameObjekt (ich habe es "Tabelle" genannt) in eine CSV-Datei exportieren, damit ich es bearbeiten und die Spalten zeichnen kann. Wie exportiere ich die DataFrame"Tabelle" in …

76 python  apache-spark  dataframe  apache-spark-sql  export-to-csv 

Gibt es eine Möglichkeit, die aktuelle Anzahl der Partitionen eines DataFrame abzurufen? Ich habe das DataFrame-Javadoc (Spark 1.6) überprüft und keine Methode dafür gefunden, oder habe ich es einfach verpasst? (Im Fall von JavaRDD gibt es eine getNumPartitions () -Methode.)

74 apache-spark  dataframe  apache-spark-sql 

Bei Betrachtung der neuen Spark-Datenrahmen-API ist unklar, ob es möglich ist, Datenrahmenspalten zu ändern. Wie würde ich mich über einen Wert in der Zeile zu ändern xSpalte yeines Datenrahmens? In pandasdiesem wäredf.ix[x,y] = new_value Bearbeiten: Wenn Sie das unten Gesagte konsolidieren, können Sie den vorhandenen Datenrahmen nicht ändern, da er …

72 python  apache-spark  pyspark  apache-spark-sql  spark-dataframe 

Im Spark Standalone-Modus gibt es Master- und Worker-Knoten. Hier einige Fragen: Bedeutet 2 Worker-Instanz einen Worker-Knoten mit 2 Worker-Prozessen? Enthält jede Worker-Instanz einen Executor für eine bestimmte Anwendung (die Speicher, Aufgabe verwaltet) oder einen Worker-Knoten einen Executor? Gibt es ein Flussdiagramm, das erklärt, wie Spark zur Laufzeit funktioniert, z. B. …

72 apache-spark  apache-spark-standalone 

val items = List("a", "b", "c") sqlContext.sql("select c1 from table") .filter($"c1".isin(items)) .collect .foreach(println) Der obige Code löst die folgende Ausnahme aus. Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon List(a, b, c) at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49) at org.apache.spark.sql.functions$.lit(functions.scala:89) at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642) at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245) at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35) …

71 scala  apache-spark  apache-spark-sql