Als «pyspark» getaggte Fragen

Ich habe einen Datums-Pyspark-Datenrahmen mit einer Zeichenfolgenspalte im Format MM-dd-yyyyund versuche, diese in eine Datumsspalte zu konvertieren. Ich habe es versucht: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() und ich bekomme eine Folge von Nullen. Kann jemand helfen?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql 

Ich bin neu mit Apache Spark und habe anscheinend Apache-Spark mit Homebrew in meinem MacBook installiert: Last login: Fri Jan 8 12:52:04 on console user@MacBook-Pro-de-User-2:~$ pyspark Python 2.7.10 (default, Jul 13 2015, 12:05:58) [GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on darwin Type "help", "copyright", "credits" or "license" for more …

80 python  apache-spark  pyspark  pycharm  homebrew 

Ich versuche, Spark auf meinem Mac zu installieren. Ich habe Home Brew verwendet, um Spark 2.4.0 und Scala zu installieren. Ich habe PySpark in meiner Anaconda-Umgebung installiert und verwende PyCharm für die Entwicklung. Ich habe in mein Bash-Profil exportiert: export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1` export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec" export …

80 java  python  macos  apache-spark  pyspark 

Wie ich in Spark Dataframe weiß, kann dieser für mehrere Spalten denselben Namen haben, wie im folgenden Datenrahmen-Snapshot gezeigt: [ Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0})), Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, …

80 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Ich versuche, die Größe / Form eines DataFrame in PySpark herauszufinden. Ich sehe keine einzige Funktion, die dies kann. In Python kann ich tun data.shape() Gibt es eine ähnliche Funktion in PySpark? Dies ist meine aktuelle Lösung, aber ich suche nach einem Element row_number = data.count() column_number = len(data.dtypes) Die …

75 dataframe  size  pyspark  shape 

Bei Betrachtung der neuen Spark-Datenrahmen-API ist unklar, ob es möglich ist, Datenrahmenspalten zu ändern. Wie würde ich mich über einen Wert in der Zeile zu ändern xSpalte yeines Datenrahmens? In pandasdiesem wäredf.ix[x,y] = new_value Bearbeiten: Wenn Sie das unten Gesagte konsolidieren, können Sie den vorhandenen Datenrahmen nicht ändern, da er …

72 python  apache-spark  pyspark  apache-spark-sql  spark-dataframe 

Das Ziel dieser Frage ist es zu dokumentieren: Schritte zum Lesen und Schreiben von Daten über JDBC-Verbindungen in PySpark mögliche Probleme mit JDBC-Quellen und bekannten Lösungen Mit kleinen Änderungen sollten diese Methoden mit anderen unterstützten Sprachen wie Scala und R funktionieren.

69 python  scala  apache-spark  apache-spark-sql  pyspark 

Um die Leistung von Spark bei Verwendung von Python und Scala zu vergleichen, habe ich denselben Job in beiden Sprachen erstellt und die Laufzeit verglichen. Ich hatte erwartet, dass beide Jobs ungefähr gleich lange dauern würden, aber der Python-Job dauerte nur 27min, während der Scala-Job dauerte 37min(fast 40% länger!). Ich …

16 python  scala  apache-spark  pyspark 

Was wäre der effizienteste Weg, um Millionen von Datensätzen einzufügen, beispielsweise 50 Millionen von einem Spark-Datenrahmen in Postgres-Tabellen. Ich habe dies in der Vergangenheit von Spark bis MSSQL getan, indem ich die Option für Massenkopien und Stapelgrößen verwendet habe, die ebenfalls erfolgreich war. Gibt es etwas Ähnliches, das für Postgres …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

Ich habe OpenJDK 13.0.1 und Python 3.8 installiert und Spark 2.4.4. Anweisungen zum Testen der Installation müssen im Stammverzeichnis der Spark-Installation ausgeführt werden. \ Bin \ pyspark. Ich bin mir nicht sicher, ob ich einen Schritt in der Funkeninstallation verpasst habe, z. B. das Festlegen einer Umgebungsvariablen, aber ich kann …

16 apache-spark  pyspark 

Ich habe vor kurzem eine Reihe von Fehlern bei einer Reihe von pysparkJobs erhalten, die auf EMR-Clustern ausgeführt werden. Die Fehler sind java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at …

12 pandas  apache-spark  pyspark  pyarrow 

Ich untersuche das Verhalten von Spark, wenn ich einen Tisch mit sich selbst verbinde. Ich benutze Databricks. Mein Dummy-Szenario ist: Lesen Sie eine externe Tabelle als Datenrahmen A (zugrunde liegende Dateien sind im Delta-Format) Definieren Sie Datenrahmen B als Datenrahmen A, wobei nur bestimmte Spalten ausgewählt sind Verbinden Sie die …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake