Ersetzen Sie alle numerischen Werte in einem Pyspark-Datenrahmen durch einen konstanten Wert

Stellen Sie sich einen Pyspark-Datenrahmen vor, der aus 'Null'-Elementen und numerischen Elementen besteht. Im Allgemeinen haben die numerischen Elemente unterschiedliche Werte. Wie ist es möglich, alle numerischen Werte des Datenrahmens durch einen konstanten numerischen Wert zu ersetzen (zum Beispiel durch den Wert 1)? Danke im Voraus!

Beispiel für den pyspark-Datenrahmen:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$$

Das Ergebnis sollte sein:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Die Verwendung litwürde alle Werte der Spalte in den angegebenen Wert konvertieren.

Um dies nur für Nicht-Null-Werte des Datenrahmens zu tun, müssten Sie Nicht-Null-Werte jeder Spalte filtern und Ihren Wert ersetzen. whenkann Ihnen dabei helfen.

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

Dies würde führen zu:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Wenn Sie diese Nullwerte auch durch einen anderen Wert ersetzen möchten, können Sie sie otherwisein Kombination mit verwenden when. Angenommen, Sie möchten dort unterstellen 0:

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

Dies würde führen zu:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$$

Aufgrund Ihres Problems denke ich, dass es möglicherweise einfacher ist, beleuchtet zu verwenden . Versuche dies-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

Ich hoffe es hilft!

Dies wäre einfacher, wenn Sie mehrere Spalten haben:

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))