Erstellen neuer Spalten durch Iterieren über Zeilen im Pandas-Datenrahmen

Ich habe einen Pandas-Datenrahmen (X11) wie folgt: Tatsächlich habe ich 99 Spalten bis zu dx99

    dx1      dx2    dx3    dx4
0   25041   40391   5856    0
1   25041   40391   25081   5856
2   25041   40391   42822   0
3   25061   40391   0       0
4   25041   40391   0       5856
5   40391   25002   5856    3569

Ich möchte zusätzliche Spalten für Zellenwerte wie 25041,40391,5856 usw. erstellen. Es wird also eine Spalte 25041 mit dem Wert 1 oder 0 geben, wenn 25041 in dieser bestimmten Zeile in einer beliebigen dxs-Spalte vorkommt. Ich verwende diesen Code und er funktioniert, wenn die Anzahl der Zeilen geringer ist.

mat = X11.as_matrix(columns=None)
values, counts = np.unique(mat.astype(str), return_counts=True)

for x in values:
    X11[x] = X11.isin([x]).any(1).astype(int)

Ich bekomme folgendes Ergebnis:

dx1     dx2     dx3    dx4  0   25002   25041   25061   25081   3569    40391   42822   5856
25041   40391   5856    0   0   0       1       0       0       0          1        0       1
25041   40391   25081  5856 0   0       1       0       1       0            1      0       1
25041   40391   42822   0   0   0       1       0       0       0           1       1       0
25061   40391   0       0   0   0       0       1       0       0          1        0       0
25041   40391   0    5856   0   0       1       0       0       0          1        0       1
40391   25002 5856   3569   0   1       0       0       0       1          1        0       1

Wenn die Anzahl der Zeilen viele Tausend oder in Millionen beträgt, hängt es und dauert ewig, und ich erhalte kein Ergebnis. Bitte beachten Sie, dass die Zellenwerte nicht nur für Spalten gelten, sondern sich in mehreren Spalten wiederholen. Zum Beispiel kommt 40391 sowohl in dx1 als auch in dx2 usw. für 0 und 5856 usw. vor. Haben Sie eine Idee, wie Sie die oben erwähnte Logik verbessern können?

Es gibt eine viel pythonischere Lösung in Pandas ...

Bei 10 Millionen Zeilen auf meinem Laptop dauert dies weniger als eine Sekunde:

for x in X11.E.unique():
    X11[x]=(X11.E==x).astype(int)
X11

Hier sind die Details aufgeführt:

Einfacher kleiner Datenrahmen -

import numpy as np
import pandas as pd

X11 = pd.DataFrame(np.random.randn(6,4), columns=list('ABCD'))
X11['E'] = [25223, 112233,25223,14333,14333,112233]
X11

Binarisierungsmethode -

for x in X11.E.unique():
    X11[x]=(X11.E==x).astype(int)
X11

Datenrahmen mit 10 Millionen Zeilen -

pd.set_option("display.max_rows",20)
X12 = pd.DataFrame(np.random.randn(10000000,4), columns=list('ABCD'))
foo = [25223, 112233,25223,14333,14333,112233]
bar=[]
import random
for x in range(10000000):
    bar.append(random.choice(foo))
X12['E'] = bar
X12

Zeitgesteuerte Binärisierung (auch bekannt als One-Hot-Codierung) für 10 Millionen Zeilendatenrahmen -

import time
start = time.clock()

for x in X12.E.unique():
    X12[x]=(X12.E==x).astype(int)
elapsed = (time.clock() - start)

print "This is the time that this took in seconds: ",elapsed

X12

Hoffe das hilft!

Es sieht so aus, als ob Sie eine Dummy-Variable aus einer Pandas-Datenrahmenspalte erstellen möchten. Glücklicherweise hat Pandas eine spezielle Methode dafür : get_dummies(). Hier ist ein Code-Snippet, das Sie an Ihre Bedürfnisse anpassen können:

import pandas as pd
data = pd.read_clipboard(sep=',')

#get the names of the first 3 columns
colN = data.columns.values[:3]

#make a copy of the dataframe
data_transformed = data

#the get_dummies method is doing the job for you
for column_name in colN:
    dummies = pd.get_dummies(data_transformed[column_name], prefix='value', prefix_sep='_')
    col_names_dummies = dummies.columns.values

    #then you can append new columns to the dataframe
    for i,value in enumerate(col_names_dummies):
        data_transformed[value] = dummies.iloc[:,i]

Hier ist die Ausgabe von data_transformed:

         dx1    dx2    dx3   dx4    dx5    dx6    dx7  value_25041  value_25061  0  25041  40391   5856     0  V4511  V5867  30000            1            0   
    1  25041  40391  25081  5856   5363   3572      0            1            0   
    2  25041  40391  42822     0   5856      0      0            1            0   
    3  25061  40391      0     0      0      0      0            0            1   
    4  25041  40391      0  5856  25081  V4511  25051            1            0   

      value_40391  value_0  value_5856  value_25081  value_42822  
    0            1        0           1            0            0  
    1            1        0           0            1            0  
    2            1        0           0            0            1  
    3            1        1           0            0            0  
    4            1        1           0            0            0