Löschen Sie Zeilen mit allen Nullen im Pandas-Datenrahmen

Ich kann pandas dropna()Funktionen verwenden, um Zeilen mit einigen oder allen Spalten zu entfernen, die als NA's festgelegt sind. Gibt es eine äquivalente Funktion zum Löschen von Zeilen mit allen Spalten mit dem Wert 0?

P   kt  b   tt  mky depth
1   0   0   0   0   0
2   0   0   0   0   0
3   0   0   0   0   0
4   0   0   0   0   0
5   1.1 3   4.5 2.3 9.0

In diesem Beispiel möchten wir die ersten 4 Zeilen aus dem Datenrahmen löschen.

Vielen Dank!

Es stellt sich heraus, dass dies auf vektorisierte Weise gut ausgedrückt werden kann:

> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
   a  b
1  0  1
2  1  0
3  1  1

Einzeiler. Keine Transponierung erforderlich:

df.loc[~(df==0).all(axis=1)]

Und für diejenigen, die Symmetrie mögen, funktioniert dies auch ...

df.loc[(df!=0).any(axis=1)]

Ich schaue diese Frage ungefähr einmal im Monat nach und muss immer die beste Antwort aus den Kommentaren herausfinden:

df.loc[(df!=0).any(1)]

Vielen Dank, Dan Allan!

Ersetzen Sie die Nullen durch nanund löschen Sie die Zeilen mit allen Einträgen als nan. Danach durch nanNullen ersetzen .

import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)

Ich denke, diese Lösung ist die kürzeste:

df= df[df['ColName'] != 0]

Einige Lösungen, die ich beim Nachschlagen als hilfreich empfunden habe, insbesondere bei größeren Datenmengen:

df[(df.sum(axis=1) != 0)]       # 30% faster 
df[df.values.sum(axis=1) != 0]  # 3X faster 

Fahren Sie mit dem Beispiel von @ U2EF1 fort:

In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})

In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop

In [92]: df[(df.sum(axis=1) != 0)]
Out[92]: 
   a  b
1  0  1
2  1  0
3  1  1

In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop

In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop

Auf einem größeren Datensatz:

In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))

In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop

In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop

In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop

import pandas as pd

df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})

temp = df.abs().sum(axis=1) == 0      
df = df.drop(temp)

Ergebnis:

>>> df
   a  b
2  1 -1

Mit einer Schnellfunktion lambdakönnen Sie überprüfen, ob alle Werte in einer bestimmten Zeile vorhanden sind 0. Dann können Sie das Ergebnis dieser Anwendung verwenden, lambdaum nur die Zeilen auszuwählen, die dieser Bedingung entsprechen oder nicht entsprechen:

import pandas as pd
import numpy as np

np.random.seed(0)

df = pd.DataFrame(np.random.randn(5,3), 
                  index=['one', 'two', 'three', 'four', 'five'],
                  columns=list('abc'))

df.loc[['one', 'three']] = 0

print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]

Ausbeuten:

              a         b         c
one    0.000000  0.000000  0.000000
two    2.240893  1.867558 -0.977278
three  0.000000  0.000000  0.000000
four   0.410599  0.144044  1.454274
five   0.761038  0.121675  0.443863

[5 rows x 3 columns]
             a         b         c
two   2.240893  1.867558 -0.977278
four  0.410599  0.144044  1.454274
five  0.761038  0.121675  0.443863

[3 rows x 3 columns]

Eine andere Alternative:

# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.

all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shape

Für mich hat dieser Code: df.loc[(df!=0).any(axis=0)] nicht funktioniert. Es wurde der genaue Datensatz zurückgegeben.

Stattdessen habe ich df.loc[:, (df!=0).any(axis=0)]alle Spalten mit 0-Werten im Datensatz verwendet und gelöscht

Die Funktion .all()hat alle Spalten gelöscht, in denen sich in meinem Datensatz Nullwerte befinden.

df = df [~( df [ ['kt'  'b'   'tt'  'mky' 'depth', ] ] == 0).all(axis=1) ]

Versuchen Sie diesen Befehl, es funktioniert perfekt.

So löschen Sie alle Spalten mit den Werten 0 in einer beliebigen Zeile:

new_df = df[df.loc[:]!=0].dropna()