Wie wähle ich in Pandas mehrere Datenrahmenspalten aus?

Ich suche nach einer Möglichkeit, das Äquivalent zu SQL zu erreichen

SELECT DISTINCT col1, col2 FROM dataframe_table

Der Pandas SQL-Vergleich hat nichts zu bieten distinct.

.unique() funktioniert nur für eine einzelne Spalte, also könnte ich die Spalten wohl zusammenfassen oder in eine Liste / ein Tupel einfügen und auf diese Weise vergleichen, aber dies scheint etwas zu sein, das Pandas auf eine native Art und Weise tun sollten.

Vermisse ich etwas Offensichtliches oder gibt es keine Möglichkeit, dies zu tun?

Mit der drop_duplicatesMethode können Sie die eindeutigen Zeilen in einem DataFrame abrufen:

In [29]: df = pd.DataFrame({'a':[1,2,1,2], 'b':[3,4,3,5]})

In [30]: df
Out[30]:
   a  b
0  1  3
1  2  4
2  1  3
3  2  5

In [32]: df.drop_duplicates()
Out[32]:
   a  b
0  1  3
1  2  4
3  2  5

Sie können das subsetSchlüsselwortargument auch angeben, wenn Sie nur bestimmte Spalten verwenden möchten, um die Eindeutigkeit zu bestimmen. Siehe die Dokumentzeichenfolge .

Ich habe verschiedene Lösungen ausprobiert. Zuerst war:

a_df=np.unique(df[['col1','col2']], axis=0)

und es funktioniert gut für Nicht-Objektdaten Eine andere Möglichkeit, dies zu tun und Fehler zu vermeiden (für den Typ der Objektspalten), besteht darin, drop_duplicates () anzuwenden.

a_df=df.drop_duplicates(['col1','col2'])[['col1','col2']]

Sie können dazu auch SQL verwenden, aber in meinem Fall hat es sehr langsam funktioniert:

from pandasql import sqldf
q="""SELECT DISTINCT col1, col2 FROM df;"""
pysqldf = lambda q: sqldf(q, globals())
a_df = pysqldf(q)

Es gibt keine uniqueMethode für eine df. Wenn die Anzahl der eindeutigen Werte für jede Spalte gleich wäre, würde Folgendes funktionieren: df.apply(pd.Series.unique)Wenn nicht, wird eine Fehlermeldung angezeigt. Ein anderer Ansatz wäre, die Werte in einem Diktat zu speichern, das auf dem Spaltennamen angegeben ist:

In [111]:
df = pd.DataFrame({'a':[0,1,2,2,4], 'b':[1,1,1,2,2]})
d={}
for col in df:
    d[col] = df[col].unique()
d

Out[111]:
{'a': array([0, 1, 2, 4], dtype=int64), 'b': array([1, 2], dtype=int64)}

Um ein ähnliches Problem zu lösen, verwende ich groupby:

print(f"Distinct entries: {len(df.groupby(['col1', 'col2']))}")

Ob dies angemessen ist, hängt jedoch davon ab, was Sie mit dem Ergebnis tun möchten (in meinem Fall wollte ich nur das Äquivalent von COUNT DISTINCTwie gezeigt).

Ich denke, dass die Verwendung drop duplicatemanchmal je nach Datenrahmen nicht so nützlich ist.

Ich habe das gefunden:

[in] df['col_1'].unique()
[out] array(['A', 'B', 'C'], dtype=object)

Und arbeite für mich!

https://riptutorial.com/pandas/example/26077/select-distinct-rows-across-dataframe

Sie können die Sätze der Spalten nehmen und einfach den kleineren Satz vom größeren Satz subtrahieren:

distinct_values = set(df['a'])-set(df['b'])