So filtern Sie Zeilen in Pandas nach Regex

Ich möchte einen Datenrahmen mit Regex in einer der Spalten sauber filtern.

Für ein erfundenes Beispiel:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

Ich möchte die Zeilen nach denen filtern, die mit der fVerwendung eines regulären Ausdrucks beginnen. Zuerst gehen:

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Das ist nicht allzu nützlich. Dies bringt mir jedoch meinen booleschen Index:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

So konnte ich meine Einschränkung tun, indem ich:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Das bringt mich jedoch dazu, eine Gruppe künstlich in den regulären Ausdruck zu bringen, und scheint vielleicht nicht der richtige Weg zu sein. Gibt es einen besseren Weg, dies zu tun?

Verwendung enthält stattdessen:

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Es gibt bereits eine String-Handling-Funktion Series.str.startswith(). Du solltest es versuchen foo[foo.b.str.startswith('f')].

Ergebnis:

    a   b
1   2   foo
2   3   fat

Ich denke was du erwartest.

Alternativ können Sie die Option enthält mit Regex verwenden. Beispielsweise:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Ergebnis:

    a   b
1   2   foo

na=False dient dazu, Fehler zu vermeiden, falls nan-, null- usw. Werte vorliegen

Mehrspaltige Suche mit Datenrahmen:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

Dies mag etwas spät sein, aber in Pandas ist dies jetzt einfacher. Sie können match with aufrufen as_indexer=True, um boolesche Ergebnisse zu erhalten. Dies wird dokumentiert (zusammen mit der Differenz zwischen matchund contains) hier .

Vielen Dank für die großartige Antwort @ user3136169. Hier ist ein Beispiel dafür, wie dies auch beim Entfernen von NoneType-Werten erfolgen kann.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Sie können auch Regex als Argument hinzufügen:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Schreiben Sie eine Boolesche Funktion, die den regulären Ausdruck überprüft und auf die Spalte anwenden anwendet

foo[foo['b'].apply(regex_function)]

Mit str Scheibe

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat