Erstellen Sie einen Pandas DataFrame aus einer Zeichenfolge

Um einige Funktionen zu testen, möchte ich eine DataFrameaus einer Zeichenfolge erstellen . Angenommen, meine Testdaten sehen folgendermaßen aus:

TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""

Was ist der einfachste Weg, diese Daten in einen Pandas einzulesen DataFrame?

Eine einfache Möglichkeit, dies zu tun, besteht darin, StringIO.StringIO(python2) oder io.StringIO(python3) zu verwenden und diese an die pandas.read_csvFunktion zu übergeben. Z.B:

import sys
if sys.version_info[0] < 3: 
    from StringIO import StringIO
else:
    from io import StringIO

import pandas as pd

TESTDATA = StringIO("""col1;col2;col3
    1;4.4;99
    2;4.5;200
    3;4.7;65
    4;3.2;140
    """)

df = pd.read_csv(TESTDATA, sep=";")

Split-Methode

data = input_string
df = pd.DataFrame([x.split(';') for x in data.split('\n')])
print(df)

Eine schnelle und einfache Lösung für interaktives Arbeiten besteht darin, den Text durch Laden der Daten aus der Zwischenablage zu kopieren und einzufügen.

Wählen Sie den Inhalt der Zeichenfolge mit der Maus aus:

In der Python-Shell verwenden read_clipboard()

>>> pd.read_clipboard()
  col1;col2;col3
0       1;4.4;99
1      2;4.5;200
2       3;4.7;65
3      4;3.2;140

Verwenden Sie das entsprechende Trennzeichen:

>>> pd.read_clipboard(sep=';')
   col1  col2  col3
0     1   4.4    99
1     2   4.5   200
2     3   4.7    65
3     4   3.2   140

>>> df = pd.read_clipboard(sep=';') # save to dataframe

Eine herkömmliche CSV mit variabler Breite ist zum Speichern von Daten als Zeichenfolgenvariable nicht lesbar. .pyBerücksichtigen Sie stattdessen speziell für die Verwendung in einer Datei Rohrleitungsdaten mit fester Breite. Verschiedene IDEs und Editoren verfügen möglicherweise über ein Plugin zum Formatieren von durch Pipes getrenntem Text in eine übersichtliche Tabelle.

Verwenden von read_csv

Speichern Sie Folgendes in einem Dienstprogrammmodul, z util/pandas.py. Ein Beispiel ist in der Dokumentzeichenfolge der Funktion enthalten.

import io
import re

import pandas as pd


def read_psv(str_input: str, **kwargs) -> pd.DataFrame:
    """Read a Pandas object from a pipe-separated table contained within a string.

    Input example:
        | int_score | ext_score | eligible |
        |           | 701       | True     |
        | 221.3     | 0         | False    |
        |           | 576       | True     |
        | 300       | 600       | True     |

    The leading and trailing pipes are optional, but if one is present,
    so must be the other.

    `kwargs` are passed to `read_csv`. They must not include `sep`.

    In PyCharm, the "Pipe Table Formatter" plugin has a "Format" feature that can 
    be used to neatly format a table.

    Ref: https://stackoverflow.com/a/46471952/
    """

    substitutions = [
        ('^ *', ''),  # Remove leading spaces
        (' *$', ''),  # Remove trailing spaces
        (r' *\| *', '|'),  # Remove spaces between columns
    ]
    if all(line.lstrip().startswith('|') and line.rstrip().endswith('|') for line in str_input.strip().split('\n')):
        substitutions.extend([
            (r'^\|', ''),  # Remove redundant leading delimiter
            (r'\|$', ''),  # Remove redundant trailing delimiter
        ])
    for pattern, replacement in substitutions:
        str_input = re.sub(pattern, replacement, str_input, flags=re.MULTILINE)
    return pd.read_csv(io.StringIO(str_input), sep='|', **kwargs)

Nicht funktionierende Alternativen

Der folgende Code funktioniert nicht richtig, da links und rechts eine leere Spalte hinzugefügt wird.

df = pd.read_csv(io.StringIO(df_str), sep=r'\s*\|\s*', engine='python')

Was read_fwfes eigentlich nicht verwenden so viele der optionalen kwargs die read_csvund Anwendungen akzeptiert. Daher sollte es überhaupt nicht für Daten verwendet werden, die durch Rohrleitungen getrennt sind.

Am einfachsten ist es, es in einer temporären Datei zu speichern und dann zu lesen:

import pandas as pd

CSV_FILE_NAME = 'temp_file.csv'  # Consider creating temp file, look URL below
with open(CSV_FILE_NAME, 'w') as outfile:
    outfile.write(TESTDATA)
df = pd.read_csv(CSV_FILE_NAME, sep=';')

Richtige Methode zum Erstellen einer temporären Datei: Wie kann ich eine tmp-Datei in Python erstellen?