Programmierung python

8

Multiprocessing: Teilen eines großen schreibgeschützten Objekts zwischen Prozessen?

Werden untergeordnete Prozesse über Multiprozessor- Freigabeobjekte erzeugt, die zuvor im Programm erstellt wurden? Ich habe folgendes Setup: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Ich lade ein großes Objekt in den Speicher …

107 python multiprocessing

10

UnicodeDecodeError: Der Codec 'ascii' kann das Byte 0xd1 an Position 2 nicht dekodieren: Ordnungszahl nicht im Bereich (128)

Ich versuche, mit einem sehr großen Datensatz zu arbeiten, der einige nicht standardmäßige Zeichen enthält. Ich muss Unicode gemäß den Jobspezifikationen verwenden, bin aber verblüfft. (Und möglicherweise alles falsch machen.) Ich öffne die CSV mit: 15 ncesReader = csv.reader(open('geocoded_output.csv', 'rb'), delimiter='\t', quotechar='"') Dann versuche ich es zu codieren mit: name=school_name.encode('utf-8'), …

107 python django utf-8

7

Lesen einer riesigen CSV-Datei

Ich versuche derzeit, Daten aus CSV-Dateien in Python 2.7 mit bis zu 1 Million Zeilen und 200 Spalten zu lesen (Dateien reichen von 100 MB bis 1,6 GB). Ich kann dies (sehr langsam) für Dateien mit weniger als 300.000 Zeilen tun, aber sobald ich darüber hinausgehe, erhalte ich Speicherfehler. Mein …

107 python python-2.7 file csv

5

Alle Module auflisten, die Teil eines Python-Pakets sind?

Gibt es eine einfache Möglichkeit, alle Module zu finden, die Teil eines Python-Pakets sind? Ich habe diese alte Diskussion gefunden , die nicht wirklich schlüssig ist, aber ich hätte gerne eine eindeutige Antwort, bevor ich meine eigene Lösung basierend auf os.listdir () herausbringe.

107 python module packages introspection python-import

22

Spielen Sie Audio mit Python ab

Wie kann ich Audio (es wäre wie ein 1-Sekunden-Sound) aus einem Python-Skript abspielen? Es wäre am besten, wenn es plattformunabhängig wäre, aber zuerst muss es auf einem Mac funktionieren. Ich weiß, dass ich den afplay file.mp3Befehl nur in Python ausführen kann , aber ist es möglich, ihn in rohem Python …

107 python audio

12

Bündeln von Datendateien mit PyInstaller (--onefile)

Ich versuche mit PyInstaller eine EXE-Datei mit einer Datei zu erstellen, die ein Bild und ein Symbol enthält. Ich kann es nicht für mein Leben zum Arbeiten bringen --onefile. Wenn ich es tue --onedir, funktioniert alles sehr gut. Wenn ich verwende --onefile, kann es die referenzierten zusätzlichen Dateien nicht finden …

107 python pyinstaller

11

kartesisches Produkt bei Pandas

Ich habe zwei Pandas-Datenrahmen: from pandas import DataFrame df1 = DataFrame({'col1':[1,2],'col2':[3,4]}) df2 = DataFrame({'col3':[5,6]}) Was ist die beste Vorgehensweise, um ihr kartesisches Produkt zu erhalten (natürlich ohne es explizit wie ich zu schreiben)? #df1, df2 cartesian product df_cartesian = DataFrame({'col1':[1,2,1,2],'col2':[3,4,3,4],'col3':[5,5,6,6]})

107 python pandas

5

Holen Sie sich die Summe der Pandas-Spalten

Ziel Ich habe einen Pandas-Datenrahmen, wie unten gezeigt, mit mehreren Spalten und möchte die Gesamtsumme der Spalten erhalten MyColumn. Datenrahmen -df: print df X MyColumn Y Z 0 A 84 13.0 69.0 1 B 76 77.0 127.0 2 C 28 69.0 16.0 3 D 28 28.0 31.0 4 E 19 …

107 python pandas dataframe sum

4

Deaktivieren Sie die IPython-Beendigungsbestätigung

Es ist wirklich irritierend, dass ich jedes Mal, wenn ich tippe exit(), mit einer Bestätigung zum Beenden aufgefordert werde. natürlich will ich raus! Sonst hätte ich nicht geschrieben exit()!!! Gibt es eine Möglichkeit, das Standardverhalten von IPython zu überschreiben, damit es ohne Eingabeaufforderung beendet wird?

107 python ipython

6

Python: Liste der Diktate, falls vorhanden, erhöhen Sie einen Diktatwert, wenn Sie kein neues Diktat anhängen

Ich würde gerne so etwas machen. list_of_urls = ['http://www.google.fr/', 'http://www.google.fr/', 'http://www.google.cn/', 'http://www.google.com/', 'http://www.google.fr/', 'http://www.google.fr/', 'http://www.google.fr/', 'http://www.google.com/', 'http://www.google.fr/', 'http://www.google.com/', 'http://www.google.cn/'] urls = [{'url': 'http://www.google.fr/', 'nbr': 1}] for url in list_of_urls: if url in [f['url'] for f in urls]: urls[??]['nbr'] += 1 else: urls.append({'url': url, 'nbr': 1}) Wie kann ich ? Ich …

107 python loops list tuples

4

Wie kann ich das sqlite3-Modul zu Python hinzufügen?

Kann mir jemand sagen, wie das sqlite3-Modul neben der neuesten Version von Python installiert wird? Ich verwende ein Macbook und habe in der Befehlszeile Folgendes versucht: pip install sqlite Es wird jedoch ein Fehler angezeigt.

107 python sqlite pip

5

Ignorieren Sie .pyc-Dateien im Git-Repository

Wie kann ich .pycDateien in Git ignorieren ? Wenn ich es .gitignorehineinlege, funktioniert es nicht. Ich brauche sie, um nicht verfolgt zu werden und nicht auf Commits überprüft zu werden.

107 python git

4

Wie extrahiere ich das Jahr aus einem Python-Datum / Uhrzeit-Objekt?

Ich möchte das Jahr mit Python aus dem aktuellen Datum extrahieren. In C # sieht das so aus: DateTime a = DateTime.Now() a.Year Was ist in Python erforderlich?

107 python datetime

11

Anhängen einer Liste oder Serie an einen Pandas DataFrame als Zeile?

Daher habe ich einen leeren Pandas-DataFrame initialisiert und möchte Listen (oder Serien) iterativ als Zeilen in diesem DataFrame anhängen. Was ist der beste Weg, dies zu tun?

107 python pandas append dataframe

12

Wie kann ich einen Text in Sätze aufteilen?

Ich habe eine Textdatei. Ich brauche eine Liste von Sätzen. Wie kann dies umgesetzt werden? Es gibt viele Feinheiten, z. B. einen Punkt, der in Abkürzungen verwendet wird. Mein alter regulärer Ausdruck funktioniert schlecht: re.compile('(\. |^|!|\?)([A-Z][^;↑\.<>@\^&/\[\]]*(\.|!|\?) )',re.M)

107 python text split

Als «python» getaggte Fragen