Ich habe in diesem Beitrag gelesen: Ist die R-Sprache für Big Data geeignet, die Big Data ausmacht 5TB, und obwohl sie gute Informationen über die Machbarkeit der Arbeit mit dieser Art von Daten Rliefert, enthält sie nur sehr wenige Informationen über Python. Ich habe mich gefragt, ob ich Pythonmit so vielen Daten auch arbeiten kann.
Antworten:
Zur Verdeutlichung: Ich bin der Meinung, dass die ursprünglichen Fragenverweise von OP für ein SO-Format wahrscheinlich nicht am besten geeignet sind, aber ich werde sie auf jeden pythonFall in diesem speziellen Fall vertreten.
Lassen Sie mich zunächst sagen, dass unabhängig von Ihrer Datengröße dies pythonnicht Ihr einschränkender Faktor sein sollte. Tatsächlich gibt es nur ein paar Hauptprobleme, mit denen Sie im Umgang mit großen Datenmengen konfrontiert werden:
1TB Sie etwa auf den neuesten Stand gebracht haben , müssen Sie sich irgendwo anders nach Speicher umsehen. AWS S3 ist die häufigste Ressource und pythonverfügt über die fantastischeboto Bibliothek, die das Führen mit großen Datenmengen erleichtert.Es gibt einige Dinge, die Sie beim Umgang mit Big Data verstehen müssen -
Möglicherweise kennen Sie die bekannten Vs von Big Data - Lautstärke, Geschwindigkeit, Vielfalt ... Python ist also möglicherweise nicht für alle geeignet. Und das mit allen verfügbaren Data-Science-Tools. Sie müssen wissen, welches Tool für welchen Zweck geeignet ist.
Bei großem Datenvolumen:
Jetzt können Sie R / Python in Zwischenphasen verwenden, aber Sie werden feststellen, dass sie zu einem Engpass in Ihrem gesamten Prozess werden.
Wenn es um die Geschwindigkeit von Daten geht:
Die Leute versuchen hier, R / Python zu verwenden, aber es hängt wiederum von der gewünschten Parallelität und der Komplexität Ihres Modells ab.
Wenn Ihr Modell verlangt, dass die gesamten Daten zuerst in den Speicher geladen werden, sollte Ihr Modell nicht komplex sein. Wenn die Zwischendaten groß sind, wird der Code beschädigt. Und wenn Sie daran denken, es auf die Festplatte zu schreiben, werden Sie mit einer zusätzlichen Verzögerung konfrontiert, da das Lesen / Schreiben auf der Festplatte im Vergleich zum RAM langsam ist.
Sie können Python auf jeden Fall im Big-Data-Bereich verwenden (auf jeden Fall, da Leute mit R arbeiten, warum nicht mit Python), kennen aber Ihre Daten und Geschäftsanforderungen zuerst. Es gibt möglicherweise bessere Tools für diese und denken Sie immer daran:
Ihre Tools sollten nicht bestimmen, wie Sie Fragen beantworten. Ihre Fragen sollten bestimmen, welche Tools Sie verwenden.
Python bietet einige sehr gute Tools für die Arbeit mit Big Data:
Mit den memorymappierten Arrays von Numpy können Sie auf eine auf der Festplatte gespeicherte Datei zugreifen, als wäre es ein Array. Nur die Teile des Arrays, mit denen Sie aktiv arbeiten, müssen in den Speicher geladen werden. Es kann fast genauso wie ein gewöhnliches Array verwendet werden.
Diese beiden Bibliotheken bieten Zugriff auf HDF5-Dateien. Diese Dateien ermöglichen den Zugriff auf nur einen Teil der Daten. Dank der zugrunde liegenden Bibliotheken, die für den Zugriff auf die Daten verwendet werden, können viele mathematische Operationen und andere Manipulationen der Daten durchgeführt werden, ohne sie in eine Python-Datenstruktur zu laden. Massive, stark strukturierte Dateien sind möglich, viel größer als 5 TB. Es ermöglicht auch eine nahtlose, verlustfreie Komprimierung.
Es gibt verschiedene Arten von Datenbanken, mit denen Sie große Datenmengen speichern und nur die Teile laden können, die Sie benötigen. In vielen Datenbanken können Sie Änderungen vornehmen, ohne die Daten in eine Python-Datenstruktur zu laden.
Dies ermöglicht einen übergeordneten Zugriff auf verschiedene Datentypen, einschließlich HDF5-Daten, CSV-Dateien, Datenbanken und sogar Websites. Für Big Data werden Wrapper für den HDF5-Dateizugriff bereitgestellt, die die Analyse von Big Data-Sets erleichtern.
Dies ist ein Tool, mit dem Sie Ihren Python-Code auf mehrere Prozessoren oder sogar mehrere Computer verteilt ausführen können. Auf diese Weise können Sie Teile Ihrer Daten gleichzeitig bearbeiten.
Es stellt eine Version des normalen Numpy-Arrays bereit, die viele der normalen Numpy-Operationen auf Mehrkern-Weise unterstützt und Daten verarbeitet, die zu groß sind, um in den Speicher zu passen.
Ein Tool, das speziell für Big Data entwickelt wurde. Grundsätzlich handelt es sich um einen Wrapper um die oben genannten Bibliotheken, der konsistente Schnittstellen zu einer Vielzahl verschiedener Methoden zum Speichern großer Datenmengen (z. B. HDF5 oder Datenbanken) und Tools bietet, mit denen sich Daten, die bearbeitet, rechnerisch bearbeitet und analysiert werden können ist zu groß, um in den Speicher zu passen.
Absolut. Wenn Sie mit Daten in dieser Größenordnung arbeiten, ist es üblich, ein Big-Data-Framework zu verwenden. In diesem Fall ist Python oder die von Ihnen verwendete Sprache lediglich eine Schnittstelle. Siehe zum Beispiel Spark's Python Programming Guide . Welche Art von Daten haben Sie und was möchten Sie damit machen?
Um mit einer solchen Datenmenge umzugehen, ist die Programmiersprache nicht das Hauptanliegen, sondern das Programmiergerüst. Frameworks wie MapReduce oder Spark sind an viele Sprachen gebunden, einschließlich Python. Diese Frameworks haben sicherlich viele einsatzbereite Pakete für Datenanalyse-Aufgaben. Aber am Ende kommt es auf Ihre Anforderungen an, dh was ist Ihre Aufgabe? Menschen haben unterschiedliche Definitionen von Datenanalyse-Aufgaben, einige von ihnen können leicht mit relationalen Datenbanken gelöst werden. In diesem Fall ist SQL viel besser als alle anderen Alternativen.
Ich glaube, dass die Sprache selbst wenig mit den Leistungsfähigkeiten zu tun hat, wenn es um große Datenmengen geht. Was zählt, ist:
Wie auch immer, Python ist in datenwissenschaftlichen Communities gut eingeführt.
Ich habe Anaconda Python 3.4 und Pandas verwendet, um eine 10-MB-Zeilendatenbank zu durchsuchen, die 20 KB Anmeldeinformationen entspricht. Dauert ungefähr eine Minute. Die Pandas-Interna nutzen das Gedächtnis sehr gut. Wirklich große Datenmengen erfordern jedoch eine auf das Problem abgestimmte Verarbeitungsarchitektur. Pandas ist nur der Klebstoff (die Logik) in dieser Gleichung, und andere Werkzeuge können dies ebenfalls tun. R, Scala, Haskell, SAS usw. können einen Teil der Logik nachbilden - vielleicht gerade genug, um Fragen schneller zu beantworten. Aber Python ist ein gutes (bestes?) Allzweckwerkzeug. Sie können R-Code in Python sowie in den meisten anderen Sprachen ausführen. Obwohl interpretierend, gibt es Hochleistungstechniken und -werkzeuge wie pypy, mit denen Python mit nur geringfügig mehr Aufwand fast so schnell wie Benchmark-Werkzeuge ausgeführt werden kann. Und Python hat viele Bibliotheken, die so gut wie alles tun - siehe obige Liste.
Wenn Sie sich fragen, ob Sie Python lernen und verwenden sollen, ist meine Antwort "Ja". Nur wenige datenwissenschaftliche Probleme werden mit einem einzigen Tool gelöst. Es kann Ihr Werkzeug werden, aber es ist nur das - ein Werkzeug. Und so wie kein gesunder Mensch ein Haus mit nur einem Hammer baut, benutzt kein gesunder Data Scientist nur ein Werkzeug.
Es ist lustig, wie Menschen Big Data mit Data Science und Business Intelligence mischen.
Erstens bedeutet Big Data "viele Daten", so viele Informationen, dass sie nicht in eine herkömmliche Datenbank passen. Manchmal sind Big Data jedoch nicht einmal richtige "Wert" -Informationen, sondern Dokumente, Bilder und so weiter.
Um Big Data zu verarbeiten, MÜSSEN WIR GESCHWINDIGKEITEN. Python ist nicht in der Liga, also R. Wenn es jedoch so einfach ist, eine CSV zu erstellen und in eine Datenbank einzufügen, dann ist es ETL. Dafür ist keine Programmierung erforderlich.
Und wenn die Informationen reduziert sind, können wir Python, R oder was auch immer Sie wollen anwenden. Sogar Excel. In dieser Phase sind Big Data jedoch keine Big Data mehr, sondern konventionelle Daten.
Meiner Meinung nach eignet sich Java besser für Big Data (für die gesamte Kette), aber aus unpraktischen Gründen wird Python standardmäßig verwendet.