Als «bigdata» getaggte Fragen

1
Schreiben von mehr als 50 Millionen von Pyspark df bis PostgresSQL, bester effizienter Ansatz
Was wäre der effizienteste Weg, um Millionen von Datensätzen einzufügen, beispielsweise 50 Millionen von einem Spark-Datenrahmen in Postgres-Tabellen. Ich habe dies in der Vergangenheit von Spark bis MSSQL getan, indem ich die Option für Massenkopien und Stapelgrößen verwendet habe, die ebenfalls erfolgreich war. Gibt es etwas Ähnliches, das für Postgres …
4
Verwenden Sie R, um das Lucky 26-Spiel zu lösen
Ich versuche meinem Sohn zu zeigen, wie Codierung verwendet werden kann, um ein von einem Spiel aufgeworfenes Problem zu lösen, und wie R mit Big Data umgeht. Das fragliche Spiel heißt "Lucky 26". In diesem Spiel werden Zahlen (1-12 ohne Duplikate) auf 12 Punkten auf einem Davidstern (6 Scheitelpunkte, 6 …
15 r  bigdata  permutation 
1
Apache Spark: Auswirkungen der Neupartitionierung, Sortierung und Zwischenspeicherung auf einen Join
Ich untersuche das Verhalten von Spark, wenn ich einen Tisch mit sich selbst verbinde. Ich benutze Databricks. Mein Dummy-Szenario ist: Lesen Sie eine externe Tabelle als Datenrahmen A (zugrunde liegende Dateien sind im Delta-Format) Definieren Sie Datenrahmen B als Datenrahmen A, wobei nur bestimmte Spalten ausgewählt sind Verbinden Sie die …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.