Als «mapreduce» getaggte Fragen

MapReduce ist ein Algorithmus zum Verarbeiten großer Datenmengen bei bestimmten Arten von verteilbaren Problemen unter Verwendung einer großen Anzahl von Knoten

4
Gute MapReduce-Beispiele [geschlossen]
Diese Frage passt derzeit nicht zu unserem Q & A-Format. Wir erwarten, dass die Antworten durch Fakten, Referenzen oder Fachwissen gestützt werden, aber diese Frage wird wahrscheinlich zu Debatten, Argumenten, Umfragen oder erweiterten Diskussionen führen. Wenn Sie der Meinung sind, dass diese Frage verbessert und möglicherweise wieder geöffnet werden kann, …
202 mapreduce 
13
Verketten mehrerer MapReduce-Jobs in Hadoop
In vielen realen Situationen, in denen Sie MapReduce anwenden, bestehen die endgültigen Algorithmen aus mehreren MapReduce-Schritten. dh Map1, Reduce1, Map2, Reduce2 und so weiter. Sie haben also die Ausgabe der letzten Reduzierung, die als Eingabe für die nächste Karte benötigt wird. Die Zwischendaten möchten Sie (im Allgemeinen) nicht behalten, sobald …
124 hadoop  mapreduce 
6
Wie werden Hadoop-Prozessdatensätze über Blockgrenzen hinweg aufgeteilt?
Laut dem Hadoop - The Definitive Guide Die von FileInputFormats definierten logischen Datensätze passen normalerweise nicht genau in HDFS-Blöcke. Beispielsweise sind die logischen Datensätze eines TextInputFormat Zeilen, die häufig HDFS-Grenzen überschreiten. Dies hat keinen Einfluss auf die Funktionsweise Ihres Programms - Zeilen werden beispielsweise nicht übersehen oder unterbrochen -, aber …
119 hadoop  split  mapreduce  block  hdfs 
4
Wie funktioniert der MapReduce-Sortieralgorithmus?
Eines der wichtigsten Beispiele für die Demonstration der Leistungsfähigkeit von MapReduce ist der Terasort-Benchmark . Ich habe Probleme, die Grundlagen des in der MapReduce-Umgebung verwendeten Sortieralgorithmus zu verstehen. Für mich bedeutet das Sortieren einfach, die relative Position eines Elements in Bezug auf alle anderen Elemente zu bestimmen. Beim Sortieren wird …
15
Gibt es ein .NET-Äquivalent zu Apache Hadoop? [geschlossen]
Geschlossen. Diese Frage entspricht nicht den Richtlinien für Stapelüberlauf . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Stack - Überlauf. Geschlossen vor 4 Jahren . Verbessere diese Frage Also habe ich Hadoop mit großem Interesse angesehen, und …
98 c#  .net  hadoop  mapreduce 
7
Der Container läuft über die Speichergrenzen hinaus
In Hadoop v1 habe ich jedem 7-Mapper- und Reduzierer-Steckplatz eine Größe von 1 GB zugewiesen. Meine Mapper und Reduzierer funktionieren einwandfrei. Mein Computer hat 8G Speicher, 8 Prozessor. Bei YARN wurde beim Ausführen derselben Anwendung auf demselben Computer ein Containerfehler angezeigt. Standardmäßig habe ich folgende Einstellungen: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> …
81 hadoop  mapreduce  yarn  mrv2 
2
Hadoop abgeschnittener / inkonsistenter Zählername
Im Moment habe ich einen Hadoop-Job, der Zähler mit einem ziemlich großen Namen erstellt. Zum Beispiel die folgende : stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Dieser Zähler wird auf der Weboberfläche und beim getName()Methodenaufruf abgeschnitten . Ich habe herausgefunden, dass Hadoop Einschränkungen für den Zählermaximalnamen hat und diese Einstellungs-ID mapreduce.job.counters.counter.name.maxdient zum Konfigurieren dieser Grenze. Also …
79 java  hadoop  mapreduce  yarn 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.