Als «hadoop» getaggte Fragen

Hadoop ist ein Open-Source-Projekt von Apache, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Der Kern besteht aus einem verteilten Dateisystem (HDFS) und einem Ressourcenmanager (YARN). Verschiedene andere Open-Source-Projekte wie Apache Hive verwenden Apache Hadoop als Persistenzschicht.

21
Hadoop-Warnung "Native-Hadoop-Bibliothek für Plattform kann nicht geladen werden"
Ich konfiguriere derzeit Hadoop auf einem Server, auf dem CentOs ausgeführt werden . Wenn ich start-dfs.shoder stop-dfs.shstarte, wird folgende Fehlermeldung angezeigt: WARN util.NativeCodeLoader: Native-Hadoop-Bibliothek für Ihre Plattform kann nicht geladen werden. Verwenden Sie gegebenenfalls integrierte Java-Klassen Ich verwende Hadoop 2.2.0. Bei einer Online-Suche wurde der folgende Link aufgerufen : http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html …
16
Wann sollten Hadoop, HBase, Hive und Pig verwendet werden?
Was sind die Vorteile von entweder mit Hadoop oder HBase oder Hive ? Nach meinem Verständnis vermeidet HBase die Verwendung von Map-Reduce und verfügt über einen spaltenorientierten Speicher über HDFS. Hive ist eine SQL-ähnliche Oberfläche für Hadoop und HBase . Ich würde auch gerne wissen, wie Hive mit Pig verglichen …
185 hadoop  hbase  hive  apache-pig 
15
Wie deaktiviere ich die INFO-Anmeldung in Spark?
Ich habe Spark mithilfe des AWS EC2-Handbuchs installiert und kann das Programm mithilfe des bin/pysparkSkripts problemlos starten, um zur Spark-Eingabeaufforderung zu gelangen. Außerdem kann ich den Schnellstart erfolgreich ausführen. Ich kann jedoch für mein ganzes Leben nicht herausfinden, wie die gesamte ausführliche INFOProtokollierung nach jedem Befehl gestoppt werden kann . …
14
Spark - CSV-Datei als DataFrame laden?
Ich möchte eine CSV in Spark lesen und als DataFrame konvertieren und in HDFS mit speichern df.registerTempTable("table_name") Ich habe versucht: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Fehler, den ich bekommen habe: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …
6
Unterschied zwischen HBase und Hadoop / HDFS
Dies ist eine naive Frage, aber ich bin neu im NoSQL-Paradigma und weiß nicht viel darüber. Wenn mir jemand helfen kann, den Unterschied zwischen HBase und Hadoop klar zu verstehen, oder wenn ich einige Hinweise gebe, die mir helfen könnten, den Unterschied zu verstehen. Bis jetzt habe ich einige Nachforschungen …
130 hadoop  nosql  hbase  hdfs  difference 
13
Verketten mehrerer MapReduce-Jobs in Hadoop
In vielen realen Situationen, in denen Sie MapReduce anwenden, bestehen die endgültigen Algorithmen aus mehreren MapReduce-Schritten. dh Map1, Reduce1, Map2, Reduce2 und so weiter. Sie haben also die Ausgabe der letzten Reduzierung, die als Eingabe für die nächste Karte benötigt wird. Die Zwischendaten möchten Sie (im Allgemeinen) nicht behalten, sobald …
124 hadoop  mapreduce 
6
Wie werden Hadoop-Prozessdatensätze über Blockgrenzen hinweg aufgeteilt?
Laut dem Hadoop - The Definitive Guide Die von FileInputFormats definierten logischen Datensätze passen normalerweise nicht genau in HDFS-Blöcke. Beispielsweise sind die logischen Datensätze eines TextInputFormat Zeilen, die häufig HDFS-Grenzen überschreiten. Dies hat keinen Einfluss auf die Funktionsweise Ihres Programms - Zeilen werden beispielsweise nicht übersehen oder unterbrochen -, aber …
119 hadoop  split  mapreduce  block  hdfs 
18
Unterschied zwischen internen und externen Hive-Tabellen?
Kann mir jemand den Unterschied zwischen der externen und der internen Tabelle von Hive erklären? Ich weiß, dass der Unterschied beim Ablegen des Tisches entsteht. Ich verstehe nicht, was Sie unter Daten verstehen, und Metadaten werden in internen und nur Metadaten in externen Tabellen gelöscht. Kann mir jemand bitte Knoten …
110 hadoop  hive  hiveql 
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.