Programmierung hdfs

14

Ich möchte eine CSV in Spark lesen und als DataFrame konvertieren und in HDFS mit speichern df.registerTempTable("table_name") Ich habe versucht: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Fehler, den ich bekommen habe: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …

140 scala apache-spark hadoop apache-spark-sql hdfs

3

Was sind die Vor- und Nachteile des Parkettformats im Vergleich zu anderen Formaten?

Eigenschaften von Apache Parkett sind: Selbstbeschreibend Spaltenformat Sprachunabhängig Im Vergleich zu Avro, Sequence Files, RC File etc. möchte ich einen Überblick über die Formate. Ich habe bereits gelesen: Wie Impala mit Hadoop-Dateiformaten funktioniert , gibt es einige Einblicke in die Formate, aber ich möchte wissen, wie der Zugriff auf Daten …

136 file hadoop hdfs avro parquet

8

So kopieren Sie Dateien von HDFS in das lokale Dateisystem

So kopieren Sie Dateien von HDFS in das lokale Dateisystem. Es gibt keinen physischen Speicherort einer Datei unter der Datei, nicht einmal ein Verzeichnis. Wie kann ich sie für weitere Validierungen zu meinem lokalen verschieben? Ich werde durch Winscp versucht.

135 hadoop copy hdfs

6

Unterschied zwischen HBase und Hadoop / HDFS

Dies ist eine naive Frage, aber ich bin neu im NoSQL-Paradigma und weiß nicht viel darüber. Wenn mir jemand helfen kann, den Unterschied zwischen HBase und Hadoop klar zu verstehen, oder wenn ich einige Hinweise gebe, die mir helfen könnten, den Unterschied zu verstehen. Bis jetzt habe ich einige Nachforschungen …

130 hadoop nosql hbase hdfs difference

9

Der Namensknoten befindet sich im abgesicherten Modus. Nicht in der Lage zu gehen

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. in hdfs nichts erstellen können Ich tat root# bin/hadoop fs -safemode leave Aber zeigen safemode: Unknown command Was ist das Problem? Lösung

122 hadoop hdfs

6

Wie werden Hadoop-Prozessdatensätze über Blockgrenzen hinweg aufgeteilt?

Laut dem Hadoop - The Definitive Guide Die von FileInputFormats definierten logischen Datensätze passen normalerweise nicht genau in HDFS-Blöcke. Beispielsweise sind die logischen Datensätze eines TextInputFormat Zeilen, die häufig HDFS-Grenzen überschreiten. Dies hat keinen Einfluss auf die Funktionsweise Ihres Programms - Zeilen werden beispielsweise nicht übersehen oder unterbrochen -, aber …

119 hadoop split mapreduce block hdfs

9

Was ist der Zweck der Misch- und Sortierphase im Reduzierer in der Map Reduce-Programmierung?

In der Map Reduce-Programmierung hat die Reduktionsphase das Mischen, Sortieren und Reduzieren als Unterteile. Sortieren ist eine kostspielige Angelegenheit. Was ist der Zweck der Misch- und Sortierphase im Reduzierer in der Map Reduce-Programmierung?

113 sorting hadoop mapreduce hdfs shuffle

6

Was ist der Unterschied zwischen den Shell-Befehlen "hadoop fs" und den Shell-Befehlen "hdfs dfs"?

Sollen sie gleich sein? Aber warum hadoop fszeigen die Befehle " " die, hdfs fileswährend die hdfs dfsBefehle " " die lokalen Dateien anzeigen? Hier sind die Informationen zur Hadoop-Version: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Zusammengestellt von Jenkins am Montag, 22. April, 10:48:26 PDT 2013

109 hadoop hdfs

10

Wie kann man die Größe eines HDFS-Verzeichnisses überprüfen?

Ich kenne du -shin gängigen Linux-Dateisystemen. Aber wie geht das mit HDFS?

96 hadoop command-line directory hdfs

Als «hdfs» getaggte Fragen