Als «hadoop» getaggte Fragen

Hadoop ist ein Open-Source-Projekt von Apache, das Software für zuverlässiges und skalierbares verteiltes Computing bereitstellt. Der Kern besteht aus einem verteilten Dateisystem (HDFS) und einem Ressourcenmanager (YARN). Verschiedene andere Open-Source-Projekte wie Apache Hive verwenden Apache Hadoop als Persistenzschicht.

2
Hadoop abgeschnittener / inkonsistenter Zählername
Im Moment habe ich einen Hadoop-Job, der Zähler mit einem ziemlich großen Namen erstellt. Zum Beispiel die folgende : stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Dieser Zähler wird auf der Weboberfläche und beim getName()Methodenaufruf abgeschnitten . Ich habe herausgefunden, dass Hadoop Einschränkungen für den Zählermaximalnamen hat und diese Einstellungs-ID mapreduce.job.counters.counter.name.maxdient zum Konfigurieren dieser Grenze. Also …
79 java  hadoop  mapreduce  yarn 
12
Hadoop mit Eclipse / Maven bauen - Fehlendes Artefakt jdk.tools:jdk.tools:jar:1.6
Ich versuche, clouderas org.apache.hadoop: hadoop-client: 2.0.0-cdh4.0.0 aus cdh4 maven repo in einem maven-Projekt in Eclipse 3.81, m2e-Plugin, mit oracles jdk 1.7.0_05 unter win7 zu importieren <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.0.0-cdh4.0.0</version> </dependency> Ich erhalte jedoch den folgenden Fehler: The container 'Maven Dependencies' references non existing library 'C:\Users\MyUserId\.m2\repository\jdk\tools\jdk.tools\1.6\jdk.tools-1.6.jar' Genauer gesagt, Maven gibt an, …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.