Als «partitioning» getaggte Fragen

Ist Zookeeper ein Muss für Kafka?

In Kafka möchte ich nur einen einzigen Broker, ein einziges Thema und eine einzige Partition mit einem Produzenten und mehreren Konsumenten verwenden (jeder Konsument erhält seine eigene Kopie der Daten vom Broker). Vor diesem Hintergrund möchte ich nicht den Aufwand für die Verwendung von Zookeeper. Kann ich nicht nur den …

133 partitioning apache-zookeeper producer-consumer apache-kafka broker

Wie definiere ich die Partitionierung von DataFrame?

Ich habe begonnen, Spark SQL und DataFrames in Spark 1.4.0 zu verwenden. Ich möchte einen benutzerdefinierten Partitionierer in DataFrames in Scala definieren, sehe aber nicht, wie das geht. Eine der Datentabellen, mit denen ich arbeite, enthält eine Liste von Transaktionen nach Konto, silimar zum folgenden Beispiel. Account Date Type Amount …

128 scala apache-spark dataframe apache-spark-sql partitioning

Wie funktioniert HashPartitioner?

Ich habe die Dokumentation von gelesen HashPartitioner. Leider wurde außer den API-Aufrufen nicht viel erklärt. Ich gehe davon aus, dass HashPartitionerdie verteilte Menge basierend auf dem Hash der Schlüssel partitioniert wird. Zum Beispiel, wenn meine Daten wie sind (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) Der Partitionierer würde dies also in …

82 scala apache-spark rdd partitioning

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.

Licensed under cc by-sa 3.0 with attribution required.