Was ist der Zweck von Kafkas auf Schlüssel / Wert-Paaren basierenden Nachrichten? [geschlossen]

Alle Beispiele von Kafka | Produzenten zeigen, dass das ProducerRecordSchlüssel / Wert-Paar nicht nur vom selben Typ ist (alle Beispiele zeigen <String,String>), sondern auch vom selben Wert . Zum Beispiel:

producer.send(new ProducerRecord<String, String>("someTopic", Integer.toString(i), Integer.toString(i)));

Aber in den Kafka-Dokumenten kann ich anscheinend nicht finden, wo das Schlüssel- / Wertekonzept (und sein zugrunde liegender Zweck / Nutzen) erklärt wird. Bei herkömmlichen Nachrichten (ActiveMQ, RabbitMQ usw.) habe ich immer eine Nachricht zu einem bestimmten Thema / einer bestimmten Warteschlange / einem bestimmten Austausch ausgelöst. Aber Kafka ist der erste Broker, der Schlüssel / Wert-Paare anstelle einer regulären alten String-Nachricht zu benötigen scheint.

Also frage ich: Was ist der Zweck / Nutzen der Verpflichtung von Produzenten, KV-Paare zu senden?

Kafka verwendet die Abstraktion eines verteilten Protokolls , das aus Partitionen besteht . Durch Aufteilen eines Protokolls in Partitionen kann das System skaliert werden.

Mithilfe von Schlüsseln wird die Partition in einem Protokoll bestimmt, an die eine Nachricht angehängt wird. Während der Wert die tatsächliche Nutzlast der Nachricht ist. Die Beispiele sind in dieser Hinsicht eigentlich nicht sehr "gut"; Normalerweise haben Sie einen komplexen Typ als Wert (wie einen Tupeltyp oder einen JSON oder ähnliches) und extrahieren ein Feld als Schlüssel.

Siehe: http://kafka.apache.org/intro#intro_topics und http://kafka.apache.org/intro#intro_producers

Im Allgemeinen kann der Schlüssel und / oder Wert auch sein null. Wenn der Schlüssel nulleine zufällige Partition ist, wird die ausgewählt. Wenn der Wert lautet null, kann es eine spezielle "Lösch" -Semantik geben, falls Sie die Protokollkomprimierung anstelle der Protokollaufbewahrungsrichtlinie für ein Thema aktivieren ( http://kafka.apache.org/documentation#compaction ).

Spätes Hinzufügen ... Die Angabe des Schlüssels, damit alle Nachrichten auf demselben Schlüssel auf dieselbe Partition gehen, ist für die ordnungsgemäße Reihenfolge der Nachrichtenverarbeitung sehr wichtig, wenn Sie mehrere Verbraucher in einer Verbrauchergruppe zu einem Thema haben.

Ohne einen Schlüssel könnten zwei Nachrichten auf demselben Schlüssel zu unterschiedlichen Partitionen gehen und von verschiedenen Verbrauchern in der Gruppe außer Betrieb verarbeitet werden.

Ein weiterer interessanter Anwendungsfall

Wir könnten das Schlüsselattribut in Kafka-Themen zum Senden von Benutzer-IDs verwenden und dann einen Verbraucher anschließen, um Streaming-Ereignisse (Ereignisse, die in Wertattributen gespeichert sind) abzurufen. Auf diese Weise können Sie eine beliebige maximale Anzahl von Benutzerereignissequenzen verarbeiten, um Funktionen in Ihren Modellen für maschinelles Lernen zu erstellen.

Ich muss noch herausfinden, ob dies möglich ist oder nicht. Ich werde meine Antwort mit weiteren Details aktualisieren.