Programmierung kafka-consumer-api

3

Grundlegendes zu Kafka-Themen und -Partitionen

Ich fange an, Kafka für Unternehmenslösungszwecke zu lernen. Während meiner Lesungen kamen mir einige Fragen in den Sinn: Wenn ein Produzent eine Nachricht produziert, gibt er das Thema an, an das er die Nachricht senden möchte. Ist das richtig? Interessiert es sich für Partitionen? Wenn ein Abonnent ausgeführt wird - …

182 apache-kafka kafka-consumer-api kafka-producer-api

2

Kafka: Consumer API vs Streams API

Ich habe vor kurzem angefangen, Kafka zu lernen und am Ende diese Fragen. Was ist der Unterschied zwischen Consumer und Stream? Wenn ein Tool / eine Anwendung Nachrichten von Kafka konsumiert, ist dies für mich ein Verbraucher in der Kafka-Welt. Wie unterscheidet sich Stream, da dies auch Nachrichten von Kafka …

98 apache-kafka kafka-consumer-api apache-kafka-streams

2

Wird beim Senden von Nachrichten an Kafka ein Schlüssel benötigt?

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Derzeit sende ich Nachrichten ohne Schlüssel als Teil von Schlüsselnachrichten. Funktioniert dies weiterhin delete.retention.ms? Muss ich einen Schlüssel als Teil der Nachricht senden? Ist es gut, Schlüssel als Teil der Nachricht zu machen?

93 apache-kafka kafka-consumer-api

1

Unterschied zwischen session.timeout.ms und max.poll.interval.ms für Kafka> = 0.10.1

Ich bin nicht klar , warum wir beide brauchen session.timeout.msund max.poll.interval.msund wann würden wir verwenden eine oder das andere oder beides? Anscheinend geben beide Einstellungen die Obergrenze für die Zeit an, die der Koordinator wartet, um den Herzschlag eines Verbrauchers zu erhalten, bevor er davon ausgeht, dass er tot ist. …

78 apache-kafka kafka-consumer-api

8

Kafka Verbraucherliste

Ich muss einen Weg finden, Kafka nach einer Liste von Themen zu fragen. Ich weiß, dass ich das mit dem kafka-topics.shim bin\Verzeichnis enthaltenen Skript tun kann . Sobald ich diese Liste habe, brauche ich alle Verbraucher pro Thema. Ich konnte weder ein Skript in diesem Verzeichnis noch eine Klasse in …

74 apache-kafka kafka-consumer-api

2

Verbrauchen Sie dieselbe Nachricht erneut, wenn die Verarbeitung der Nachricht fehlschlägt

Ich verwende Confluent.Kafka .NET Client Version 1.3.0. Ich folge den Dokumenten : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer …

10 c# apache-kafka kafka-consumer-api

Als «kafka-consumer-api» getaggte Fragen