Als «apache-kafka» getaggte Fragen

Apache Kafka ist eine verteilte Streaming-Plattform zum Speichern und Verarbeiten von Datenströmen mit hohem Durchsatz.

7
Verwenden von Kafka als (CQRS) Eventstore. Gute Idee?
Obwohl ich kenne Kafka vor, ich habe gerade vor kurzem realisiert Kafka vielleicht als (der Basis) ein verwendet werden können CQRS , eventstore . Einer der wichtigsten Punkte, die Kafka unterstützt: Ereigniserfassung / -speicherung, natürlich alle HA. Pub / Sub-Architektur Möglichkeit zur Wiedergabe des Ereignisprotokolls, wodurch sich neue Abonnenten nachträglich …
18
Kafka-Thema löschen
Gibt es eine Möglichkeit, das Thema in Kafka zu löschen? Ich habe eine zu große Nachricht in ein Kafka-Nachrichtenthema auf meinem lokalen Computer verschoben. Jetzt wird eine Fehlermeldung angezeigt: kafka.common.InvalidMessageSizeException: invalid message size Das Erhöhen der fetch.sizeist hier nicht ideal, weil ich eigentlich keine so großen Nachrichten annehmen möchte.
23
Leader nicht verfügbar Kafka in Console Producer
Ich versuche Kafka zu benutzen. Alle Konfigurationen werden ordnungsgemäß durchgeführt, aber wenn ich versuche, eine Nachricht von der Konsole zu erstellen, wird immer wieder der folgende Fehler angezeigt WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Kafka-Version: 2.11-0.9.0.0
3
Was bestimmt den Kafka-Verbraucherversatz?
Ich bin relativ neu in Kafka. Ich habe ein bisschen damit experimentiert, aber ein paar Dinge sind mir in Bezug auf den Verbraucher-Offset unklar. Nach dem, was ich bisher verstanden habe, wird beim Start eines Verbrauchers der Offset, von dem er zu lesen beginnt, durch die Konfigurationseinstellung bestimmt auto.offset.reset(korrigieren Sie …
4
Datenmodellierung mit Kafka? Themen und Partitionen
Eines der ersten Dinge, an die ich denke, wenn ich einen neuen Dienst verwende (z. B. einen Nicht-RDBMS-Datenspeicher oder eine Nachrichtenwarteschlange), ist: "Wie soll ich meine Daten strukturieren?". Ich habe einige Einführungsmaterialien gelesen und gesehen. Nehmen wir zum Beispiel Kafka: ein verteiltes Nachrichtensystem für die Protokollverarbeitung , das schreibt: "Ein …
168 apache-kafka 
7
Wie kann ich mit Kafka (über 15 MB) große Nachrichten senden?
Ich sende String-Nachrichten mit der Java Producer API an Kafka V. 0.8. Wenn die Nachrichtengröße ca. 15 MB beträgt, erhalte ich eine MessageSizeTooLargeException. Ich habe versucht, message.max.bytesauf 40 MB einzustellen , aber ich bekomme immer noch die Ausnahme. Kleine Nachrichten funktionierten ohne Probleme. (Die Ausnahme erscheint im Hersteller, ich habe …
118 java  apache-kafka 
7
Apache Kafka gegen Apache Storm
Apache Kafka: Verteiltes Nachrichtensystem Apache Storm: Echtzeit-Nachrichtenverarbeitung Wie können wir beide Technologien in einer Echtzeitdatenpipeline zur Verarbeitung von Ereignisdaten verwenden? In Bezug auf die Echtzeit-Datenpipeline scheinen mir beide den Job identisch zu machen. Wie können wir beide Technologien in einer Datenpipeline verwenden?
3
Was ist der Zweck von Kafkas auf Schlüssel / Wert-Paaren basierenden Nachrichten? [geschlossen]
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 9 Monaten . Verbessere diese Frage Alle Beispiele von Kafka | …
2
Wird beim Senden von Nachrichten an Kafka ein Schlüssel benötigt?
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Derzeit sende ich Nachrichten ohne Schlüssel als Teil von Schlüsselnachrichten. Funktioniert dies weiterhin delete.retention.ms? Muss ich einen Schlüssel als Teil der Nachricht senden? Ist es gut, Schlüssel als Teil der Nachricht zu machen?
14
Thema in Kafka 0.8.1.1 löschen
Ich muss das Thema testin Apache Kafka 0.8.1.1 löschen. Wie in der Dokumentation hier ausgedrückt , habe ich ausgeführt: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Dies führt jedoch zu der folgenden Meldung: Command must include exactly one action: --list, --describe, --create or --alter Wie kann ich dieses Thema löschen?
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.