Ich muss das Thema testin Apache Kafka 0.8.1.1 löschen.

Wie in der Dokumentation hier ausgedrückt , habe ich ausgeführt:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Dies führt jedoch zu der folgenden Meldung:

Command must include exactly one action: --list, --describe, --create or --alter

Wie kann ich dieses Thema löschen?

Das Löschen eines Themas funktioniert in 0.8.1.1 nicht immer

Das Löschen sollte in der nächsten Version 0.8.2 funktionieren

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

Ist es möglich, ein Thema zu löschen?

Jira KAFKA-1397

Es scheint, dass der Löschbefehl aufgrund eines bekannten Fehlers ( https://issues.apache.org/jira/browse/KAFKA-1397 ) nicht offiziell in Kafka 0.8.1.x dokumentiert wurde .

Trotzdem wurde der Befehl noch im Code ausgeliefert und kann ausgeführt werden als:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

In der Zwischenzeit wurde der Fehler behoben und der Löschbefehl ist jetzt offiziell in Kafka 0.8.2.0 verfügbar als:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Fügen Sie die folgende Zeile in $ {kafka_home} /config/server.properties hinzu

delete.topic.enable=true

Starten Sie den Kafka-Server mit der neuen Konfiguration neu:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

Löschen Sie die gewünschten Themen:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12

Andrea ist richtig. Wir können es über die Kommandozeile tun.

Und wir können es immer noch programmieren, indem wir

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

Eigentlich empfehle ich nicht, das Thema auf Kafka 0.8.1.1 zu löschen. Ich kann dieses Thema mit dieser Methode löschen, aber wenn Sie das Protokoll auf zookeeper überprüfen, wird es durch Löschen durcheinander gebracht.

Sie können ein bestimmtes Kafka-Thema (Beispiel test:) aus dem zookeeper-Shell-Befehl ( zookeeper-shell.sh) löschen . Verwenden Sie den folgenden Befehl, um das Thema zu löschen

rmr {path of the topic}

Beispiel:

rmr /brokers/topics/test

Schritte zum Löschen eines oder mehrerer Themen in Kafka

Um Themen in Kafka zu löschen, muss die Löschoption auf dem Kafka-Server aktiviert sein.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Löschen Sie ein Thema in Kafka und geben Sie den folgenden Befehl ein

kafka-topics.sh --delete --zookeeper localhost: 2181 --topic

Mehr als ein Thema aus kafka löschen

(Gut zu Testzwecken, wo ich mehrere Themen erstellt habe und sie für verschiedene Szenarien löschen musste)

1. Stoppen Sie den Kafka Server und den Zookeeper
2. Gehen Sie zum Ordner / tmp, in dem die Protokolle gespeichert sind, und löschen Sie den Ordner kafkalogs und zookeeper manuell
3. Starten Sie den Zookeeper und den Kafka-Server neu und versuchen Sie, Themen aufzulisten.

bin / kafka-topics.sh --list --zookeeper localhost: 2181

Wenn keine Themen aufgelistet sind, wurden alle Themen erfolgreich gelöscht. Wenn Themen aufgelistet sind, war das Löschen nicht erfolgreich. Versuchen Sie die obigen Schritte erneut oder starten Sie Ihren Computer neu.

Diese Schritte löschen alle Themen und Daten

• Stoppen Sie den Kafka-Server und den Zookeeper-Server
• Entfernen Sie die tmp-Datenverzeichnisse beider Dienste. Standardmäßig sind dies C: / tmp / kafka-logs und C: / tmp / zookeeper.
• Starten Sie dann den Zookeeper-Server und den Kafka-Server

Der Befehl:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

markiert leider nur das Thema zum Löschen.

Das Löschen erfolgt nicht.

Dies macht Probleme beim Testen von Skripten, wodurch die Kafka-Konfiguration vorbereitet wird.

Verbundene Threads:

• Kafka-Warteschlange löschen
• Gibt es eine Möglichkeit, alle Daten aus einem Thema zu löschen oder das Thema vor jedem Lauf zu löschen?

Wenn Sie die obigen Antworten hinzufügen, müssen Sie die mit diesem Thema verknüpften Metadaten im zookeeper-Consumer-Offset-Pfad löschen.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

Andernfalls ist die Verzögerung bei auf zookeeper basierenden Kafka-Überwachungstools negativ.

Wie in doc hier erwähnt

Die Option zum Löschen von Themen ist standardmäßig deaktiviert. Um dies zu aktivieren, legen Sie die Serverkonfiguration delete.topic.enable = true fest. Kafka unterstützt derzeit nicht das Reduzieren der Anzahl von Partitionen für ein Thema oder das Ändern des Replikationsfaktors.

Stellen Sie sicher, dass delete.topic.enable = true ist

bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>

Wenn Sie Probleme beim Löschen der Themen haben, versuchen Sie, das Thema folgendermaßen zu löschen:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

Befehl. Um den Löschvorgang zu überprüfen, wechseln Sie in das Verzeichnis kafka logs, in dem sich normalerweise befindet /tmp/kafka-logs/, und löschen Sie die your_topic_nameDatei per rm -rf your_topic_nameBefehl.

Denken Sie daran, den gesamten Prozess über ein Kafka-Management-Tool wie zu überwachen Kafka Tool.

Der oben erwähnte Prozess entfernt die Themen ohne Neustart des Kafka-Servers.

Schritt 1: Stellen Sie sicher, dass Sie mit Zookeeper und Kafka verbunden sind

Schritt 2: Um das Kafka-Thema zu löschen, führen Sie Kafka-topic (Mac) oder Kafka-topic.sh aus, wenn Sie (Linux / Mac) verwenden. Fügen Sie den Port und --topic mit dem Namen Ihres Themas hinzu und - löschen Sie es, indem Sie das Thema mit löschen Erfolg.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete

Zuerst führen Sie diesen Befehl aus, um Ihr Thema zu löschen:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Aktive Themen auflisten, um das Löschen vollständig zu überprüfen:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092