Мне нужно удалить тему testв Apache Kafka 0.8.1.1.
Как указано в документации , я выполнил:
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
Однако это приводит к следующему сообщению:
Command must include exactly one action: --list, --describe, --create or --alter
Как мне удалить эту тему?
Ответы:
Удаление темы не всегда работает в 0.8.1.1
Удаление должно работать в следующем выпуске 0.8.2.
kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name
Topic your_topic_name is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
Похоже, что команда удаления не была официально задокументирована в Kafka 0.8.1.x из-за известной ошибки ( https://issues.apache.org/jira/browse/KAFKA-1397 ).
Тем не менее, команда все еще была отправлена в коде и может быть выполнена как:
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test
Тем временем ошибка была исправлена, и теперь команда удаления официально доступна в Kafka 0.8.2.0 как:
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
Добавьте строку ниже в $ {kafka_home} /config/server.properties
delete.topic.enable=true
Перезагрузите сервер kafka с новой конфигурацией:
${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties
Удалите темы, которые вы хотите:
${kafka_home}/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic daemon12
Андреа права. мы можем сделать это из командной строки.
И мы все еще можем его запрограммировать
ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));
На самом деле я не рекомендую удалять тему на Kafka 0.8.1.1. Я могу удалить эту тему этим методом, но если вы проверите журнал на наличие zookeeper, удаление все испортит.
Вы можете удалить конкретную тему testkafka (пример :) с помощью команды оболочки zookeeper ( zookeeper-shell.sh). Используйте команду ниже, чтобы удалить тему
rmr {path of the topic}
пример:
rmr /brokers/topics/test
Шаги по удалению 1 или нескольких тем в Kafka
1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true
kafka-topics.sh --delete --zookeeper localhost: 2181 --topic
(хорошо для целей тестирования, где я создал несколько тем и должен был удалить их для разных сценариев)
bin / kafka-topics.sh --list --zookeeper localhost: 2181
если в списке нет ни одной темы, значит все темы были успешно удалены. если темы указаны, значит удаление не было успешным. Повторите описанные выше действия еще раз или перезагрузите компьютер.
server.propertiesфайле. Вы должны добавить эту строку вручную.
Это действие удалит все темы и данные.
Команда:
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
к сожалению, помечает только тему для удаления.
Удаление не происходит.
Это создает проблемы при тестировании любых скриптов, которые готовят конфигурацию Kafka.
Подключенные темы:
Добавляя к приведенным выше ответам, необходимо удалить метаданные, связанные с этой темой, в пути смещения потребителя zookeeper.
bin/zookeeper-shell.sh zookeeperhost:port
rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>
В противном случае в инструментах kafka-monitoring на основе zookeeper задержка будет отрицательной.
Как упоминалось в документе здесь
По умолчанию опция удаления темы отключена. Чтобы включить его, установите конфигурацию сервера delete.topic.enable = true. Kafka в настоящее время не поддерживает уменьшение количества разделов для темы или изменение коэффициента репликации.
Убедитесь, что delete.topic.enable = true
bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>
Если у вас возникли проблемы с удалением тем, попробуйте удалить тему, используя:
$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name
команда. Затем, чтобы проверить процесс удаления, перейдите в каталог журналов kafka, который обычно находится в нем /tmp/kafka-logs/, затем удалите your_topic_nameфайл с помощью rm -rf your_topic_nameкоманды.
Не забудьте контролировать весь процесс с помощью инструмента управления kafka, например Kafka Tool.
Вышеупомянутый процесс удалит темы без перезапуска сервера kafka.
Шаг 1. Убедитесь, что вы подключены к zookeeper и работает Kafka.
Шаг 2: Чтобы удалить тему Kafka, запустите Kafka-topic (Mac) или Kafka-topic.sh, если используете (linux / Mac), добавьте порт и --topic с именем вашей темы и --delete, просто удалите тему с помощью успех.
# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete