Вопросы с тегом «apache-kafka»

Меня попросили оценить RabbitMQ вместо Kafka, но мне было трудно найти причину, по которой он делает что-то лучше, чем Kafka. Кто-нибудь знает, действительно ли он лучше по пропускной способности, долговечности, задержке или простоте использования?

333 rabbitmq  apache-kafka  message-queue 

Хотя я раньше сталкивался с Кафкой , я только недавно понял, что Кафку, возможно, можно использовать как (основу) CQRS , хранилище событий . Один из основных моментов, которые поддерживает Кафка: Захват / хранение событий, все ГА, конечно. Паб / суб архитектура Возможность воспроизведения журнала событий, что позволяет новым подписчикам регистрироваться …

220 cqrs  event-sourcing  apache-kafka  dddd 

Есть ли способ очистить тему в кафке? Я поместил сообщение, которое было слишком большим, в тему сообщения kafka на моей локальной машине, и теперь я получаю сообщение об ошибке: kafka.common.InvalidMessageSizeException: invalid message size Увеличение fetch.sizeне является идеальным здесь, потому что я не хочу принимать такие большие сообщения.

185 apache-kafka  purge 

Я начинаю изучать Kafka для решения корпоративных задач. Во время моих чтений у меня возникли вопросы: Когда производитель создает сообщение - он укажет тему, в которую он хочет отправить сообщение, верно? Это заботится о разделах? Когда подписчик работает - он задает свой идентификатор группы, чтобы он мог быть частью кластера …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Я пытаюсь использовать Кафку. Все настройки выполнены правильно, но когда я пытаюсь создать сообщение с консоли, я получаю следующую ошибку WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Кафка версия: 2.11-0.9.0.0

172 apache-kafka  producer 

Я относительно новичок в Кафке. Я немного поэкспериментировал с этим, но некоторые вещи мне неясны в отношении компенсации потребителю. Из того, что я понял до сих пор, когда потребитель начинает, смещение, с которого он начнет читать, определяется настройкой конфигурации auto.offset.reset(поправьте меня, если я ошибаюсь). Теперь скажем, например, что в теме …

170 java  distributed-computing  apache-kafka 

Одна из первых вещей, о которых я думаю, когда использую новый сервис (например, хранилище данных без RDBMS или очередь сообщений), это: «Как мне структурировать мои данные?». Я читал и смотрел некоторые вводные материалы. В частности, возьмем, например, Kafka: распределенную систему обмена сообщениями для обработки журналов , которая пишет: «Тема - …

168 apache-kafka 

В Kafka я хотел бы использовать только одного брокера, одну тему и один раздел с одним производителем и несколькими потребителями (каждый потребитель получает свою собственную копию данных от брокера). Учитывая это, я не хочу накладных расходов на использование Zookeeper; Могу я не использовать только брокера? Почему Zookeeper должен?

136 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Я отправляю String-сообщения в Kafka V. 0.8 с помощью Java Producer API. Если размер сообщения составляет около 15 МБ, я получаю файл MessageSizeTooLargeException. Я пытался установить message.max.bytesзначение 40 МБ, но все равно получаю исключение. Мелкие сообщения работали без проблем. (Исключение появляется у производителя, у меня нет потребителя в этом приложении.) …

120 java  apache-kafka 

Как найти версию kafka в Linux? есть ли способ найти установленную версию kafka, кроме упоминания версии при ее загрузке?

107 apache-kafka 

Apache Kafka: распределенная система обмена сообщениями Apache Storm: обработка сообщений в реальном времени Как мы можем использовать обе технологии в конвейере данных в реальном времени для обработки данных о событиях? Что касается конвейера данных в реальном времени, мне кажется, что оба они выполняют свою работу одинаково. Как мы можем использовать …

102 apache-storm  apache-kafka  data-integration 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); В настоящее время я отправляю сообщения без ключа как часть сообщений с ключом, будет ли оно работать delete.retention.ms? Нужно ли мне отправлять ключ как часть сообщения? Хорошо ли делать ключ частью сообщения?

102 apache-kafka  kafka-consumer-api  kafka-producer-api 

Я недавно начал изучать Kafka и в итоге получаю эти вопросы. В чем разница между Consumer и Stream? Для меня, если какой-либо инструмент / приложение потребляет сообщения от Kafka, является потребителем в мире Kafka. Чем отличается Stream, поскольку он также потребляет или отправляет сообщения Kafka? и зачем это нужно, если …

99 apache-kafka  kafka-consumer-api  apache-kafka-streams 

Мне нужно удалить тему testв Apache Kafka 0.8.1.1. Как указано в документации , я выполнил: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Однако это приводит к следующему сообщению: Command must include exactly one action: --list, --describe, --create or --alter Как мне удалить эту тему?

98 apache-kafka 

Закрыто . Этот вопрос должен быть более конкретным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост . Закрыт 10 месяцев назад . Уточните этот вопрос Все примеры из Кафки | производители показывают ProducerRecordпару ключ …

97 apache-kafka  message-queue  messaging  key-value  messagebroker