Вопросы с тегом «apache-kafka»

Я использую apache kafka для обмена сообщениями. Я реализовал производителя и потребителя на Java. Как узнать количество сообщений в теме?

93 java  messages  apache-kafka 

Есть ли способ удалить все данные из темы или удалить тему перед каждым запуском? Могу ли я изменить файл KafkaConfig.scala, чтобы изменить logRetentionHoursсвойство? Есть ли способ удалить сообщения, как только потребитель их прочитает? Я использую производителей для извлечения данных откуда-то и отправки данных в определенную тему, где потребляет потребитель. Могу …

87 apache-kafka  apache-zookeeper 

Закрыто . Этот вопрос должен быть более конкретным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост . Закрыт 2 месяца назад . Уточните этот вопрос Redis можно использовать как паб-подписку в реальном времени, как …

87 redis  apache-kafka  publish-subscribe 

Закрыто . Этот вопрос должен быть более сфокусированным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост. . Закрыто 4 дня назад . Я пошел на собеседование по работе с инженером данных Интервьюер задал мне …

20 apache-spark  apache-kafka  stream-processing 

Я использую клиент Confluent.Kafka .NET версии 1.3.0. Я следую за документами : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer …

10 c#  apache-kafka  kafka-consumer-api 

У меня есть простое приложение, с двумя функциями, одна для прослушивания темы, а другая для веб-конечной точки. Я хочу создать потоковую передачу событий на стороне сервера (SSE), то есть text / event-stream, чтобы на стороне клиента я мог слушать ее с помощью EventSource. У меня есть следующий код на данный …

9 python  python-3.x  apache-kafka  aiohttp  faust 

Я постоянно получаю FETCH_SESSION_ID_NOT_FOUND. Я не уверен, почему это происходит. Может кто-нибудь порадовать меня здесь, в чем проблема и как это отразится на потребителях и брокерах. Журнал Сервера Кафки: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, …

9 apache-kafka