Als «apache-kafka» getaggte Fragen

Ich wurde gebeten, RabbitMQ anstelle von Kafka zu evaluieren, aber es fiel mir schwer, einen Grund zu finden, warum es etwas besser macht als Kafka. Weiß jemand, ob es wirklich besser in Bezug auf Durchsatz, Haltbarkeit, Latenz oder Benutzerfreundlichkeit

Obwohl ich kenne Kafka vor, ich habe gerade vor kurzem realisiert Kafka vielleicht als (der Basis) ein verwendet werden können CQRS , eventstore . Einer der wichtigsten Punkte, die Kafka unterstützt: Ereigniserfassung / -speicherung, natürlich alle HA. Pub / Sub-Architektur Möglichkeit zur...

Gibt es eine Möglichkeit, das Thema in Kafka zu löschen? Ich habe eine zu große Nachricht in ein Kafka-Nachrichtenthema auf meinem lokalen Computer verschoben. Jetzt wird eine Fehlermeldung angezeigt: kafka.common.InvalidMessageSizeException: invalid message size Das Erhöhen der fetch.sizeist...

Ich fange an, Kafka für Unternehmenslösungszwecke zu lernen. Während meiner Lesungen kamen mir einige Fragen in den Sinn: Wenn ein Produzent eine Nachricht produziert, gibt er das Thema an, an das er die Nachricht senden möchte. Ist das richtig? Interessiert es sich für Partitionen? Wenn ein...

Ich versuche Kafka zu benutzen. Alle Konfigurationen werden ordnungsgemäß durchgeführt, aber wenn ich versuche, eine Nachricht von der Konsole zu erstellen, wird immer wieder der folgende Fehler angezeigt WARN Error while fetching metadata with correlation id 39 :

Ich bin relativ neu in Kafka. Ich habe ein bisschen damit experimentiert, aber ein paar Dinge sind mir in Bezug auf den Verbraucher-Offset unklar. Nach dem, was ich bisher verstanden habe, wird beim Start eines Verbrauchers der Offset, von dem er zu lesen beginnt, durch die

Eines der ersten Dinge, an die ich denke, wenn ich einen neuen Dienst verwende (z. B. einen Nicht-RDBMS-Datenspeicher oder eine Nachrichtenwarteschlange), ist: "Wie soll ich meine Daten strukturieren?". Ich habe einige Einführungsmaterialien gelesen und gesehen. Nehmen wir zum Beispiel Kafka: ein...

In Kafka möchte ich nur einen einzigen Broker, ein einziges Thema und eine einzige Partition mit einem Produzenten und mehreren Konsumenten verwenden (jeder Konsument erhält seine eigene Kopie der Daten vom Broker). Vor diesem Hintergrund möchte ich nicht den Aufwand für die Verwendung von...

Ich sende String-Nachrichten mit der Java Producer API an Kafka V. 0.8. Wenn die Nachrichtengröße ca. 15 MB beträgt, erhalte ich eine MessageSizeTooLargeException. Ich habe versucht, message.max.bytesauf 40 MB einzustellen , aber ich bekomme immer noch die Ausnahme. Kleine Nachrichten...

Wie finde ich die Kafka-Version unter Linux? Gibt es eine andere Möglichkeit, die installierte Kafka-Version zu finden, als die Version beim Herunterladen zu

Apache Kafka: Verteiltes Nachrichtensystem Apache Storm: Echtzeit-Nachrichtenverarbeitung Wie können wir beide Technologien in einer Echtzeitdatenpipeline zur Verarbeitung von Ereignisdaten verwenden? In Bezug auf die Echtzeit-Datenpipeline scheinen mir beide den Job identisch zu machen. Wie...

Ich habe vor kurzem angefangen, Kafka zu lernen und am Ende diese Fragen. Was ist der Unterschied zwischen Consumer und Stream? Wenn ein Tool / eine Anwendung Nachrichten von Kafka konsumiert, ist dies für mich ein Verbraucher in der Kafka-Welt. Wie unterscheidet sich Stream, da dies auch...

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 9 Monaten . Verbessere diese Frage...

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Derzeit sende ich Nachrichten ohne Schlüssel als Teil von Schlüsselnachrichten. Funktioniert dies weiterhin...

Ich muss das Thema testin Apache Kafka 0.8.1.1 löschen. Wie in der Dokumentation hier ausgedrückt , habe ich ausgeführt: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Dies führt jedoch zu der folgenden Meldung: Command must include exactly one action: --list, --describe,...

Ich benutze Apache Kafka für Messaging. Ich habe den Produzenten und Konsumenten in Java implementiert. Wie können wir die Anzahl der Nachrichten in einem Thema ermitteln?

Gibt es eine Möglichkeit, alle Daten aus einem Thema zu löschen oder das Thema vor jedem Lauf zu löschen? Kann ich die Datei KafkaConfig.scala ändern, um die logRetentionHoursEigenschaft zu ändern ? Gibt es eine Möglichkeit, die Nachrichten zu löschen, sobald der Verbraucher sie liest? Ich...

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Monaten . Verbessere diese Frage...

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten .

Ich bin nicht klar , warum wir beide brauchen session.timeout.msund max.poll.interval.msund wann würden wir verwenden eine oder das andere oder beides? Anscheinend geben beide Einstellungen die Obergrenze für die Zeit an, die der Koordinator wartet, um den Herzschlag eines Verbrauchers zu...