Kafka: FETCH_SESSION_ID_NOT_FOUND wird kontinuierlich abgerufen

9

Ich erhalte ständig FETCH_SESSION_ID_NOT_FOUND. Ich bin mir nicht sicher, warum es passiert. Kann mir hier jemand gefallen, was das Problem ist und welche Auswirkungen es auf Verbraucher und Makler haben wird.

Kafka Server Log:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Kafka Verbraucherprotokoll:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

Clusterdetails: 

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)
apache-kafka Hrishikesh Mishra
quelle
Ich erhalte den gleichen Fehler mit Kafka Java Client Version 2.3.1. Hat jemand irgendwelche Ideen?
Bert S.
@ BertS.erhöhe diesen Wertmax.incremental.fetch.session.cache.slots
Hrishikesh Mishra
Hallo @HrishikeshMishra war dies (obiger Kommentar) die Lösung, die Sie für dieses Problem gefunden haben? Würden Sie es als Antwort auf Ihren Beitrag und wenn möglich mit ein wenig Erklärung hinzufügen? Ich habe das gleiche Problem, ich werde Ihre obige Lösung testen.
Jorge Campos
Dies ist ein INFO-Protokoll. Was bedeutet es, es einfach zu ignorieren?
Bert S.

Antworten:

1

Erhöhen Sie den Wert von max.incremental.fetch.session.cache.slots. Der Standardwert ist 1K, in meinem Fall habe ich ihn auf 10K erhöht und behoben.

Hrishikesh Mishra
quelle
Ist dies eine Einstellung für den Broker?
Bert S.
Ja, seine Broker-Einstellung
Hrishikesh Mishra
Gibt es etwas, das auf der Verbraucher- oder Herstellerseite getan werden kann?
Bert S.
Für Hersteller und Verbraucher nichts erforderlich.
Hrishikesh Mishra
Ich sehe den Fehler bei meinem Verbraucher. Ich habe keinen Zugriff, um den Broker selbst zu ändern. Sollte mir das Sorgen machen?
Bert S.
0

Ich habe es zuerst von 1K auf 2K und im zweiten Schritt von 2K auf 4K erhöht. Solange das Limit nicht ausgeschöpft war, trat kein Fehler auf:

Geben Sie hier die Bildbeschreibung ein

Geben Sie hier die Bildbeschreibung ein

Da es mir wie ein Sitzungsleck eines bestimmten nicht identifizierten Verbrauchers erschien, habe ich noch kein 10K-Limit ausprobiert, aber wenn ich die Antwort von Hrishikesh Mishra lese, werde ich es definitiv tun. Da durch Erhöhen des Grenzwerts auch die Fehlerhäufigkeit verringert wurde, wurde die hier erwähnte Frage nach der Identifizierung einzelner Verbrauchergruppen gestellt, die eine übermäßige Anzahl inkrementeller Abrufsitzungen eröffnen. Wie wird die tatsächliche Anzahl der im Kafka-Cluster verwendeten Cache-Slots für inkrementelle Abrufsitzungen überprüft? , kann am Ende irrelevant sein.

hdjur_jcv
quelle