Piping Schwanz -f in awk

Ich versuche, tail -f in awk zu leiten, um eine Protokolldatei in Echtzeit zu überwachen, aber Beispielen zufolge sollte es kein Problem geben, aber ich kann es nicht zum Laufen bringen.

Hier ist der Befehl, den ich ausführe

tail -f logfile.log | awk -F" " '{print $1, $2, $7, $8}'

Wenn ich meine Datei jedoch mit nano edit a line bearbeite, wird sie nicht in Echtzeit gedruckt. Wenn ich den Befehl awk direkt ausführe, wird meine neue Zeile im Ergebnis angezeigt.

Sie sehen es nicht in Echtzeit, da Rohre aus Effizienzgründen gepuffert werden. tail -fmuss den Puffer füllen, typischerweise 4 kB, bevor die Ausgabe an übergeben wird awk.

Ein Fix besteht darin, den Unbuffer-Befehl zu verwenden, der Teil des Expect-Pakets ist:

unbuffer tail -f logfile.log | awk -F" " '{print $1, $2, $7, $8}'

Dies führt tailzu dem Gedanken, dass es in ein interaktives Terminal schreibt. Infolgedessen puffert es nicht.

Weitere Informationen finden Sie unter /unix/25372/turn-off-buffering-in-pipe

Wenn Sie über GNU coreutils 7.5 oder besser verfügen, können Sie alternativ die Ausgabepufferung mit dem Befehl stdbuf deaktivieren:

stdbuf -o0 tail -f logfile.log | awk -F" " '{print $1, $2, $7, $8}'

Ich denke, die Antwort von @ John1024 ist nicht ganz richtig, da das stdbuf -o0Präfix falsch platziert ist. Es gehört als Präfix zum awkBefehl, nicht zum tail -fBefehl, daher sollte der richtige Befehl lauten:

tail -f logfile.log | stdbuf -o0 awk -F" " '{print $1, $2, $7, $8}'

Beachten Sie auch, dass nicht alle Versionen von awk in dieser bestimmten Konfiguration funktionieren. IOW, wenn Sie diese bestimmte Befehlszeichenfolge benötigen, um wie geschrieben zu funktionieren, probieren Sie verschiedene awk / gawk / mawk-Versionen aus, bis Sie eine finden, die funktioniert.

Sie können die Pufferung aufheben, indem Sie eine while-Schleife hinzufügen, wie im folgenden Beispiel angegeben. Ich habe dies an einer laufenden Protokolldatei getestet und es hat bei mir funktioniert.

tail -f input.log | while read a; do echo "$a" | awk -F" " '{print $1, $2, $7, $8}' >> output.log; done

Weder stdbuf noch unbuffer scheinen für mich zu funktionieren (Ubuntu 18.04), aber die Verwendung einer Named Pipe funktioniert. Ich habe ein Shell-Skript erstellt, das Folgendes enthält:

mkfifo /tmp/pipe
awk -F" " '{print $1, $2, $7, $8}' < /tmp/pipe &
tail -f input.log > /tmp/pipe