Wie verbinde ich unter Linux zwei Named Pipes zu einem einzigen Eingabestream?

Mit der Funktion pipes ( |) unter Linux kann ich die Standardeingabe an einen oder mehrere Ausgabestreams weiterleiten.

Ich kann verwenden tee, um die Ausgabe zu teilen, um Unterprozesse zu trennen.

Gibt es einen Befehl zum Verbinden von zwei Eingabestreams?

Wie würde ich das machen? Wie funktioniert Diff?

Persönlich mein Favorit (erfordert Bash und andere Dinge, die bei den meisten Linux-Distributionen Standard sind)

Die Details können sehr davon abhängen, was die beiden Dinge ausgeben und wie Sie sie zusammenführen möchten ...

Inhalt von command1 und command2 nacheinander in der Ausgabe:

cat <(command1) <(command2) > outputfile

Oder wenn beide Befehle alternative Versionen derselben Daten ausgeben, die Sie nebeneinander anzeigen möchten (ich habe dies mit snmpwalk verwendet; Zahlen auf der einen Seite und MIB-Namen auf der anderen Seite):

paste <(command1) <(command2) > outputfile

Oder wenn Sie die Ausgabe von zwei ähnlichen Befehlen vergleichen möchten (z. B. eine Suche in zwei verschiedenen Verzeichnissen)

diff <(command1) <(command2) > outputfile

Oder wenn es sich um sortierte Ausgaben handelt, führen Sie diese zusammen:

sort -m <(command1) <(command2) > outputfile

Oder führe beide Befehle gleichzeitig aus (könnte allerdings ein bisschen durcheinander bringen):

cat <(command1 & command2) > outputfile

Der Operator <() richtet für jeden Befehl eine Named Pipe (oder / dev / fd) ein, leitet die Ausgabe dieses Befehls in die Named Pipe (oder / dev / fd-Dateihandle-Referenz) und übergibt den Namen in der Befehlszeile. Es gibt eine Entsprechung mit> (). Sie command0 | tee >(command1) >(command2) >(command3) | command4können beispielsweise die Ausgabe eines Befehls gleichzeitig an vier andere Befehle senden.

Sie können zwei Dämpfe an einen anderen anhängen cat, wie der Gorilla zeigt.

Sie können auch ein FIFO erstellen, die Ausgabe der Befehle darauf richten und dann mit einem beliebigen anderen Programm aus dem FIFO lesen:

mkfifo ~/my_fifo
command1 > ~/my_fifo &
command2 > ~/my_fifo &
command3 < ~/my_fifo

Besonders nützlich für Programme, die nur eine Datei schreiben oder lesen oder Programme, die nur stdout / file ausgeben, mit einem Programm mischen, das nur das andere unterstützt.

(tail -f /tmp/p1 & tail -f /tmp/p2 ) | cat > /tmp/output

/tmp/p1und /tmp/p2sind Ihre Input-Pipes, während /tmp/outputder Output ist.

Ich habe dafür ein spezielles Programm erstellt: fdlinecombine

Es liest mehrere Pipes (normalerweise Programmausgaben) und schreibt sie zeilenweise auf stdout (Sie können auch das Trennzeichen überschreiben)

Ein wirklich cooler Befehl, den ich dafür verwendet habe, ist tpipe, dass Sie möglicherweise kompilieren müssen, da er nicht so häufig vorkommt. Es ist wirklich großartig, genau das zu tun, wovon du sprichst, und es ist so sauber, dass ich es normalerweise installiere. Die Manpage befindet sich hier http://linux.die.net/man/1/tpipe . Der aktuell aufgeführte Download befindet sich in diesem Archiv unter http://www.eurogaran.com/downloads/tpipe/ .

Es wird so verwendet,

## Reinject sub-pipeline stdout into standard output:
$ pipeline1 | tpipe "pipeline2" | pipeline3

Sei hier vorsichtig; Durch einfaches Catting werden die Ergebnisse auf eine Weise gemischt, die Sie möglicherweise nicht möchten. Wenn es sich beispielsweise um Protokolldateien handelt, möchten Sie wahrscheinlich nicht wirklich, dass eine Zeile von einer zur Hälfte durch eine Zeile von der anderen eingefügt wird. Wenn das in Ordnung ist, dann

tail -f / tmp / p1 / tmp / p2> / tmp / output

wird funktionieren. Wenn das nicht in Ordnung ist, müssen Sie etwas finden, das die Zeilenpufferung übernimmt und nur vollständige Zeilen ausgibt. Syslog macht das, aber ich bin mir nicht sicher, was sonst könnte.

EDIT: Optimierung für ungepuffertes Lesen und Named Pipes:

Betrachtet man / tmp / p1, / ​​tmp / p2, / tmp / p3 als Named Pipes, erstellt von "mkfifo / tmp / p N "

tail -q -f / tmp / p1 / tmp / p2 | awk '{print $ 0> "/ tmp / p3"; close ("/ tmp / p3"); fflush ();} '&

Jetzt können wir auf diese Weise die Ausgabe der Named Pipe "/ tmp / p3" ungepuffert lesen :

Schwanz -f / tmp / p3

Es gibt einen kleinen Fehler der Art, Sie müssen die 1. Input Pipe / tmp / p1 "initialisieren" durch:

echo -n> / tmp / p1

Damit wird Tail die Eingabe von 2nd Pipe / tmp / p2 zuerst akzeptieren und nicht warten, bis etwas zu / tmp / p1 kommt. Dies ist möglicherweise nicht der Fall, wenn Sie sicher sind, dass das / tmp / p1 zuerst Eingaben empfängt.

Auch die Option -q ist , um benötigt Schwanz nicht Müll über Dateinamen drucken.

Das beste Programm dafür ist lmerge. Im Gegensatz zu Freiharts Antwort ist sie zeilenorientiert, sodass sich die Ausgabe der beiden Befehle nicht gegenseitig stört. Im Gegensatz zu anderen Lösungen wird die Eingabe fair zusammengeführt, sodass kein Befehl die Ausgabe dominieren kann. Zum Beispiel:

$ lmerge <(yes foo) <(yes bar) | head -n 4

Ausgabe von:

foo
bar
foo
bar