Multi-Task-Learning in Keras

Ich versuche, gemeinsam genutzte Ebenen in Keras zu implementieren. Ich sehe, dass Keras hat keras.layers.concatenate, aber ich bin nicht sicher, Dokumentation über seine Verwendung. Kann ich damit mehrere gemeinsame Ebenen erstellen? Was wäre der beste Weg, um ein einfaches, gemeinsam genutztes neuronales Netzwerk wie unten gezeigt mit Keras zu implementieren?

Beachten Sie, dass alle Formen der Eingabe-, Ausgabe- und gemeinsamen Ebenen für alle 3 NNs gleich sind. In den drei NNs gibt es mehrere gemeinsam genutzte Ebenen (und nicht gemeinsam genutzte Ebenen). Die farbigen Schichten sind für jedes NN einzigartig und haben die gleiche Form.

Grundsätzlich stellt die Figur 3 identische NNs mit mehreren gemeinsam genutzten verborgenen Schichten dar, gefolgt von mehreren nicht gemeinsam genutzten verborgenen Schichten.

Ich bin nicht sicher, wie ich mehrere Ebenen teilen soll, da es im Twitter-Beispiel nur eine gemeinsame Ebene gab (Beispiel in API-Dokument).

Input $x$DenseDense

x = Input(shape=(n, ))
shared = Dense(32)(x)
sub1 = Dense(16)(shared)
sub2 = Dense(16)(shared)
sub3 = Dense(16)(shared)
out1 = Dense(1)(sub1)
out2 = Dense(1)(sub2)
out3 = Dense(1)(sub3)

Wir können unser Modell jetzt so definieren:

model = Model(inputs=x, outputs=[out1, out2, out3])

Es wird nun ein Tupel / eine Liste mit drei Elementen erwartet, eines für jede Ausgabe.

Mit diesen Konzepten können Sie noch viel weiter gehen. Angenommen, wir möchten einzelne Gewichte für die Personenebenen lernen, möchten aber weiterhin die gleichen Gewichte für die Linearkombination in Richtung der Ausgabeebene haben. Dies könnte folgendermaßen erreicht werden:

out = Dense(1)
out1 = out(sub1)
out2 = out(sub2)
out3 = out(sub3)

BEARBEITEN: Verketten ist im Grunde das Gegenteil von dem, was Sie tun möchten. Es fügt (Zwischen-) Ausgaben verschiedener Teile Ihres Netzwerks in eine neue Ebene ein. Eigentlich möchten Sie sich in mehrere Teile aufteilen.