Was bedeuten die Begriffe "dicht" und "spärlich" im Zusammenhang mit neuronalen Netzen?

Was bedeuten die Begriffe "dicht" und "dünn" im Zusammenhang mit neuronalen Netzen (NNs)? Was ist der Unterschied zwischen ihnen? Warum heißen sie so?

In der Mathematik beziehen sich "spärlich" und "dicht" häufig auf die Anzahl von Null- gegenüber Nicht-Null-Elementen in einem Array (z. B. Vektor oder Matrix). Ein Array mit geringer Dichte enthält hauptsächlich Nullen und wenige Einträge ungleich Null. Ein dichtes Array enthält meistens Nicht-Nullen.

Es gibt keine feste Schwelle für das, was als spärlich gilt. Es ist ein loser Begriff, kann aber präzisiert werden. Zum Beispiel ist ein Vektor sparsam, wenn er höchstens Einträge ungleich Null enthält . Eine andere Art, dies zu sagen, ist, dass die Norm des Vektors .$k$$k$$\ell_0$$k$

Die Verwendung dieser Begriffe im Zusammenhang mit neuronalen Netzen ähnelt ihrer Verwendung in anderen Bereichen. Im Zusammenhang mit NNs umfassen Dinge, die als spärlich oder dicht beschrieben werden können, die Aktivierung von Einheiten innerhalb einer bestimmten Schicht , die Gewichte und die Daten . Man könnte auch von "spärlicher Konnektivität" sprechen, die sich auf die Situation bezieht, in der nur eine kleine Teilmenge von Einheiten miteinander verbunden ist . Dies ist ein ähnliches Konzept wie bei spärlichen Gewichten, da eine Verbindung mit dem Gewicht Null praktisch nicht verbunden ist.

"Sparse Array" kann sich auch auf eine Klasse von Datentypen beziehen, die für die Darstellung von Arrays mit geringer Dichte effizient sind. Dies ist ein Konzept im Bereich der Programmiersprachen. Es ist verwandt mit, unterscheidet sich aber vom mathematischen Konzept.