Verwenden neuronale Netze eine effiziente Codierung?

Meine Frage betrifft die Beziehung zwischen der Hypothese der effizienten Codierung, die auf der Wikipedia-Seite über effiziente Codierung und Lernalgorithmen für neuronale Netze beschrieben wird.

Welche Beziehung besteht zwischen der Hypothese der effizienten Codierung und neuronalen Netzen?

Gibt es neuronale Netzwerkmodelle, die explizit von der Hypothese der effizienten Codierung inspiriert sind?

Oder wäre es fairer zu sagen, dass alle Lernalgorithmen für neuronale Netze zumindest implizit auf einer effizienten Codierung basieren?

neural-networks information-theory Mike NZ
quelle

Vielleicht sind spärliche Autoencoder das, wonach Sie suchen ? (Wenn Ihr Interesse weniger technisch und breiter / philosophischer ist, kann der Vorschlag von Benutzer Kenorb angemessen sein.)

GeoMatt22

Interessante Frage. Ich vermute, dass NNs bei weitem nicht das sind, was wir als „effizient“ betrachten können. Ich denke, häufig verwendete Techniken wie Dropout würden tatsächlich versuchen, die Codierungseffizienz zu verringern.

Kbrose

Eine weitere Referenz: The Lottery Ticket Hypothesis, arxiv.org/abs/1803.03635 Das Papier spricht über das Finden der hart arbeitenden

Subnetzwerke,

Ich bin kein Experte für Informationstheorie, aber ich glaube nicht, dass es einen Zusammenhang zwischen effizienter Codierung und NNs gibt, und mir sind auch keine historischen oder gegenwärtigen Versuche bekannt, eine effiziente Codierung zu integrieren. Es kann jedoch sein, dass NNs Signale effizient codieren: arxiv.org/abs/1503.02406

shadowtalker

Ich habe (noch) nicht genug, um dies zu einer Antwort zu machen, aber dies scheint mir mit der Frage zu zusammenhängen, ob NNs wirklich nur auswendig lernen, anstatt zu lernen.

Bill Clark

Antworten:

Ich glaube, man kann argumentieren, dass eine Verbindung hergestellt wurde. Ich entschuldige mich dafür, dass ich meine Quelle nicht veröffentlicht habe, da ich sie nicht finden konnte, aber dies kam von einer alten Folie, die Hinton präsentiert hat. Darin behauptete er, dass eine der grundlegenden Denkweisen für diejenigen, die maschinelles Lernen betreiben (da die Präsentation vor der allgemeinen Verwendung des Wortes Deep Learning stattfand), darin bestehe, dass es eine optimale Transformation der Daten gibt, so dass die Daten leicht sein können gelernt. Ich glaube, dass für neuronale Netze die "optimale Transformation" der Daten durch Back-Prop die effiziente Codierungshypothese in Aktion ist. Auf die gleiche Weise, wie bei einem richtigen Kernel, können viele Räume leicht mit linearen Modellen klassifiziert werden, wobei gelernt wird, wie die Daten richtig transformiert und gespeichert werden, analog zu denen und wie die Neuronen angeordnet werden sollten, um die Daten darzustellen.

Anonymer Emu
quelle