Entropiebasierte Widerlegung von Shalizis Bayes'schem Rückwärtspfeil des Zeitparadoxons?

In dieser Arbeit argumentiert der talentierte Forscher Cosma Shalizi, dass man, um eine subjektive Bayes'sche Sichtweise vollständig zu akzeptieren, auch ein unphysisches Ergebnis akzeptieren muss, dass der Zeitpfeil (gegeben durch den Fluss der Entropie) tatsächlich rückwärts gehen sollte . Dies ist hauptsächlich ein Versuch, gegen die maximale Entropie / vollständig subjektive Bayes'sche Sichtweise zu argumentieren, die von ET Jaynes vertreten und popularisiert wurde .

Drüben bei LessWrong interessieren sich viele Autoren sehr für die Bayes'sche Wahrscheinlichkeitstheorie und auch für den subjektiven Bayes'schen Ansatz als Grundlage für formale Entscheidungstheorien und als Sprungbrett zu einer starken KI. Eliezer Yudkowsky ist dort ein häufiger Mitwirkender, und ich habe diesen Beitrag kürzlich gelesen, als ich ist auf diesen Kommentar gestoßen (einige andere gute Kommentare folgen kurz danach auf der Seite des ursprünglichen Posts).

Kann jemand einen Kommentar zur Gültigkeit von Yudkowskys Widerlegung von Shalizi abgeben? Kurz gesagt, Yudkowskys Argument ist, dass der physikalische Mechanismus, mit dem ein Denker seine Überzeugungen aktualisiert, Arbeit erfordert und daher thermodynamische Kosten verursacht, die Shalizi unter den Teppich kehrt. In einem anderen Kommentar verteidigt Yudkowsky dies und sagt:

"Wenn Sie die Perspektive eines logisch allwissenden perfekten Beobachters außerhalb des Systems einnehmen, ist der Begriff" Entropie "ziemlich bedeutungslos, ebenso wie" Wahrscheinlichkeit "- Sie müssen niemals statistische Thermodynamik verwenden, um etwas zu modellieren, sondern verwenden nur die deterministische Genauigkeit Wellengleichung. "

Können sich Probabilisten oder statistische Mechaniker dazu äußern? Ich interessiere mich nicht sehr für Argumente der Autorität bezüglich Shalizis oder Yudkowskys Status, aber ich würde wirklich gerne eine Zusammenfassung der Art und Weise sehen, in der Yudkowskys drei Punkte Kritik an Shalizis Artikel üben.

Um den FAQ-Richtlinien zu entsprechen und dies zu einer konkret beantwortbaren Frage zu machen , beachte bitte, dass ich eine spezifische, aufgeschlüsselte Antwort fordere, die Yudkowskys dreistufiges Argument aufgreift und angibt, wo in dem Shalizi-Artikel diese drei Schritte Annahmen und / oder Ableitungen widerlegen, oder gibt andererseits an, wo in Shalizis Aufsatz die Argumente von Yudkowsky angesprochen werden.

Ich habe oft den Shalizi-Artikel gehört, der als eiserner Beweis dafür angepriesen wurde, dass ein ausgereifter subjektiver Bayesianismus nicht verteidigt werden kann. Aber nachdem ich den Shalizi-Artikel ein paar Mal gelesen habe, sieht er für mich wie ein Spielzeugargument aus, das niemals zutreffen könnte für einen Beobachter, der mit allem interagiert, was beobachtet wird (dh mit der gesamten tatsächlichen Physik). Aber Shalizi ist ein großartiger Forscher, deshalb würde ich Zweitmeinungen begrüßen, da es sehr wahrscheinlich ist, dass ich wichtige Teile dieser Debatte nicht verstehe.

bayesian entropy maximum-entropy philosophical ely
quelle

Shalizi ist gerne provokativ ... sein Argument scheint mir im Wesentlichen dasselbe zu sein wie das kreationistische Argument, dass die Evolution gegen den zweiten Hauptsatz der Thermodynamik verstößt, weil "spätere" Organismen auf organisierte Weise komplexer sind als "frühere" Organismen. Aber das zweite Gesetz besagt, dass die Entropie nicht abnimmt. 1) Das zweite Gesetz enthält jedoch nichts, was die lokale Entropieverringerung verhindert, und 2) das Argument impliziert, dass niemand jemals etwas über etwas lernen kann (warum sollte das Lernen durch Bayes'sche Aktualisierung anders sein als jeder andere Lernprozess?).

Bogenschütze

Ich würde mich nicht über eine Debatte zwischen Shalizi und Yudkowsky aufregen. Weder ist eine Autorität. (Shalizi schreibt jedoch gut.) Glauben Sie nicht, dass physics.se ein besserer Ort für diese Frage ist?

Emre

Haben Sie viele von Yudkowskys Sequenzbeiträgen gelesen? Ich denke, er schreibt auch ziemlich gut. Beide Figuren sind umstritten, aber Shalizi scheint es wirklich für den subjektiven Bayesianismus zu haben. Der Grund, den ich hier gefragt habe, ist, dass es eng mit dem rein theoretischen Statistikpapier zusammenhängt, das Shalizi zusammen mit Andrew Gelman geschrieben hat, das auch mit philosophischen Problemen behaftet ist (obwohl Gelman ein absoluter Profi ist, wenn es um die Praxis geht). ( link )

ely

X

$X$

X

$X$

Antworten:

Kurzum: 1: 0 für Yudkowsky.

Cosma Shalizi betrachtet eine Wahrscheinlichkeitsverteilung, die einigen Messungen unterzogen wurde. Er aktualisiert die Wahrscheinlichkeiten entsprechend (hier ist es nicht wichtig, ob es sich um die bayensische Folgerung oder etwas anderes handelt).

Kein Wunder, dass die Entropie der Wahrscheinlichkeitsverteilung abnimmt.

Er kommt jedoch zu dem falschen Schluss, dass es etwas über den Pfeil der Zeit aussagt:

Diese Annahmen kehren den Zeitpfeil um, dh sie machen die Entropie nicht ansteigend.

Wie in Kommentaren ausgeführt, ist die Entropie eines geschlossenen Systems für die Thermodynamik von Bedeutung . Das heißt, nach dem zweiten Hauptsatz der Thermodynamik kann die Entropie eines geschlossenen Systems nicht abnehmen. Es sagt nichts über die Entropie eines Subsystems (oder eines offenen Systems) aus; sonst könntest du deinen Kühlschrank nicht benutzen.

Und wenn wir etwas messen (dh interagieren und Informationen sammeln), ist es kein geschlossenes System mehr. Entweder können wir das zweite Gesetz nicht anwenden, oder wir müssen ein geschlossenes System betrachten, das aus dem gemessenen System und dem Beobachter (dh uns selbst) besteht.

Insbesondere wenn wir den genauen Zustand eines Teilchens messen (bevor wir dessen Verteilung kannten), senken wir tatsächlich dessen Entropie. Um die Informationen zu speichern, müssen wir jedoch unsere Entropie um mindestens den gleichen Betrag erhöhen (normalerweise ist der Aufwand sehr hoch).

Also macht Eliezer Yudkowsky einen guten Punkt:

1) Messungen verbrauchen Arbeit (oder zumindest das Löschen in Vorbereitung auf die nächste Messung verbraucht Arbeit).

Eigentlich ist die Bemerkung zur Arbeit hier nicht die wichtigste. Während es in der Thermodynamik darum geht, Entropie mit Energie in Beziehung zu setzen (oder sie zu tauschen), können Sie sich fortbewegen (dh wir müssen nicht auf Landauers Prinzip zurückgreifen , von dem Shalizi skeptisch ist ). Um neue Informationen zu erhalten, müssen Sie die vorherigen Informationen löschen.

Um mit der klassischen Mechanik (und auch mit der Quantenmechanik) übereinzustimmen, können Sie keine Funktion erstellen, die willkürlich allen Nullen etwas zuordnet (ohne Nebenwirkungen). Sie können eine Funktion erstellen, die Ihren Speicher auf Null abbildet , aber gleichzeitig die Informationen irgendwo ablegt, wodurch die Entropie der Umgebung effektiv erhöht wird.

(Das Obige stammt aus der Hamiltonschen Dynamik - dh der Erhaltung des Phasenraums im klassischen Fall und der Einheitlichkeit der Evolution im Quantenfall.)

PS: Ein Trick für heute - "Verringerung der Entropie":

$H = 1$
$H = 0$

Piotr Migdal
quelle

ist diese tl; dr-Version korrekt: "Shalizis Artikel ist nur eine spezielle Wiederholung von Maxwells Dämon"?

Artem Kaznatcheev

@ArtemKaznatcheev Grundsätzlich ja. Aber mehr im Geschmack geschlossen gegen offene Systeme. Aber für diejenigen, die nicht gerne lesen, gibt es die erste Zeile;).

Piotr Migdal

Ich mag diese Antwort, aber es fällt mir schwer, mich mit einer Diskussion über einen anderen Thread abzufinden. Schauen Sie sich diesen Link an und finden Sie den Thread / die Antwort, die der Benutzer "Pragmatiker" gestartet hat. Wenn Sie einen oder zwei Absätze hinzufügen, die dieses Argument ansprechen (oder erklären, warum dieses Argument gültig ist / Ihrer obigen Antwort nicht entspricht), bin ich gerne bereit, dies zu akzeptieren.

ely

@EMS Nun, "Könnten Sie eine Diskussion kommentieren?" ist nicht die beste für SE (und im Allgemeinen gibt es viele Argumente). Tatsächlich habe ich auch die Kritik an Shalizis Arbeit gerechtfertigt. Es ist zu viel verlangt, auch eine Kritik einer Kritik eines Papiers aufzunehmen. Könnten Sie präziser sein, dh punktgenaue Punkte? Jedoch: "Wenn wir statistische Mechanik betreiben, interessieren wir uns normalerweise nicht für die Entropie des Systems plus des Beobachters" - falsch (offene gegen geschlossene Systeme), "die Systementwicklung wird nicht einheitlich sein" - wahr, aber auch klassisch können Sie nicht Gesamtentropie verringern.

Piotr Migdal

@EMS Das Löschprinzip ist tiefer als stat. mech. - Wie gesagt, wenn es nicht befriedigt, widerlegt es sowohl die Quantenmechanik als auch die klassische Mechanik. Und noch einmal: Sie können Regeln für geschlossene Systeme nicht auf offene Systeme anwenden - daher sind die meisten Argumente von Pragmatikern entweder nicht wissenschaftlich (dh was man glaubt oder nicht) oder ignorieren die Physik.

Piotr Migdal

Shalizis Fehler ist sehr grundlegend und leitet sich aus der Annahme I ab, dass die zeitliche Entwicklung invertierbar (reversibel) ist.

Die zeitliche Entwicklung einzelner Zustände ist reversibel. Die zeitliche Entwicklung einer Verteilung über ALL OF PHASE SPACE ist mit Sicherheit nicht umkehrbar, es sei denn, das System befindet sich im Gleichgewicht. Der Artikel behandelt die zeitliche Entwicklung von Verteilungen über den gesamten Phasenraum, nicht die einzelner Zustände, und daher ist die Annahme der Invertierbarkeit völlig unphysisch. Im Gleichgewichtsfall sind die Ergebnisse trivial.

Der Pfeil der Zeit ergibt sich aus der Tatsache, dass die zeitliche Entwicklung der Verteilungen nicht umkehrbar ist (der Grund dafür, dass Gradienten abfallen und sich Gase ausbreiten). Es ist bekannt, dass die Irreversibilität aus Kollisionsbegriffen resultiert.

Wenn Sie dies berücksichtigen, fällt sein Argument auseinander. Informationsentropie = vorerst noch thermodynamische Entropie. : D

Ethan
quelle

Da das QM auf einer fundamentalen Ebene deterministisch ist - die Schrödinger-Gleichung beschreibt genau, wie sich ein System über die Zeit entwickelt, und es gibt keine Unsicherheit darüber - und es ist linear , scheint es, dass die Reversibilität in der Evolution einzelner Zustände sofort die Reversibilität in impliziert jegliche Verteilung solcher Zustände. Ich würde es daher begrüßen, wenn Sie Ihre gegenteilige Behauptung in mathematischer Hinsicht begründen würden, denn dies würde deutlicher machen, was Sie jetzt nur implizit über die dynamischen Gleichungen annehmen.

whuber

Für eine Gleichgewichtsverteilung sind die Dinge trivial, die Zeitentwicklung ist reversibel. Bei einem dissipativen System, bei dem das Volumen des Phasenraums nicht konstant ist, können viele Zustände der Anfangsverteilung auf einen einzelnen Zustand der Endverteilung abgebildet werden oder umgekehrt (nicht mehr umkehrbar). Dies ist beispielsweise bei der freien Expansion eines idealen Gases klar. Die Bewegung jedes einzelnen Partikels ist eindeutig reversibel, die Expansion selbst jedoch nicht, da es sich um eine Änderung des Phasenraumvolumens handelt. Das Gas "expandiert" nie. Wenn Sie immer noch nicht glücklich sind, kann ich etwas Mathe für Sie ausarbeiten.

Ethan

Da Sie Shalizi beschuldigen, sich in dieser Sache geirrt zu haben, wäre es eine gute Idee, objektive mathematische Unterstützung anzubieten. Achten Sie jedoch darauf, dass Sie nicht zu weit vom Fokus dieser Website abweichen, bei der es um die Analyse von Daten und nicht um die Physik geht! Trotzdem erscheint mir das Beispiel der freien Expansion nicht dispositiv, denn in einem (hypothetisch) kompakten Universum scheint es so etwas nicht zu geben: Das Gas dehnt sich woanders aus.

whuber

Manchmal vergesse ich, auf welchem Stapel ich bin. Vielleicht fange ich dort drüben etwas an. Aber für das Gas ist die Entropieänderung TdS = dU + pdV, aber dU ist Null, wenn wir adiabatisch sind, also ist dS = pdV / T. Nach dem idealen Gasgesetz dS = nRdV / V ändert sich die Entropie von v1 nach v2 um ln (v2 / v1). Grundsätzlich sind alle spontanen makroskopischen Prozesse (dh reproduzierbar) irreversibel. Aber vielleicht ist es nicht trivial, dies aus den Grundprinzipien heraus zu bekommen (Boltzmann hat sein Leben damit verbracht)

Ethan

Das verlinkte Papier geht ausdrücklich davon aus

Der Evolutionsoperator T ist invertierbar.

Wenn Sie QM jedoch auf herkömmliche Weise verwenden, gilt diese Annahme nicht. Angenommen, Sie haben einen Zustand X1, der sich mit gleicher Wahrscheinlichkeit entweder zu X2 oder zu X3 entwickeln kann. Man würde sagen, dass sich der Zustand X1 in die gewichtete Menge [1/2 X2 + 1/2 X3] entwickelt. Shalizi beweist, dass diese Menge nicht mehr Entropie hat als X1.

Aber wir als Beobachter oder als Teil dieses Systems können nur einen der Zweige betrachten, entweder X2 oder X3. Wenn Sie auswählen, welcher dieser beiden Zweige betrachtet werden soll, wird eine neue Entropie hinzugefügt. Diese Auswahl ist nicht umkehrbar. Dies ist der Grund für die Zunahme der Entropie mit der Zeit. Was Shalizi getan hat, ist, Mathematik zu verwenden, in der alle Entropie aus der Quantenverzweigung stammt, und dann zu vergessen, dass die Quantenverzweigung stattfindet.

jimrandomh
quelle

Die Arbeit (als zweites Gesetz) befasst sich mit geschlossenen Systemen. Die Quantenmechanik ist in einem geschlossenen System vollständig reversibel (dh alle Operatoren sind einheitlich). Die einzige nicht umkehrbare Operation in der Quantenmechanik ist die Messung; Wenn Sie ein geschlossenes System messen, ist es aus thermodynamischer Sicht nicht mehr geschlossen. Befindet sich Ihr Beobachter innerhalb des Systems und misst er ein Teilsystem, so entwickelt sich das Teilsystem Beobachter + zusammen und die Operation ist somit umkehrbar (dieser Trick wird informell als "Kirche des größeren Hilbert-Raums" bezeichnet). Daher ist Ihr Argument von "QM" falsch.

Artem Kaznatcheev

Dies ist jedoch nur dann der Fall, wenn Sie der Kopenhagener Interpretation glauben (oder anderen, die "Messung" von den einheitlichen Prozessen trennen). Viele Welten sind der Ansicht, dass die Messung nur die üblichen Einheitsgesetze sind und daher vollkommen umkehrbar sind. Es ist nur ein Artefakt des ursprünglichen Zustands des Universums, dass es wahrscheinlich unwahrscheinlich ist, dass es sich um eine Umkehrung handelt (ich kann es nicht sehr gut erklären, ich bin kein Physiker). Ich bin jedenfalls nicht davon überzeugt, dass diese Antwort aufgrund dieser Kritik abgelehnt werden sollte.

16.

@EMS Es spielt keine Rolle, welche Interpretation Sie verwenden, das QM eines geschlossenen Systems ist reversibel. Im größeren Zusammenhang der ursprünglichen Frage ist es jedoch unerheblich, inwieweit der Beantworter sich in Bezug auf QM irrt: Shalizi spricht diesen Punkt bereits in Abschnitt II.A allgemeiner an; Selbst eine korrekte Form dieser Antwort geht nicht über das Manko hinaus, das Shalizi selbst hervorhebt.

Artem Kaznatcheev

Wie in einem anderen Thread erwähnt, scheint diese Antwort nur die Kehrseite der anderen Antwort zu sein: Wenn Sie auf der Anforderung eines geschlossenen Systems bestehen, müssen Sie Ihre Entropiequelle finden (dh Shalizis "geschlossenes System" muss die Antwort enthalten) Eine Person, die etwas Entropie hat, weil sie zufällig einen (unbekannten) Zweig der beiden Zweige hinuntergeht. Das heißt, es scheint, als würde diese Antwort auch sagen, dass Shalizis Artikel nur eine Wiederholung von Maxwells Dämon ist Missverständnisse aufgrund mangelnder Ausbildung in Physik

16.