Gibt es einen Zusammenhang zwischen dem Halteproblem und der thermodynamischen Entropie?

Alan Turing schlug ein Modell für eine Maschine vor (die Turing Machine, TM), die berechnet (Zahlen, Funktionen usw.) und den Haltesatz bewies .

Ein TM ist ein abstraktes Konzept einer Maschine (oder eines Motors, wenn Sie möchten). Der Haltesatz ist ein Unmöglichkeitsergebnis. Eine Carnot-Engine (CE) ist ein abstraktes Konzept einer Wärmekraftmaschine, und Carnot hat das Carnot-Theorem bewiesen , ein weiteres Unmöglichkeitsergebnis im Zusammenhang mit der thermodynamischen Entropie.

Wenn ein TM physikalisch realisierbar ist (mindestens so viel wie ein CE oder nicht?), Gibt es eine Abbildung oder Darstellung oder einen "Isomorphismus" von TM oder CE, der es ermöglichen könnte, diese Ergebnisse zu vereinheitlichen und zusätzlich mit Entropie in Verbindung zu bringen?

Es gibt natürlich Formulierungen von TM und des Halting-Theorems in Bezug auf algorithmische Informationstheorie (z. B. Chaitin, Kolmogorov usw.) und Entropie (in diesem Zusammenhang). Die Frage fragt nach dem physikalischeren Konzept der Entropie (wenn im Verlauf einer möglichen Antwort algorithmische Entropie entsteht, ist dies in Ordnung, aber es ist nicht das, was die Frage genau fragt).

Man kann auch eine andere Frage in physics.se prüfen , die die Quantenunsicherheit mit dem 2. Hauptsatz der Thermodynamik in Beziehung setzt. Siehe auch: eine algebraische Charakterisierung der Entropie , eine algorithmische Charakterisierung der Entropie , eine Übersicht und Zusammenhänge zwischen verschiedenen Entropieformulierungen

Ich bin kein Experte auf diesem Gebiet, aber ich glaube, Sie werden an reversiblem Computing interessiert sein . Dies beinhaltet unter anderem die Untersuchung der Beziehung zwischen physikalisch reversiblen Prozessen und logisch reversiblen Prozessen. Ich denke, es wäre fair zu sagen, dass die "Gründer" des Feldes Ralph Landauer und Charles H. Bennett (beide von IBM Research, denke ich) waren / sind.

Es geht auf Quantencomputing und Quanteninformationstheorie ein, untersucht aber auch Fragen wie "Was sind die Grenzen der Berechnung in Bezug auf Zeit, Raum und Energie?" Es ist bekannt (wenn ich mich richtig erinnere), dass Sie die Energie, die für eine reversible Berechnung erforderlich ist, beliebig klein machen können, indem Sie eine beliebig lange Zeit in Anspruch nehmen. Das heißt, Energie Zeit (= Aktion ), die erforderlich ist, um eine reversible Berechnung durchzuführen, kann zu einer Konstanten gemacht werden. Dies ist bei nicht umkehrbaren Berechnungen nicht der Fall.$\times$

Viele der Menschen, die in diesem Bereich studieren, beschäftigen sich auch mit Quantencomputern und digitaler Physik (die Idee, dass das Universum ein großer quantenmolekularer Automat ist). Die Namen der Forscher sind Ed Fredkin , Tommaso Toffoli und Norm Margolus .

Diese Fragen sind für die Informatik absolut aktuell . Nicht nur für die Theorie (die sowohl coole Mathematik als auch coole Physik beinhaltet), sondern auch für Ingenieure, die die ultimativen Grenzen der Berechnung kennen wollen. Gibt es ein Minimum an Volumen oder Energie, um ein bisschen Information zu speichern? Die zur Durchführung einer reversiblen Berechnung erforderliche Aktion kann konstant sein. Gibt es jedoch Grenzen für diese Konstante? Dies sind wichtige Kenntnisse für Ingenieure, die versuchen, die Grenzen des Möglichen zu erweitern.

Ich bin nicht mit Carnots Theorem vertraut, außer dem, was ich gerade in Wikipedia gelesen habe, aber selbst aus dieser flüchtigen Einführung ergibt sich ein Zusammenhang in der Struktur der Beweise, und das könnte für Sie interessant sein, da es sich um eine Beweistechnik handelt das gilt in vielen bereichen.

Sie sind beide widersprüchliche Beweise, mit denen gezeigt werden soll, dass kein Objekt in einer bestimmten Klasse eine Eigenschaft hat. Sie nehmen an, dass eine Instanz diese Eigenschaft tatsächlich hat, und zeigen dann, dass ein Widerspruch folgt.

Das Problem des Anhaltens ist insofern interessant, als der Widerspruch aus einer Selbstinteraktion in Bezug auf die bestimmte Instanz (die eine Maschine M ist, die bestimmen kann, ob eine beliebige Maschine mit einer bestimmten Eingabe anhält) entsteht. Insbesondere konstruieren Sie eine neue Maschine, die M als Komponente enthält, und führen dann die neue Maschine M zu.

Jemand mit mehr Wissen über Carnots Theorem könnte es näher erläutern (wozu ich nicht befugt bin), aber es scheint, dass der Widerspruch von der Art der Wärmekraftmaschine herrührt, die Sie bauen könnten, wenn Sie eine Instanz mit der Eigenschaft zur Hand hätten.

In beiden Fällen geht es also um die Konstruktion von:

• Angenommen, ein X hat die Eigenschaft P.
  • Erstellen Sie von X aus das verwandte Y.
  • Die Beziehungen zwischen X und Y sind widersprüchlich.
• Daher hat kein X die Eigenschaft P.

Es scheint jedoch einen Unterschied darin zu geben, dass der Widerspruch im Fall des Halting-Theorems ein reiner logischer Widerspruch ist und in jeder Einstellung der klassischen Logik widersprüchlich wäre. Der Carnot-Satz ist meines Wissens nur in Bezug auf den zweiten Hauptsatz der Thermodynamik widersprüchlich. Aus logischer Sicht ist dies ein Axiom. Wenn Sie also eine andere Axiomatisierung wählen würden, in der das zweite Hauptsatz der Thermodynamik nicht gilt, wäre Carnots Theorem kein Theorem, da der Widerspruch nicht existieren würde. (Wie eine Formalisierung der Thermodynamik ohne den zweiten Hauptsatz aussehen würde, ist die Art von Frage, die Geometer zu nichteuklidischer Geometrie führte.)

IANAPhysiker, aber ich sehe keine Verbindung. Turingmaschinen sind Objekte der reinen Mathematik und die Unentscheidbarkeit des Halteproblems ist unabhängig von jeglicher physischen Realisierung von irgendetwas.

Diese vielfältige, themenübergreifende Frage ist nicht einfach zu beantworten und berührt aktive Bereiche der TCS-Forschung. Es ist jedoch eine seltene Frage nach einer Verbindung zwischen Physik und TCS, die mich im Laufe der Jahre interessiert hat. Es gibt ein paar verschiedene Richtungen, um dies zu tun. Die grundlegende Antwort ist, dass es sich um eine "offene Frage" handelt, die jedoch von aktiver / moderner Forschung aufgegriffen und auf Zusammenhänge hingewiesen wird.

• Es gibt einige überraschende / tiefgreifende, unentscheidbare Probleme aus der fortgeschrittenen Physik. zum Beispiel aus dynamischen Systemen. Habe jedoch nicht gesehen, dass dies mit der Entropie per se verbunden ist, aber die Entropie ist mit allen physikalischen Systemen verbunden (z. B. kann man dies in der Chemietheorie sehen), so dass es zumindest eine indirekte Verbindung geben muss.

• Entropie zeigt sich zwar in CS, aber mehr in Form von Informationstheorie und Codierungstheorie. Die Geburtsstunde der Codierungstheorie war die Definition / Analyse der Entropie von Kommunikationscodes durch Shannon. Probieren Sie diese großartige Online-Referenz Entropy & Information Theory von Gray

• Entropie wird auch manchmal mit der Messung der Zufälligkeit in PRNGs in Verbindung gebracht. In dem berühmten "Natural Proofs" -Papier von Razborov / Rudich gibt es einen Zusammenhang zwischen Komplexitätsklassentrennungen (z. B. P =? NP) und PRNGs . zu diesem thema wird weiter geforscht.

• Sie erwähnen die Thermodynamik und ihre Verbindung zu TCS. Es gibt einen tiefen Zusammenhang zwischen der Magnetisierung in Spingläsern in der Physik und NP-vollständigen Problemen, die am SAT-Übergangspunkt untersucht wurden. Dort (wieder) ist dem physikalischen System eine Entropie zugeordnet, die jedoch wahrscheinlich eher im physikalischen Kontext als im TCS-Kontext untersucht wurde.

Es gibt ein einfaches Gedankenproblem, das manchmal als Einführung in nichtkonventionelle Computerparadigmen verwendet wird:

Sie haben zwei Glühbirnen und ihre jeweiligen Ein-Aus-Schalter. Jemand öffnet und schließt beide Lichter nacheinander. Wie stellen Sie fest, welches zuerst und welches zuletzt geschlossen wurde? Bestimmen Sie, wie oft Sie die Lichter mindestens öffnen müssen, um dieses Problem zu beheben.

Die meisten Informatiker versuchen normalerweise, eine auf Boolescher Logik basierende Lösung zu finden. Die Antwort lautet (mindestens eine davon): Durch Berühren der Glühbirnen und Erkennen der heißeren Glühbirnen.

Wärmebasierte Paradigmen existieren in der Informatik: Simuliertes Tempern ist ein bekannter Algorithmus (D-Wellen-Quantencomputer ist das Quanten-Gegenstück des Algorithmus).

Besteht nun ein Zusammenhang mit dem Halting-Problem?

Die klassische Arbeit von Chaitin und Calude zum Halting-Problem über das Konzept der Omega-Zahlen kann mit der probabilistischen Formulierung des Halting-Problems verknüpft werden. Es ist die neuere Abhandlung über das Problem, die ich mir vorstellen kann ... und keine klare Beziehung zur Entropie (thermodynamisch). Wenn die Informationsentropie (im Sinne von Shannon) für Sie gut ist, codiert die Omega-Zahl das Halting-Problem im Sinne einer Shannon-Bindung auf die prägnanteste Weise.

Kurz gesagt, eine Omega-Zahl ist die Wahrscheinlichkeit, dass ein Zufallsprogramm anhält. Die Kenntnis der Konstanten würde die Aufzählung aller gültigen mathematischen Aussagen (Wahrheiten, Axiome usw.) ermöglichen und ist nicht berechenbar. Calude berechnete eine Version von Omega, indem er das einheitliche Wahrscheinlichkeitsmaß durch ein Maß änderte, das umgekehrt proportional zur Länge eines Zufallsprogramms war, und indem er Präfix-freie Kodierungen verwendete. Man könnte also von Chaitins Omega und Caludes Omega sprechen.

Ja !, seltsamerweise habe ich darüber nachgedacht. Hier ist die Idee:

Erster Schritt

Modellieren Sie den Maxwell's Demon als Computerprogramm. Dann Wie kam Dämon Teilchen der Geschwindigkeit und Position kennen , bevor die Tür für die Auswahl öffnen?

Angenommen, der Dämon kann die Geschwindigkeit, mit der Partikel auf die Tür treffen, nicht messen. Warum? weil dies die Geschwindigkeit der Partikel verändern würde, muss der Dämon herausfinden, bevor er sie öffnet, ohne hinzuschauen, ohne zu messen. Um fair zu sein, werden wir den Dämon im Voraus über die Spielregeln informieren, dh ihn mit Bewegungsgesetzen, Wechselwirkungen von Partikeln und Anfangsbedingungen ausreichend vom physikalischen / dynamischen Modell versorgen.

Zweiter Schritt

Nun modellieren Sie das Gas der Partikel auch als Computerprogramm, in dem für jedes Partikel derselbe Code ausgeführt wird, den der Dämon erhalten hat. Das Gas berechnet also ein Ergebnis aus den Anfangsbedingungen ): Nämlich "ein Teilchen mit der richtigen Geschwindigkeit ist an der Tür", die Entscheidung, die wir dem System mit Ja / Nein stellen, lautet "Haben ein Teilchen die richtige Position und genug Geschwindigkeit?". Wenn dies der Fall ist, könnte die Tür geöffnet werden und das schnelle Teilchen kann in die Hochtemperaturseite des Raums gelangen und dort neue Ausgangsbedingungen einstellen (werden diese aufeinander folgenden Probleme eine Antwort haben? oder für immer laufen?)

Es wird eine Zeit geben, in der es kein Teilchen gibt, das schnell genug ist, um die Grenze zu überschreiten. Es wird also eine Zeit geben, in der der Code für fast jeden Schwellenwert für immer ausgeführt wird (nicht anhalten).

Demon möchte das Ergebnis wissen, das vom Gas berechnet wird, aber das Ergebnis ist in gewissem Sinne möglicherweise im Quellcode der Partikelgesetze enthalten, zuzüglich der Anfangsbedingungen. Natürlich müssen wir dieses Programm ausführen, um es zu wissen. Wenn Demon dasselbe Programm ausführen und auf die richtige Geschwindigkeit am Ausgang warten, könnte das Programm anhalten oder für immer laufen (aber wir nehmen auch an, dass Demon nicht mehr Rechenleistung als das Gas hat, sodass es nicht in der Lage ist, die zu bestimmen Tür öffnet pünktlich).

Daemon könnte versuchen, die Programmausgabe herauszufinden (oder ob sie angehalten wird), indem er die Quelle und Eingaben betrachtet, ohne sie auszuführen , aber es ist, als würde er versuchen, das Anhalten-Problem zu lösen. Warum? Da Demon nicht weiß, welche Gesetze und Anfangsbedingungen es geben wird, sollte Demon darauf vorbereitet sein, alle Gesetze und Anfangsbedingungen zu lösen, und wir wissen, dass es im Allgemeinen nicht möglich ist, wird es ein Orakel brauchen, wenn es könnte Sei genug, um einen Dämon zu bauen, der aus dem Nichts Energie erzeugt. (Selbst wenn man die Gesetze und die Ausgangsbedingungen kennt, ist beides schon schwer genug zu wissen)

Dieses Gedankenexperiment kann verknüpfen, wie eine Verringerung der Entropie durch Computer in gewisser Weise durch das Problem des Anhaltens begrenzt werden könnte , als ein Problem, das die Ergebnisse im Allgemeinen vorwegnimmt.

(Manchmal scheinen alle Limits gleich zu sein.)

Mehr über Partikelgesetze

Die Gesetze der Teilchen sind nicht das Hauptthema dieses Gedankenexperiments, diese Gesetze könnten quantenmßig oder klassisch sein, aber wir müssen die Tatsache der Komplexität der Gesetze und Anfangsbedingungen berücksichtigen, die Komplexität der Anordnung der Teilchen ist nicht begrenzt, und sie könnten es haben eine Menge zusätzliche Komplexität (in einem extremen Beispiel für Anfangsbedingungen könnten Sie sogar einen ganzen Computer einsetzen, der Partikel gemäß einem internen Quellcode abfeuert, und diesen Code dem Daemon geben).

Sehr fesselnde Frage, und wir werden sehen, dass Ihr Denken richtig ist .

Lassen Sie uns zunächst sehen, was das zweite Prinzip der Thermodynamik besagt.

Die Entropiefunktion wird im 2. Hauptsatz der Thermodynamik verwendet. Es stammt aus Carnots Theorem, das besagt, dass Prozesse, die in Dampfmaschinen ablaufen, einen Wirkungsgrad haben, der niedriger oder bestenfalls gleich dem der entsprechenden "umkehrbaren" Maschine ist (was übrigens über die 150 Jahre Thermodynamik als instabiles Konzept erscheint). Carnot hat die Entropiefunktion nicht selbst geprägt, aber zusammen mit Clausius sagen sie:

Da es keine Perpetuum-Maschine gibt, können wir eine Funktion S namens Entropie aufbauen, die makroskopische thermodynamische Maße in eine bestimmte Gleichung einschränkt, nämlich diese S (V, T, P usw.) = 0

Beachten Sie, dass diese Gleichung nichts anderes ist als die Gleichung einer Hyperfläche im Raum thermodynamischer Maßnahmen.

Betritt Carathéodory.

Carathéodory ist ein deutscher Mathematiker und möchte, wie alle Mathematiker, aus Carnots und Clausius 'Überlegungen einige Axiome extrahieren, die es ihm ermöglichen würden zu klären, was der zweite Hauptsatz wirklich ist geht. Mit anderen Worten, er möchte die Thermodynamik reinigen, um genau zu wissen, was Entropie ist.

Nachdem er eine bestimmte Anzahl von Axiomen aufgelistet hat, schafft er es, sein zweites Gesetz zu formulieren, das besagt (mehr oder weniger):

Es gibt einige adiabatische Prozesse. Oder prosaischer, wenn Sie zurückkehren möchten, ist es manchmal nicht genug, allein zu arbeiten. Du brauchst ein bisschen Wärme.

Nun, das scheint sich sehr von der Formulierung von Clausius zu unterscheiden! Aber in Wirklichkeit ist es das nicht. Alles, was Carathéodory tat, war, die Reihenfolge der Wörter zu ändern, ähnlich wie Mathematiker 2000 Jahre lang mit Euklides 5. Axiom spielten und viele verschiedene Formulierungen für dieses Axiom erstellten. Und wenn Sie einen Schritt zurücktreten, sollten Sie von Carathéodorys Aussage zum zweiten Gesetz nicht allzu überrascht sein. Tatsächlich führt Carathéodorys zu genau derselben Entropiefunktion und Hyperflächengleichung S (V, T, P usw.) = 0

Denken Sie gut über Carnots Theorem nach. Als Mathematiker sollten Sie nicht zu zufrieden sein mit der Art und Weise, wie Carnot zugibt, dass Perpetuum-Maschinen nicht existieren. Tatsächlich würden Sie als Mathematiker eher so etwas sehen:

Es gibt eine Entropiefunktion S, die makroskopische Maßnahmen einschränkt, WENN UND NUR WENN es keine Perpetuum-Maschinen gibt. "

JETZT hast du einen Satz. Und was steht da? Solange es kein isoliertes mechanisches System gibt, das unendlich viel Energie erzeugt und Sie in einen beliebigen Zustand führen könnte, finden Sie eine Entropiefunktion. Ein isoliertes mechanisches System ist ein adiabatischer Prozess. Daher Carathéodorys Formulierung: Kein adiabatisches System kann Sie irgendwohin führen. Manchmal braucht man etwas Wärme.

Wir sind also nicht nur sicher, dass Carathéodorys richtig ist, sondern auch, dass seine Formulierung ziemlich einfach ist.

Wo haben Sie nun den Eindruck, dass das zweite Gesetz à la Carathéodory dem Halteproblem ähnlich ist?

Machen Sie einen Schritt zurück zu Carathéodorys Aussage. Alles was es sagt ist, dass sobald Sie ein isoliertes mechanisches System haben, mit dem Sie aufhören, sich zu vermischen, Sie keinen Zustand erreichen können, den Sie wollen.

Klingt das nicht GENAU nach dem Problem des Stillstands? Das heißt, wenn Sie alle Axiome Ihrer Theorie geschrieben und alle möglichen Übergänge festgelegt haben, gibt es Probleme, die Sie nicht lösen können. Manchmal müssen Sie weitere Axiome hinzufügen.

Wenn Sie wirklich tief gehen und die Formulierung von Carathéodory codieren möchten, führt dies zu demselben Code wie das Stopp-Problem bei adiabatischen Prozessen anstelle von Turing-Maschinen und zu Zuständen anstelle von Problemen.

Was denkst du?

HINWEIS: Ich habe meine Antwort fast vollständig bearbeitet, sodass die folgenden Kommentare nicht mehr mit dem übereinstimmen, was sie jetzt enthalten.