Hatte "Wo sind die wirklich schweren Probleme?" Etwas dagegen? Was sind aktuelle Ideen zu diesem Thema?

27

Ich fand dieses Papier sehr interessant. Zusammenfassend lässt sich festhalten, warum in der Praxis selten der schlimmste Fall eines NP-vollständigen Problems auftritt. Die Idee in dem Artikel ist, dass Instanzen normalerweise entweder sehr unter- oder sehr überfordert sind, was beide relativ einfach zu lösen sind. Es schlägt dann für ein paar Probleme ein Maß an "Zwanghaftigkeit" vor. Diese Probleme scheinen einen "Phasenübergang" von der Wahrscheinlichkeit 0 einer Lösung zur Wahrscheinlichkeit 100% zu haben. Dann wird angenommen:

  1. Dass alle NP-vollständigen (oder sogar alle NP-Probleme) Probleme ein gewisses Maß an "Zwanghaftigkeit" haben.
  2. Damit können Sie für jedes NP-vollständige Problem einen Graphen der Wahrscheinlichkeit erstellen, dass eine Lösung als Funktion der "Einschränkung" existiert. Darüber hinaus enthält dieser Graph einen Phasenübergang, bei dem diese Wahrscheinlichkeit schnell und dramatisch zunimmt.
  3. Die schlimmsten Beispiele für NP-vollständige Probleme liegen in diesem Phasenübergang.
  4. Die Tatsache, ob ein Problem in diesem Phasenübergang liegt, bleibt bei der Transformation eines NP-vollständigen Problems in ein anderes invariant.

Dieser Artikel wurde 1991 veröffentlicht. Meine Frage ist, ob es in den letzten 25 Jahren Nachforschungen zu diesen Ideen gab. Und wenn ja, was denkt der aktuelle Mainstream über sie? Wurden sie für richtig, falsch oder irrelevant befunden?

dimpol
quelle
Zufällige Fälle von CSP, k-sat und k-coloring wurden von der TCS-Community eingehend untersucht. Zum Beispiel hat die Tatsache, dass die Dichte / "Beschränkung", mit der wir ein bestimmtes Problem effizient lösen können, häufig unter der Schwelle liegt, bei der die Wahrscheinlichkeit einer bestehenden Lösung von 1 auf 0 liegt, viel Aufmerksamkeit erregt.
JWM
Mit welcher Wahrscheinlichkeit liegt die Schwelle der "leichten Lösbarkeit" (grob gesagt)? Ist es eher wie 0,2 oder eher wie 0,001?
Dimpol
1
@dimpol In der Regel ist kein so genauer Schwellenwert definiert. Der Punkt ist, bei welcher "Einschränkung" die Wahrscheinlichkeit mit der Eingabegröße auf 0 oder 1 geht. Eine typische Aussage wäre: "Algorithmus A löst eine zufällige 3-SAT-Instanz mit Variablen und Δ n -Klauseln mit einer Wahrscheinlichkeit von mindestens p n , wobei p n mit n auf 1 geht ." Der Schwellenwert ist der Wert von Δ, für den die Wahrscheinlichkeit von tendenziell 0 bis tendenziell 1 geht.nΔnpnpnnΔ
Sasho Nikolov
Ich denke, die Ideen waren im Allgemeinen sehr einflussreich und es gibt eine große Anzahl von Artikeln zu diesem Thema, und die Forschung geht weiter. Es ist jedoch ein übergreifendes Konzept, da Phasenübergänge mehr aus der Physik stammen und (siehe Antwort unten) Informatiker ihrer Bedeutung möglicherweise etwas skeptischer gegenüberstehen, und es scheint möglicherweise auch eher ein empirisch-experimentelles Konzept zu sein. könnte versuchen, eine Antwort auf einige Punkte zu finden, wenn andere mit diesem Kommentar einverstanden sind, würde aber vorerst die weitere Diskussion / Analyse im Theoretical Computer Science Chat
vzn 25.01.17
1
siehe auch, wie häufig der Phasenübergang bei NP-Gesamtproblemen ist . Denken Sie auch, dass Walsh 1998 die Messerschneide der Einschränkung von Bedeutung ist und nicht viel beachtet wurde, da sie mit dem Übergangspunkt zusammenhängt, aber vielleicht nicht genau dasselbe Konzept hat Selbstähnlichkeit, Skaleninvarianz usw.
vzn

Antworten:

26

Hier ist eine grobe Zusammenfassung des Status basierend auf einer Präsentation von Vardi auf einem Workshop über endliche und algorithmische Modelltheorie (2012):

Es wurde beobachtet, dass harte Instanzen am Phasenübergang vom unter- zum überbestimmten Bereich liegen. Die fundamentale Vermutung ist, dass es einen starken Zusammenhang zwischen Phasenübergängen und der Komplexität von NP-Problemen gibt.

PNPP

Das derzeitige Mainstream-Denken scheint (wie von Vardi angegeben) zu sein, dass Phasenübergänge nicht inhärent mit der Komplexität von Berechnungen verbunden sind.

Schließlich ist hier ein Artikel in Nature veröffentlicht, der den Zusammenhang zwischen Phasenübergängen und rechnerischer Härte von K-SAT untersucht.

Mohammad Al-Turkistany
quelle
Vielen Dank für den Überblick, schade, dass dies nicht zu echten Durchbrüchen geführt hat.
Dimpol
1
Ich denke, dass erschütternde Phänomene in Betracht gezogen werden können, um eine Klasse von auf lokaler Suche basierenden Algorithmen auszuschließen, die die Grundlage vieler heuristischer Algorithmen für NP-schwierige Probleme bilden.
Kaveh
3
ähnliche / etwas überarbeitete Diskussion / Video von Vardi, 2014, Phasenübergänge & Komplexität der Berechnungen , Banff International Research Station
vzn
@vzn Schön, muss Video von Vardi sehen.
Mohammad Al-Turkistany
14

Ja, seit Cheeseman, Kanefsky und Taylors Veröffentlichung von 1991 wurde viel gearbeitet.

Wenn Sie nach Reviews zu Phasenübergängen von NP-Complete-Problemen suchen, erhalten Sie zahlreiche Ergebnisse. Eine solche Übersicht ist Hartmann und Weigt. Eine Einführung auf höherer Ebene finden Sie in den Artikeln von Brian Hayes American Scientist [2] [3].

Cheesemen, Kanefsky und Taylors Artikel von 1991 ist ein unglücklicher Fall, in dem Informatiker der mathematischen Literatur keine Beachtung schenken. In der Arbeit von Cheeseman, Kanefsky und Taylor identifizierten sie den Hamilton-Zyklus als einen Phasenübergang mit einem Anstieg der Suchkosten nahe der kritischen Schwelle. Das von ihnen verwendete Zufallsgraphenmodell war ein Erdos-Renyi-Zufallsgraph (feste Kantenwahrscheinlichkeit oder äquivalente Gaußsche Gradverteilung). Dieser Fall wurde bereits vor der Veröffentlichung von Cheeseman et al. Aus dem Jahr 1991 ausführlich untersucht. Dabei wurden nahezu sichere polynomiale Zeitalgorithmen für diese Graphenklasse verwendet, selbst bei oder nahe der kritischen Schwelle. Bollobas '"Random Graphs" [4] ist eine gute Referenz. Der ursprüngliche Beweis, glaube ich, wurde von Angliun und Valiant [5] mit weiteren Verbesserungen von Bollobas, Fenner und Frieze [6] vorgelegt. Nach Cheeseman,

Der Phasenübergang für Hamilton-Zyklen in zufälligen Erdos-Renyi-Zufallsgraphen besteht in dem Sinne, dass es einen schnellen Übergang der Wahrscheinlichkeit gibt, eine Lösung zu finden, was sich jedoch nicht in einer Zunahme der "intrinsischen" Komplexität des Findens von Hamilton-Zyklen niederschlägt. Es gibt beinahe sichere polynomielle Zeitalgorithmen, um Hamilton-Zyklen in Erdos-Renyi-Zufallsgraphen zu finden, selbst am kritischen Übergang, sowohl in der Theorie als auch in der Praxis.

Die Umfrageausbreitung [8] hat gute Erfolge bei der Ermittlung zufriedenstellender Instanzen für zufälliges 3-SAT in der Nähe der kritischen Schwelle erzielt. Mein derzeitiges Wissen ist ein wenig verrostet, daher bin ich mir nicht sicher, ob es große Fortschritte bei der Suche nach "effizienten" Algorithmen für unbefriedigende Fälle nahe der kritischen Schwelle gegeben hat. 3-SAT ist, soweit ich weiß, einer der Fälle, in denen es "leicht" zu lösen ist, wenn es erfüllbar ist und sich der kritischen Schwelle nähert, aber unbekannt (oder schwer?) Ist, wenn sich der unbefriedigende Fall der kritischen Schwelle nähert.

Mein Wissen ist etwas veraltet, aber als ich mich das letzte Mal eingehend mit diesem Thema beschäftigte, fielen mir einige Dinge auf:

  • Der Hamilton-Zyklus ist für Erdos-Renyi-Zufallsgraphen "einfach". Wo liegen die schweren Probleme dafür?
  • Zahlenpartition sollte lösbar sein, wenn sehr weit im Bereich der fast sicheren Wahrscheinlichkeit 0 oder 1, aber meines Wissens nach keine effizienten Algorithmen für selbst moderate Instanzgrößen existieren (1000 Zahlen zu je 500 Bit sind meines Wissens nach völlig unlösbar mit neueste Algorithmen). [9] [10]
  • 3-SAT ist "einfach" für zufriedene Instanzen in der Nähe des kritischen Schwellenwerts, selbst für große Instanzen (Millionen von Variablen), aber schwierig für unzufriedene Instanzen in der Nähe des kritischen Schwellenwerts.

Ich zögere, es hier aufzunehmen, da ich keine begutachteten Artikel darüber veröffentlicht habe, aber ich habe meine Diplomarbeit geschriebenzum Thema. Die Hauptidee ist, dass eine mögliche Klasse von zufälligen Ensembles (Hamilton-Zyklen, Zahlenpartitionsprobleme usw.), die "intrinsisch hart" sind, eine "Skaleninvarianz" -Eigenschaft haben. Levy-Stable-Distributionen sind eine der natürlicheren Distributionen mit dieser Qualität, mit Potenzgesetz-Schwänzen, und man kann zufällige Instanzen aus NP-Complete-Ensembles auswählen, die irgendwie die Levy-Stable-Distribution enthalten. Ich habe einige schwache Beweise dafür geliefert, dass eigenschwere Hamilton-Zyklus-Instanzen gefunden werden können, wenn Zufallsgraphen mit einer Levy-stabilen Gradverteilung anstelle einer Normalverteilung (dh Erdos-Renyi) ausgewählt werden. Wenn nichts anderes, gibt es Ihnen zumindest einen Ausgangspunkt für eine Literaturrecherche.

[1] AK Hartmann und M. Weigt. Phasenübergänge bei kombinatorischen Optimierungsproblemen: Grundlagen, Algorithmen und statistische Mechanik. Wiley-VCH, 2005.

[2] B. Hayes. Das einfachste schwierige Problem. American Scientist, 90 (2), 2002.

[3] B. Hayes. Auf der Schwelle. American Scientist, 91 (1), 2003.

[4] B. Bollobás. Random Graphs, Zweite Auflage. Cambridge University Press, New York, 2001.

[5] D. Angluin und LG Valiant. Schnelle probabilistische Algorithmen für Hamilton-Schaltungen und Matchings. J. Computer, Syst. Sci., 18: 155–193, 1979.

[6] B. Bollobás, TI Fenner und AM Frieze. Ein Algorithmus zum Finden von Hamilton-Pfaden und -Zyklen in zufälligen Graphen. Combinatorica, 7: 327–341, 1987.

[7] B. Vandegriend und J. Culberson. Der G n, m -Phasenübergang ist für das Hamilton-Zyklus-Problem nicht schwer. J. of AI Research, 9: 219–245, 1998.

[8] A. Braunstein, M. Mézard und R. Zecchina. Umfrageausbreitung: Ein Algorithmus zur Erfüllbarkeit. Random Structures and Algorithms, 27: 201–226, 2005.

[9] I. Gent und T. Walsh. Analyse von Heuristiken zur Zahlenaufteilung. Computational Intelligence, 14: 430–451, 1998.

[10] CP Schnorr und M. Euchner. Reduzierung der Gitterbasis: Verbesserte praktische Algorithmen und Lösung von Teilmengen-Summenproblemen. In Proceedings of Fundamentals of Computation Theory '91, L. Budach, Hrsg., Lecture Notes in Computer Science, Band 529, Seiten 68–85, 1991.

user834
quelle
0

25 Jahre Studium und wo sind die aktuellen Ideen:

+++ Idee 1:

Aufgrund meiner Erfahrung mit der Erfüllbarkeitslösung habe ich in der Praxis festgestellt, dass das Hinzufügen einer gültigen k-Klausel zu einer Formel, die wir lösen möchten, der Entscheidung einer (nk) -Variablen qbf ähnelt.

Dies scheint ein Ansatz zu sein, um zu zeigen, dass die aktuellen Methoden zur Lösung von Satellitenproblemen für NP sehr schwierig sind!

+++ Idee 2:

Eine andere Idee ist, dass das AllQBF-Problem ein echtes Problem in der Booleschen Hierarchie ist. Das AllQBFs-Problem ist: Produziere einen booleschen Ausdruck Q, der alle 2 ^ n qbfs einer Formel R bestimmt. AllQBFs sind einfach, wenn die ursprüngliche Formel R monoton oder 2-cnf ist.

AllQBFs scheinen ein plausibler Weg zu sein, um zu zeigen, dass QBF Exp ist, da Q oft exponentiell ist. Daher ist die Bewertung einer Zuordnung von Q (eine Quantifizierung der ursprünglichen Formel R) exponentiell. Der Weg, NP zu beweisen, ist also, dass Exp mindestens ein paar Bausteine ​​enthält.

+++ Idee 3: Regelmäßige k-cnfs

Übrigens haben alle Phasenübergangsstudien Regular k-cnfs verpasst, bei denen die Anzahl der Vorkommen einer Variablen (in beide Richtungen) festgelegt ist, ähnlich wie bei gradlinigen Graphen ... Regular k-cnfs werden viel schwieriger als das Standardmodell. weil alle Variablen in Bezug auf Einschränkungen für sie identisch aussehen.

Vor fünfundzwanzig Jahren, kurz nachdem ich Cheeseman gelesen hatte, konzentrierte ich mich auf graduelles Färben von Graphen, weil alle Variablen gleich aussehen. Ich werde hier also mein Antwortprivileg missbrauchen und Ergebnisse aus fünfundzwanzig Jahren in regelmäßigen Diagrammen darstellen!

+++ Idee 4: Goldene Punkte für Erfüllbarkeits-Benchmark-Studien

Ich habe die C-Färbung von D regulären N-Vertex-Graphen ziemlich ausführlich untersucht. In der folgenden Tabelle sind die Golden Point-Ergebnisse für die regelmäßige Grafikfärbung zusammengefasst.

Bei hoher Wahrscheinlichkeit waren N zufällige Instanzen zufriedenstellend. Für Very High waren N ^ 2 erfüllbar. Für Super High waren N ^ 3 zufällige Instanzen erfüllbar.

Die goldenen Farbpunkte mit hoher Wahrscheinlichkeit (1 - 1 / N) sind:

C3D5N180 C4D6N18 C4D7N35 C4D8N60 C4D9N180? C5D10N25 C5D11N42 C5D12N72

Die goldenen Farbpunkte mit sehr hoher Wahrscheinlichkeit (1 - 1 / (N ^ 2)) sind:

C3D5N230? C4D6N18 C4D7N36 C4D8N68 C4D9N ??? C5D10N32 C5D11N50 C5D12N78

Die goldenen Farbpunkte der Super High Probability (1 - 1 / (N ^ 3)) sind:

C3D5N ??? C4D6N22 C4D7N58 C4D8N72? C4D9N ??? C5D10N38 C5D11N58 C5D12N ??

Der C4D9-Eintrag kennzeichnet vier Färbungen von Graphen neunten Grades. Dies sind die schwierigsten zufälligen 4cnfs, die ich in 25 Jahren des Sat-Lösens erlebt habe. Kürzlich habe ich nach zehn Tagen CPU-Zeit ein Diagramm mit 172 Scheitelpunkten und neunten Graden eingefärbt.

+++ Idee 5: Der C5D16N ???? Goldener Punkt wird mild vermutet, um zu existieren.

Danke, Daniel Pehoushek

Daniel Pehoushek
quelle
4
Dies ist nicht der richtige Ort, um unveröffentlichte Forschungsergebnisse vorzustellen. Schreiben Sie ein Papier, in dem alles im Detail erklärt wird, legen Sie es auf arxiv oder anderswo ab und veröffentlichen Sie hier einen Link mit einer Zusammenfassung.
Sasho Nikolov
Der reguläre C4D9-Diagrammfarbpunkt ist laut Titel in der Frage ein extrem schwieriger Punkt. Es brauchte ein wenig Kontext, also den Rest der Tabelle.
Daniel Pehoushek