Was sind die Durchbrüche in der Statistik der letzten 15 Jahre?

56

Ich erinnere mich noch an das Papier Annals of Statistics on Boosting von Friedman-Hastie-Tibshirani und an die Kommentare anderer Autoren (einschließlich Freund und Schapire) zu denselben Themen. Damals galt Boosting in vielerlei Hinsicht als Durchbruch: rechnerisch machbar, eine Ensemblemethode mit hervorragender und dennoch mysteriöser Performance. Etwa zur gleichen Zeit wurde SVM erwachsen und bot ein solides theoretisches Gerüst mit zahlreichen Varianten und Anwendungen.

Das war in den wunderbaren 90ern. In den letzten 15 Jahren schien es mir, dass viele Statistiken eine Reinigungs- und Detaillierungsoperation waren, aber mit wenigen wirklich neuen Ansichten.

Also werde ich zwei Fragen stellen:

  1. Habe ich ein revolutionäres Papier verpasst?
  2. Wenn nicht, gibt es neue Ansätze, die Ihrer Meinung nach den Standpunkt der statistischen Inferenz verändern können?

Regeln:

  1. Eine Antwort pro Post;
  2. Verweise oder Links sind willkommen.

PS: Ich habe einige Kandidaten für vielversprechende Durchbrüche. Ich werde sie später posten.

zufrieden
quelle
5
Unter stats.stackexchange.com/q/1883/159 finden Sie eine ähnliche Frage (die als subjektiv und argumentativ abgeschlossen wurde).
Rob Hyndman
1
Ich wollte gerade den gleichen Thread ansprechen. Riecht wie ein Duplikat.
Dirk Eddelbuettel
1
Es ist zwar subjektiv, aber ist es für CW immer noch in Ordnung?
Christopher Aden
1
Das war auf einer längeren Zeitskala. Ich denke nicht, dass es ein Duplikat ist. Argumentativ liegt es an den Teilnehmern. Ich versuche hier nicht, eine Trophäe zu vergeben, nur um über die wegweisenden Arbeiten auf dem Laufenden zu bleiben, die ich und andere möglicherweise verpasst haben. Da es keine richtige Antwort gibt, bin ich alles für eine CW. Ich finde es interessant, dass bisher alle Antworten auf Bayes'sche Innovationen lauten.
gappy
2
Dies scheint ein Posten zu sein, der großväterlich sein kann. Ich denke das kann offen bleiben.
gung - Wiedereinsetzung von Monica

Antworten:

43

Die Antwort ist so einfach , dass ich das alles Kauderwelsch schreiben machen CV lassen Sie mich schreiben: R

hans0l0
quelle
14

Ich bin mir nicht sicher, ob Sie es als "Durchbruch" bezeichnen würden, aber die Veröffentlichung der Wahrscheinlichkeitstheorie: Die Logik der Wissenschaft von Edwin Jaynes und Larry Bretthorst ist vielleicht bemerkenswert. Einige der Dinge, die sie hier tun, sind:

1) Gleichwertigkeit zwischen einigen iterativen "Saisonbereinigungs" -Schemata und der Bayes'schen "Störparameter" -Integration zeigen.

2) das sogenannte "Marginalisierungsparadoxon" gelöst - das von einigen als "Tod des Bayesianismus" und von anderen als "Tod unzulässiger Vorgesetzter" angesehen wird.

3) die Vorstellung, dass Wahrscheinlichkeit einen Wissensstand über einen Satz beschreibt, der wahr oder falsch ist, im Gegensatz zur Beschreibung einer physikalischen Eigenschaft der Welt .

Die ersten drei Kapitel dieses Buches sind hier kostenlos erhältlich .

Wahrscheinlichkeitslogik
quelle
2
Leider war Jaynes 'Lösung des Marginalisierungsparadoxons fehlerhaft. Siehe Kevin Van Horns Notizen zu Jaynes 'Behandlung des Marginalisierungsparadoxons , die hier verfügbar sind .
Cyan
1
@cyan - Beachten Sie, dass seine Lösung zwar in einigen Bereichen fehlerhaft war, aber durch die zugrunde liegenden Prinzipien gelöst wurde. Die allgemeine Regel der richtigen Prioritäten und ihre konvergierenden Grenzen bedeuten, dass der mp nicht entstehen kann. Der Fehler ist höchstwahrscheinlich darauf zurückzuführen, dass das Buch im zweiten Teil größtenteils unvollendet ist. Mir gefällt die Auflösung [hier] ( arxiv.org/abs/math/0310006 ) besser als die ksvh-Version. kürzer und allgemeiner.
Wahrscheinlichkeitislogic
14

Als angewandter Statistiker und gelegentlicher kleiner Software-Autor würde ich sagen:

WinBUGS (veröffentlicht 1997)

Es basiert auf BUGS, das vor mehr als 15 Jahren (1989) veröffentlicht wurde, aber es ist WinBUGS, das die Bayes'sche Analyse von realistisch komplexen Modellen einer viel breiteren Anwenderbasis zur Verfügung stellt. Siehe z. B. Lunn, Spiegelhalter, Thomas & Best (2009) (und die Diskussion dazu in Statistics in Medicine, Band 28, Ausgabe 25 ).

onestop
quelle
2
Wie ändert sich das jetzt, wo Stanes raus ist?
Ari B. Friedman
13

LARS bekommt meine Stimme. Es kombiniert lineare Regression mit variabler Auswahl. Berechnungsalgorithmen liefern normalerweise eine Sammlung von linearen Modellen, von denen das te Koeffizienten ungleich Null für nur Regressoren hat, sodass Sie Modelle mit unterschiedlicher Komplexität leicht betrachten können.i ikii

shabbychef
quelle
Haben Sie jemals LARS verwendet? Ich frage, weil ich noch nie davon gehört habe und es sich wirklich interessant anhört. Der Originalartikel ist ein bisschen lang (93 Seiten), daher würde ich gerne eine Meinung einholen, bevor ich näher darauf eingehe.
Tomek Tarczynski
@Tomek Tarczynski: Ich habe es eine kleine Menge verwendet. Es gibt ein Paket in Matlab (ich bin sicher, dass es eines oder mehrere in R gibt), das ich verwendet habe. Es bietet auch eine spärliche PCA, die mich mehr interessierte. Ich gebe zu, ich habe nur das Papier überflogen. ;)
shabbychef
11

Die Einführung der Verlustfunktion "intrinsische Diskrepanz" und anderer Verlustfunktionen "ohne Parametrisierung" in die Entscheidungstheorie. Es hat viele andere "nette" Eigenschaften, aber ich denke, die beste ist wie folgt:

Wenn die beste Schätzung der unter Verwendung der intrinsische Diskrepanz Verlustfunktion ist , dann ist die beste Schätzung von einer-zu-Eins - Funktion der sagen ist einfach .θ e θ g ( θ ) g ( θ e )θθeθg(θ)g(θe)

Ich finde das sehr cool! (z. B. beste Schätzung der logarithmischen Wahrscheinlichkeit ist log (p / (1-p)), beste Schätzung der Varianz ist das Quadrat der Standardabweichung usw. usw.)

Der Fang? Die eigentliche Diskrepanz kann ziemlich schwierig zu erarbeiten sein! (Es beinhaltet min () -Funktion, ein Likelihood-Verhältnis und Integrale!)

Der "Gegenfang"? Sie können das Problem "neu ordnen", so dass es einfacher zu berechnen ist!

Der "Counter-Counter-Catch"? herauszufinden, wie das Problem "neu angeordnet" werden kann, kann schwierig sein!

Hier sind einige Referenzen, von denen ich weiß, dass sie diese Verlustfunktion verwenden. Obwohl mir die "intrinsischen Schätzungen" dieser Artikel / Folien sehr gefallen, habe ich einige Vorbehalte gegen den ebenfalls beschriebenen "Referenz-Prior" -Ansatz.

Testen der Bayes'schen Hypothese: Ein Referenzansatz

Intrinsische Schätzung

Normale Mittel vergleichen: Neue Methoden für ein altes Problem

Integrierte objektive Bayes'sche Schätzung und Hypothesentests

Wahrscheinlichkeitslogik
quelle
11

Ich glaube, nur innerhalb des 15-Jahres-Fensters liegen die Algorithmen zur Steuerung der False Discovery Rate . Ich mag den 'Q-Value'-Ansatz.

shabbychef
quelle
1
Hmm, das vielzitierte JRSSB-Papier von Benjamini-Hochberg wurde 1995 veröffentlicht, also fürchte ich , direkt vor dem Fenster! jstor.org/stable/2346101 Storeys Artikel , der Werte einführte, war jedoch 2002. dx.doi.org/10.1111/1467-9868.00346q
am
9

Zusammen mit meinen eigenen 5 Cent glaube ich, dass der bedeutendste Durchbruch der letzten 15 Jahre Compressed Sensing war. LARS, LASSO und eine Vielzahl anderer Algorithmen fallen in diesen Bereich, indem Compressed Sensing erklärt, warum sie funktionieren, und sie auf andere Bereiche erweitert.

gappy
quelle
1
Ich habe mir Compressed Sensing angeschaut und mich als Nicht-Statistiker immer wieder gefragt: "Ist das nicht nur eine inverse Zufallsprojektion?". Ich weiß, dass "nur" ein leichtes Wort ist, aber es fühlt sich so an, als würden die Leute scheinbar offensichtliche Zusammenhänge zwischen zufälliger Projektion (ca. 2000) und komprimierter Abtastung (ca. 2004) auslassen.
Wayne
9

Was mit der Statistik selbst sehr wenig zu tun hat, aber von großem Nutzen ist: Die zunehmende Feuerkraft von Computern, die Erleichterung des Zugriffs auf größere Datensätze und komplexere statistische Analysen, insbesondere in angewandten Bereichen.

Fomite
quelle
8

Der Expectation-Propagation-Algorithmus für die Bayes'sche Inferenz, insbesondere in der Gauß'schen Prozessklassifikation, war wohl ein bedeutender Durchbruch, da er eine effiziente analytische Approximationsmethode bietet, die (anders als die übliche Laplace-Approximation) fast genauso gut funktioniert wie rechenintensive stichprobenbasierte Ansätze. Sehen Sie die Arbeit von Thomas Minka und anderen auf der EP-Roadmap

Dikran Beuteltier
quelle
EP scheint cool zu sein (obwohl es mir immer noch den Kopf schmerzt). Fehlt es noch an allgemeinen Konvergenzgarantien?
Conjugateprior
2

Ein bisschen allgemeiner als die Statistik, glaube ich, dass die Methoden der reproduzierbaren Forschung (RR) wichtige Fortschritte gemacht haben . Zum Beispiel die Entwicklung von R knittrundSweavePakete und "R Markdown" -Notebooks sowie LyX- und LaTeX-Verbesserungen haben erheblich zum Datenaustausch, zur Zusammenarbeit, zur Überprüfung / Validierung und sogar zu weiteren statistischen Verbesserungen beigetragen. Referierte Arbeiten in statistischen, medizinischen und epidemiologischen Fachzeitschriften ermöglichten es selten, die Ergebnisse einfach zu reproduzieren, bevor diese reproduzierbaren Forschungsmethoden / -technologien auf den Markt kamen. Inzwischen erfordern mehrere Zeitschriften reproduzierbare Recherchen, und viele Statistiker verwenden RR und Buchungscode sowie deren Ergebnisse und Datenquellen im Internet. Dies hat auch dazu beigetragen, datenwissenschaftliche Disziplinen zu fördern und das statistische Lernen zugänglicher zu machen.

StatsStudent
quelle
1

Meiner Meinung nach wurde der Artikel 2011 in der Zeitschrift Science veröffentlicht. Die Autoren schlagen ein sehr interessantes Maß für die Assoziation zwischen zwei Zufallsvariablen vor, das in vielen Situationen gut funktioniert, in denen ähnliche Maßnahmen versagen (Pearson, Spearman, Kendall). Wirklich schönes Papier. Hier ist es.

Miroslav Sabo
quelle
Die Verbindung scheint unterbrochen zu sein.
dsaxton,
Es kann auch hier gefunden werden: ncbi.nlm.nih.gov/pmc/articles/PMC3325791/pdf/nihms358982.pdf
Miroslav Sabo