Beste Methode zur Bewertung von PDF-Schätzmethoden

Ich möchte einige meiner Ideen testen, die meiner Meinung nach besser sind als alles, was ich gesehen habe. Ich könnte mich irren, aber ich möchte meine Ideen testen und meine Zweifel durch sicherere Beobachtungen überwinden.

Was ich mir überlegt habe, ist Folgendes:

1. Definieren Sie analytisch eine Reihe von Verteilungen. Einige davon sind einfach wie Gauß, Uniform oder Tophat. Einige davon müssen jedoch schwierig und herausfordernd sein, wie beispielsweise die Simpsons-Distribution.
2. Implementieren Sie Software, die auf diesen analytischen Verteilungen basiert, und verwenden Sie sie, um einige Proben zu generieren.
3. Da die Distributionen analytisch definiert sind, kenne ich per Definition bereits ihre wahren PDFs. Das ist toll.
4. Dann werde ich die folgenden PDF-Schätzmethoden anhand der obigen Beispiele testen:
   • Bestehende PDF-Schätzmethoden (wie KDE mit verschiedenen Kerneln und Bandbreiten).
   • Meine eigene Idee, die ich für einen Versuch wert halte.
5. Dann werde ich den Fehler der Schätzungen anhand der echten PDFs messen.
6. Dann werde ich besser wissen, welche der PDF-Schätzmethoden gut ist.

Meine Fragen sind:

• Frage 1: Gibt es irgendwelche Verbesserungen gegenüber meinem obigen Plan?
• F2: Es fällt mir schwer, viele echte PDFs analytisch zu definieren. Gibt es bereits eine umfassende Liste vieler analytisch definierter echter PDFs mit unterschiedlichen Schwierigkeiten (einschließlich sehr schwieriger), die ich hier wiederverwenden kann?

A2: Sie können Ihre Methoden in 1D anhand der folgenden Benchmarks testen .

• A1. Das klingt für mich nach einem vernünftigen Plan. Um nur einige Punkte zu nennen. Sie sollten mit verschiedenen Fehlermetriken ( , KL-Divergenz usw.) testen , da die Methoden je nach Verlustfunktion unterschiedlich funktionieren. Außerdem möchten Sie auf eine unterschiedliche Anzahl von Proben testen. Schließlich sind viele Dichteschätzungsmethoden in der Nähe von Diskontinuitäten / Grenzen notorisch schlecht. Stellen Sie daher sicher, dass Sie abgeschnittene PDFs in Ihren Satz aufnehmen.$L^p$

• A2. Interessieren Sie sich nur für 1-D-PDFs oder planen Sie, den multivariaten Fall zu testen? Was eine Benchmark-Suite von PDFs betrifft, habe ich in der Vergangenheit eine etwas verwandte Frage gestellt , um MCMC-Algorithmen zu testen , aber ich habe nichts Vergleichbares zu einem gut etablierten Satz von PDFs gefunden.

Wenn Sie genügend Zeit und Rechenressourcen haben, können Sie eine Art kontradiktorischen Test Ihrer Idee in Betracht ziehen :

• Definieren Sie eine sehr flexible parametrische Familie von PDFs (z. B. eine große Mischung aus mehreren bekannten PDFs) und bewegen Sie sich über eine nicht konvexe globale Optimierungsmethode (*) im Parameterraum der Mischung, um die Leistung Ihrer Methode zu minimieren und zu maximieren Leistung eines anderen Dichteschätzungsverfahrens nach dem Stand der Technik (und möglicherweise umgekehrt). Dies ist ein starker Test für die Stärke / Schwäche Ihrer Methode.

Schließlich ist das Erfordernis, besser als alle anderen Methoden zu sein, ein übermäßig hoher Balken; Es muss ein Prinzip ohne kostenloses Mittagessen bei der Arbeit geben (jedem Algorithmus liegt eine vorherige Annahme zugrunde, wie z. B. Glätte, Längenskala usw.). Damit Ihre Methode einen wertvollen Beitrag leistet, müssen Sie nur nachweisen, dass es Regime / Domänen von allgemeinem Interesse gibt, in denen Ihr Algorithmus besser funktioniert (der oben beschriebene gegnerische Test kann Ihnen helfen, eine solche Domäne zu finden / zu definieren).

(*) Da Ihre Leistungsmetrik stochastisch ist (Sie werden sie über Monte-Carlo-Stichproben bewerten), möchten Sie möglicherweise auch diese Antwort zur Optimierung von verrauschten, kostspieligen Zielfunktionen überprüfen .

Frage 1: Gibt es irgendwelche Verbesserungen gegenüber meinem obigen Plan?

Das hängt davon ab. Mischungsverteilungsreste resultieren oft aus albernen Dingen wie der Angabe einer unnötigen Mischungsverteilung als Datenmodell. Meine eigene Erfahrung legt daher nahe, mindestens so viele Mischungsverteilungsterme in der Ausgabe anzugeben, wie im Modell vorhanden sind. Darüber hinaus unterscheidet sich die Ausgabe der gemischten PDFs von den PDFs im Modell. Die Mathematica-Standardsuche enthält Mischungsverteilungen mit zwei Begriffen und kann als größere Zahl angegeben werden.

F2: Gibt es bereits eine umfassende Liste vieler analytisch definierter echter PDFs mit unterschiedlichen Schwierigkeiten (einschließlich sehr schwieriger), die ich hier wiederverwenden kann?

Dies ist eine Liste aus der FindDistribution- Routine von Mathematica :

Mögliche kontinuierliche Verteilungen für TargetFunctions sind: BetaDistribution, Cauchy-Verteilung, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, gammaverteilung, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, Laplace-Verteilung, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Pareto-Verteilung, Rayleigh-Verteilung, StudentTDistribution, gleichmäßige Verteilung, Weibull-Verteilung , HistogramDistribution.

Mögliche diskrete Verteilungen für TargetFunctions sind: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYuleDistribution,.

Das interne Informationskriterium verwendet ein Bayes'sches Informationskriterium zusammen mit Prioritäten über TargetFunctions.