Als «model-evaluation» getaggte Fragen

107

Warum ist Genauigkeit nicht das beste Maß für die Beurteilung von Klassifizierungsmodellen?

Dies ist eine allgemeine Frage, die hier indirekt mehrmals gestellt wurde, aber es fehlt eine einzige maßgebliche Antwort. Es wäre großartig, eine ausführliche Antwort auf diese Frage als Referenz zu haben. Die Genauigkeit , der Anteil der korrekten Klassifizierungen an allen Klassifizierungen, ist...

54

Bester PCA-Algorithmus für eine Vielzahl von Funktionen (> 10K)?

Ich habe dies zuvor bei StackOverflow gefragt, aber es scheint, als wäre es hier angemessener, da es auf SO keine Antworten gab. Es ist eine Art Schnittstelle zwischen Statistik und Programmierung. Ich muss Code schreiben, um PCA (Principal Component Analysis) durchzuführen. Ich habe die bekannten...

pca algorithms model-evaluation high-dimensional

44

Optimierte Implementierungen des Random Forest-Algorithmus

Mir ist aufgefallen, dass es einige Implementierungen von Random Forest wie ALGLIB, Waffles und einige R-Pakete gibt randomForest. Kann mir jemand sagen, ob diese Bibliotheken hoch optimiert sind? Entsprechen sie im Wesentlichen den Zufallsforsten, wie in den Elementen des statistischen Lernens...

random-forest algorithms model-evaluation

35

Wie wähle ich eine Clustering-Methode aus? Wie validiere ich eine Cluster-Lösung (um die Wahl der Methode zu rechtfertigen)?

Eines der größten Probleme bei der Clusteranalyse ist, dass wir möglicherweise unterschiedliche Schlussfolgerungen ziehen müssen, wenn wir auf unterschiedlichen verwendeten Clustering-Methoden (einschließlich unterschiedlicher Verknüpfungsmethoden bei hierarchischem Clustering) basieren. Ich möchte...

clustering validation model-evaluation hierarchical-clustering

30

Kreuzvalidierungsmissbrauch (Reporting-Leistung für den besten Hyperparameter-Wert)

Kürzlich bin ich auf ein Dokument gestoßen, das die Verwendung eines k-NN- Klassifikators für einen bestimmten Datensatz vorschlägt . Die Autoren verwendeten alle verfügbaren Datenproben, um eine k-fache Kreuzvalidierung für verschiedene k- Werte durchzuführen und Kreuzvalidierungsergebnisse der...

cross-validation references model-selection model-evaluation

24

Auswertung der logistischen Regression und Interpretation von Hosmer-Lemeshow Goodness of Fit

Wie wir alle wissen, gibt es zwei Methoden, um das logistische Regressionsmodell zu bewerten, und sie testen sehr unterschiedliche Dinge Vorhersagekraft: Erhalten Sie eine Statistik, die misst, wie gut Sie die abhängige Variable basierend auf den unabhängigen Variablen vorhersagen können. Die...

r logistic goodness-of-fit regression-strategies model-evaluation

22

Klassifizierungs- / Bewertungsmetriken für stark unausgeglichene Daten

Ich beschäftige mich mit einem (kreditbewertungsähnlichen) Problem der Betrugserkennung. Insofern besteht ein sehr unausgewogenes Verhältnis zwischen betrügerischen und nicht betrügerischen Beobachtungen. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html bietet einen...

classification unbalanced-classes precision-recall cohens-kappa model-evaluation

16

Kann AUC-ROC zwischen 0-0,5 liegen?

Können AUC-ROC-Werte zwischen 0 und 0,5 liegen? Gibt das Modell jemals Werte zwischen 0 und 0,5

roc model-evaluation auc

14

Warum sollte der normalisierte Gini-Score anstelle der AUC als Bewertung verwendet werden?

Kaggles Wettbewerb Die Safe Driver Prediction von Porto Seguro verwendet den normalisierten Gini-Score als Bewertungsmaßstab. Dies hat mich neugierig gemacht, welche Gründe für diese Entscheidung sprechen . Was sind die Vorteile der Verwendung eines normalisierten Gini-Scores anstelle der...

classification auc model-evaluation gini

13

Vergleich zweier Modelle, wenn sich die ROC-Kurven kreuzen

Eine gebräuchliche Maßnahme zum Vergleich von zwei oder mehr Klassifizierungsmodellen besteht darin, die Fläche unter der ROC-Kurve (AUC) als Mittel zur indirekten Bewertung ihrer Leistung zu verwenden. In diesem Fall wird ein Modell mit einer größeren AUC normalerweise als leistungsstärker...

machine-learning classification roc auc model-evaluation

13

Beziehung zwischen den Korrelationskoeffizienten phi, Matthews und Pearson

Sind die Phi- und Matthews-Korrelationskoeffizienten dasselbe Konzept? In welcher Beziehung stehen sie zum Pearson-Korrelationskoeffizienten für zwei Binärvariablen oder entsprechen diesen? Ich gehe davon aus, dass die Binärwerte 0 und 1 sind. Die Pearson-Korrelation zwischen zwei...

correlation contingency-tables bernoulli-distribution model-evaluation confusion-matrix

12

Warum wird die Holdout-Methode (Aufteilen von Daten in Training und Test) in der klassischen Statistik nicht verwendet?

In meinem Unterricht wurde die Holdout-Methode eingeführt, um die Modellleistung zu bewerten. Als ich meinen ersten Kurs über lineare Modelle belegte, wurde dies jedoch nicht als Mittel zur Modellvalidierung oder -bewertung eingeführt. Meine Online-Recherche zeigt auch keinerlei Schnittmenge. Warum...

regression validation model-evaluation out-of-sample

12

Was ist der Unterschied zwischen und Varianz-Score beim Scikit-Lernen?

Ich war in dem Python über Regressions Metriken Lese Scikit-Learn Handbuch und obwohl jeder von ihnen seine eigenen Formel hat, kann ich nicht intuitiv sagen , was ist der Unterschied zwischen und Varianz - Score und daher , wenn der eine oder andere zu verwenden , um zu bewerten meine...

regression variance scikit-learn r-squared model-evaluation

11

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung,...

fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

10

Bewertung der Leistung eines Regressionsmodells mithilfe von Trainings- und Testsätzen?

Ich höre oft von der Bewertung der Leistung eines Klassifizierungsmodells, indem ich den Testsatz aushalte und ein Modell auf dem Trainingssatz trainiere. Erstellen Sie dann zwei Vektoren, einen für die vorhergesagten Werte und einen für die wahren Werte. Ein Vergleich ermöglicht es offensichtlich,...

regression machine-learning model-evaluation

10

Ist Bias dasselbe wie Unteranpassung und Varianz dasselbe wie Überanpassung?

Dies könnte eine grundlegende Frage sein: Was ist der Unterschied zwischen Voreingenommenheit und Unteranpassung? Und was ist analog der Unterschied zwischen Varianz und Überanpassung? Bedeuten die Begriffe jedes Paares dasselbe? Wenn nicht, was ist der

variance bias overfitting model-evaluation

10

Wie baue ich einen innovativen Ausreißer bei Beobachtung 48 in mein ARIMA-Modell ein?

Ich arbeite an einem Datensatz. Nachdem ich einige Modellidentifikationstechniken angewendet hatte, kam ich mit einem ARIMA (0,2,1) -Modell heraus. Ich habe die detectIOFunktion im Paket TSAin R verwendet, um bei der 48. Beobachtung meines ursprünglichen Datensatzes einen innovativen Ausreißer (IO)...

r time-series arima outliers hypergeometric fishers-exact r time-series intraclass-correlation r logistic glmm clogit mixed-model spss repeated-measures ancova machine-learning python scikit-learn distributions data-transformation stochastic-processes web standard-deviation r machine-learning spatial similarities spatio-temporal binomial sparse poisson-process r regression nonparametric r regression logistic simulation power-analysis r svm random-forest anova repeated-measures manova regression statistical-significance cross-validation group-differences model-comparison r spatial model-evaluation parallel-computing generalized-least-squares r stata fitting mixture hypothesis-testing categorical-data hypothesis-testing anova statistical-significance repeated-measures likert wilcoxon-mann-whitney boxplot statistical-significance confidence-interval forecasting prediction-interval regression categorical-data stata least-squares experiment-design skewness reliability cronbachs-alpha r regression splines maximum-likelihood modeling likelihood-ratio profile-likelihood nested-models

10

Vergleich der Genauigkeit zweier verschiedener Modelle anhand der statistischen Signifikanz

Ich arbeite an der Vorhersage von Zeitreihen. Ich habe zwei Datensätze und . Ich habe drei Vorhersagemodelle: . Alle diese Modelle werden unter Verwendung von Stichproben in Datensatz trainiert , und ihre Leistung wird unter Verwendung der Stichproben in Datensatz gemessen . Angenommen, die...

time-series machine-learning statistical-significance classification model-evaluation

10

Beste Methode zur Bewertung von PDF-Schätzmethoden

Ich möchte einige meiner Ideen testen, die meiner Meinung nach besser sind als alles, was ich gesehen habe. Ich könnte mich irren, aber ich möchte meine Ideen testen und meine Zweifel durch sicherere Beobachtungen überwinden. Was ich mir überlegt habe, ist Folgendes: Definieren Sie analytisch...

hypothesis-testing estimation pdf kernel-smoothing model-evaluation

10

Warum definiert f Beta Score Beta so?

Dies ist der F-Beta-Score: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} Der Wikipedia-Artikel besagt, dass...

machine-learning precision-recall model-evaluation