Als «hyperparameter» getaggte Fragen

77

Ein Beispiel: LASSO-Regression unter Verwendung von glmnet für binäre Ergebnisse

Ich beginne mit der Verwendung von dabble glmnetmit LASSO Regression , wo mein Ergebnis von Interesse dichotomous ist. Ich habe unten einen kleinen nachgebildeten Datenrahmen erstellt: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45,...

r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold

40

Praktische Hyperparameteroptimierung: Zufällige vs. Gittersuche

Ich gehe gerade die Zufallssuche von Bengio und Bergsta für die Hyperparameter -Optimierung [1] durch, bei der die Autoren behaupten, die Zufallssuche sei effizienter als die Rastersuche, um ungefähr die gleiche Leistung zu erzielen. Meine Frage ist: Stimmen die Leute hier dieser Behauptung zu? In...

machine-learning hyperparameter optimization

38

Richtlinie zur Auswahl der Hyperparameter in Deep Learning

Ich bin auf der Suche nach einem Artikel, der dabei helfen kann, eine Richtlinie zur Auswahl der Hyperparameter einer Deep-Architecture wie gestapelte Auto-Encoder oder Deep-Believe-Netzwerke zu erstellen. Es gibt viele Hyperparameter und ich bin sehr verwirrt, wie ich sie auswählen soll. Auch die...

machine-learning deep-learning deep-belief-networks hyperparameter

30

Müssen wir die Anzahl der Bäume in einem zufälligen Wald stimmen?

Softwareimplementierungen von zufälligen Gesamtstrukturklassifizierern verfügen über eine Reihe von Parametern, mit denen Benutzer das Verhalten des Algorithmus genau einstellen können, einschließlich der Anzahl der Gesamtstrukturbäume. Ist dies ein Parameter, der auf die gleiche Weise wie , um die...

classification optimization random-forest hyperparameter

24

Was ist der Grund, warum der Adam Optimizer für den Wert seiner Hyperparameter als robust angesehen wird?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Bengio, Goodfellow und Courville auf folgenden Satz gestoßen: Adam wird allgemein als ziemlich robust gegenüber der Auswahl von Hyperparametern angesehen, obwohl die Lernrate manchmal von der...

neural-networks deep-learning optimization hyperparameter adam

21

Natürliche Interpretation für LDA-Hyperparameter

Kann jemand erklären, was die natürliche Interpretation für LDA-Hyperparameter ist? ALPHAund BETAsind Parameter von Dirichlet-Verteilungen für (pro Dokument) Themen- bzw. (pro Thema) Wortverteilungen. Kann jemand erklären, was es bedeutet, größere Werte dieser Hyperparameter gegenüber kleineren...

interpretation prior topic-models hyperparameter

20

Wie schlecht ist Hyperparameter-Tuning außerhalb der Kreuzvalidierung?

Ich weiß, dass das Optimieren von Hyperparametern außerhalb der Kreuzvalidierung zu verzerrt hohen Schätzungen der externen Validität führen kann, da der Datensatz, mit dem Sie die Leistung messen, derselbe ist, den Sie zum Optimieren der Features verwendet haben. Ich frage mich, wie schlimm dieses...

cross-validation validation hyperparameter

19

Ist die Optimierung von Hyperparametern für eine Stichprobe eines Datensatzes eine schlechte Idee?

Ich habe einen Datensatz mit 140000 Beispielen und 30 Funktionen, für die ich mehrere Klassifikatoren für eine binäre Klassifizierung trainiere (SVM, Logistic Regression, Random Forest usw.). In vielen Fällen ist die Optimierung von Hyperparametern für den gesamten Datensatz mithilfe der Raster-...

machine-learning cross-validation hyperparameter

19

Was ist in einem Namen: Hyperparameter

In einer Normalverteilung haben wir also zwei Parameter: mean und varance . Im Buch Mustererkennung und maschinelles Lernen taucht plötzlich ein Hyperparameter in den Regularisierungsbegriffen der Fehlerfunktion auf.μμ\muσ2σ2\sigma^2λλ\lambda Was sind Hyperparameter? Warum heißen sie so? Und wie...

terminology definition parameterization hyperparameter

18

Vorteile der Partikelschwarmoptimierung gegenüber der Bayes'schen Optimierung für das Hyperparameter-Tuning?

Es gibt umfangreiche aktuelle Forschungen zur Bayesianischen Optimierung (1) zur Optimierung von ML-Hyperparametern. Die treibende Motivation dabei ist, dass eine minimale Anzahl von Datenpunkten erforderlich ist, um fundierte Entscheidungen darüber zu treffen, welche Punkte es wert sind,...

hyperparameter bayesian-optimization optunity

17

Wie erstelle ich das endgültige Modell und optimiere den Wahrscheinlichkeitsschwellenwert nach einer verschachtelten Kreuzvalidierung?

Erstens, Entschuldigung für das Posten einer Frage, die hier , hier , hier , hier , hier bereits ausführlich besprochen wurde, und zum Aufwärmen eines alten Themas. Ich weiß, dass @DikranMarsupial ausführlich über dieses Thema in Beiträgen und Fachzeitschriften geschrieben hat, aber ich bin immer...

machine-learning cross-validation model-selection glmnet hyperparameter

16

Wie erhält man Hyperparameter in einer verschachtelten Kreuzvalidierung?

Ich habe die folgenden Beiträge zur geschachtelten Kreuzvalidierung gelesen und bin mir immer noch nicht 100% sicher, was ich mit der Modellauswahl mit geschachtelter Kreuzvalidierung tun soll: Verschachtelte Kreuzvalidierung für die Modellauswahl Modellauswahl und Kreuzvalidierung: Der richtige...

cross-validation scikit-learn hyperparameter

14

Wie sollten Feature-Auswahl und Hyperparameter-Optimierung in der Pipeline für maschinelles Lernen angeordnet werden?

Mein Ziel ist es, Sensorsignale zu klassifizieren. Das bisherige Konzept meiner Lösung lautet: i) Konstruieren von Features aus dem Rohsignal ii) Auswählen relevanter Features mit ReliefF und einem Clustering-Ansatz iii) Anwenden von NN, Random Forest und SVM Ich bin jedoch in einem Dilemma...

feature-selection hyperparameter optimization

13

Auswahl einer geeigneten Minibatch-Größe für den stochastischen Gradientenabstieg (SGD)

Gibt es Literatur, die die Wahl der Minibatch-Größe bei der Durchführung eines stochastischen Gradientenabfalls untersucht? Nach meiner Erfahrung scheint es sich um eine empirische Entscheidung zu handeln, die normalerweise durch Kreuzvalidierung oder unter Verwendung unterschiedlicher Faustregeln...

machine-learning gradient-descent hyperparameter deep-learning

13

Optimierung der Hyperparameter: Zufallssuche vs. Bayes'sche Optimierung

Wir wissen also, dass die Zufallssuche besser funktioniert als die Rastersuche, aber ein neuerer Ansatz ist die Bayes'sche Optimierung (unter Verwendung von Gauß'schen Prozessen). Ich habe einen Vergleich zwischen den beiden nachgeschlagen und nichts gefunden. Ich weiß, dass sie bei Stanfords...

bayesian hyperparameter

13

Ist die Entscheidungsschwelle ein Hyperparameter in der logistischen Regression?

Die vorhergesagten Klassen aus der (binären) logistischen Regression werden unter Verwendung eines Schwellenwerts für die Wahrscheinlichkeiten der Klassenmitgliedschaft bestimmt, die vom Modell generiert werden. Soweit ich weiß, wird standardmäßig 0,5 verwendet. Das Variieren des Schwellenwerts...

machine-learning logistic scikit-learn hyperparameter

12

Hyperparameter-Tuning in der Gaußschen Prozessregression

Ich versuche, die Hyperparameter des von mir implementierten Gaußschen Prozessregressionsalgorithmus abzustimmen. Ich möchte einfach die logarithmische Grenzwahrscheinlichkeit maximieren, die durch die Formel wobeiKdie Kovarianzmatrix mit den ElementenKij=k(xi,xj)=b-1exp(- istLog( y | X., Θ ) = -...

regression optimization gaussian-process hyperparameter

11

Wie verwende ich XGboost.cv mit der Optimierung von Hyperparametern?

Ich möchte die Hyperparameter von XGboost mithilfe der Kreuzvalidierung optimieren. Es ist jedoch nicht klar, wie man das Modell erhält xgb.cv. Zum Beispiel rufe ich objective(params)von an fmin. Dann wird das Modell montiert dtrainund validiert dvalid. Was ist, wenn ich KFold Crossvalidation...

cross-validation python boosting hyperparameter gradient

11

Hyperprior-Dichte für hierarchisches Gamma-Poisson-Modell

In einem hierarchischen Datenmodell yyy in dem y∼Poisson(λ)y∼Poisson(λ)y \sim \textrm{Poisson}(\lambda) λ∼Gamma(α,β)λ∼Gamma(α,β)\lambda \sim \textrm{Gamma}(\alpha, \beta) , scheint es in der Praxis typisch zu sein, Werte ( α,β)α,β)\alpha, \beta) so zu dass der Mittelwert und die Varianz von Die...

poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

11

Warum lernen wir nicht einfach die Hyperparameter?

Ich habe ein ziemlich populäres Papier " ERKLÄREN UND HARNESSEN VON ADVERSARIALEN BEISPIELEN " implementiert und in dem Papier eine kontroverse Zielfunktion trainiert J '' (θ) = αJ (θ) + (1 - α) J '(θ). Es behandelt α als Hyperparameter. α kann 0,1, 0,2, 0,3 usw. sein. Unabhängig von diesem...

machine-learning neural-networks deep-learning hyperparameter