Statistiken und Big Data

Ich habe solche Modelle: require(nlme) set.seed(123) n <- 100 k <- 5 cat <- as.factor(rep(1:k, n)) cat_i <- 1:k # intercept per kategorie x <- rep(1:n, each = k) sigma <- 0.2 alpha <- 0.001 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) plot(x, y) m1 <- lm(y ~ x)...

Ich denke über ein Problem nach, das darin besteht, das Protokoll (die Ausgaben) eines Kunden mithilfe der linearen Regression vorherzusagen. Ich überlege, welche Funktionen als Eingabe verwendet werden sollen, und frage mich, ob es in Ordnung wäre, das Perzentil einer Variablen als Eingabe zu...

Angenommen, wir haben die folgenden Daten: set.seed(123) data <- data.frame(x = c(rnorm(50, 1, 1), rnorm(50, 5, 2)), y = c(rep('A', 50), rep('B', 50))) Was das folgende Boxplot ( boxplot(data$x ~ data$y)) ergibt : Angenommen, ich möchte testen, ob die beiden Stichproben dieselben...

Ich versuche, SMOTE zu verwenden, um das Ungleichgewicht in meinem Klassifizierungsproblem für mehrere Klassen zu korrigieren. Obwohl SMOTE gemäß dem SMOTE-Hilfedokument perfekt für das Iris-Dataset funktioniert, funktioniert es für ein ähnliches Dataset nicht. So sehen meine Daten aus. Beachten...

Ich bin auf diesen Artikel gestoßen, in dem steht, dass bei der Gibbs-Probenahme jede Probe akzeptiert wird. Ich bin etwas verwirrt. Wie kommt es, dass jede aufgenommene Probe zu einer stationären Verteilung konvergiert? Im allgemeinen Metropolis-Algorithmus akzeptieren wir als min (1, p (x *) / p...

Nach dem, was ich gelesen habe, ist Hamiltonian Monte Carlo die "goto" MCMC-Methode, wenn Ihr Problem hochdimensional ist. Wie viele Dimensionen 10, 100, 1000, 10.000, 100.000, ... sind praktisch zu viele? Die Rechenkosten werden zweifellos zu einem Problem, und ich nehme an, dass das verwendete...

Es gibt mehr Phänomene, auf die experimentelles Design angewendet werden kann, als es alternative gültige Designstrategien gibt. Dies sollte zutreffen, obwohl es viele Möglichkeiten gibt, ein Experiment richtig zu gestalten. Was sind die besten "Probleme", die den Wert und die Nuance für die...

In meinen Daten habe ich eine Klassenvariable, bezeichnet als . Diese Klassenvariablenwerte sind 0 , 1 (binär). Fast alle Beobachtungen von C sind 0 (nahe 100%, genauer gesagt 97%). Ich möchte einen "Leistungstest" für verschiedene Klassifizierungsmodelle (dies könnte Genauigkeit sein). Was ich...

Ich unterrichte diesen Herbst meine erste Klasse (Einführung in die Biostatistik). Hat jemand Vorschläge, wie man Statistik besser unterrichten kann? Vielleicht ein Beispiel, das Ihr erster Lehrer gerne verwendet hätte? Ich verwende Prinzipien der Biostatistik von Pagano und Gauvreau. DETAILS...

Ich habe Daten mit 2 Klassen, für die ich eine Klassifizierung mit mehreren Klassifizierern durchführe. Und die Datensätze sind gut ausbalanciert. Bei der Beurteilung der Leistung der Klassifikatoren muss berücksichtigt werden, wie genau der Klassifikator nicht nur die wahren Positiven, sondern...

Ich habe gerade eine Kopie von The Elements of Statistical Learning von Hastie, Tibshirani und Friedman erhalten. In Kapitel 2 (Überblick über betreutes Lernen), Abschnitt 4 (Statistische Entscheidungstheorie) gibt er eine Ableitung der Regressionsfunktion. Lassen bezeichnet einen reellen...

Angenommen, das folgende bivariate Regressionsmodell: wobei iid für .u i N ( 0 , σ 2 = 9 ) i = 1 , … , nyi=βxi+ui,yi=βxi+ui, y_i = \beta x_i + u_i, uiuiu_iN(0,σ2=9)N(0,σ2=9)N(0, \sigma^2 = 9)i=1,…,ni=1,…,ni = 1,\ldots, n Angenommen , ein noninformative Stand , dann kann gezeigt werden , dass die...

Ich vergleiche die Verteilung verschiedener Gruppen anhand der Geigen-Diagramme. Die meisten Online-Ressourcen, die ich gefunden habe, beziehen sich jedoch nur auf die Erstellung der Diagramme und die sehr grundlegende Interpretation der Ergebnisse (die mittlere Variation, die Daten sind gruppiert...

Ich las eine Arbeit über die Bayes'sche Kurvenanpassung ( Dimatteo et al. Bayesianische Kurvenanpassung mit Freiknoten-Splines, 2001 ) und stieß auf das Symbol ≏≏\bumpeq . Es wird im gesamten Artikel einige Male verwendet, jedoch nie explizit definiert. Nach einigen Google- und Stackexchange-Suchen...

Ich verwende einen auf neuronalen Netzen basierenden Klassifizierer, um eine Klassifizierung für meine Daten in n-dimensional durchzuführen. Dann dachte ich, es wäre vielleicht eine gute Idee, zuerst eine Dimensionsreduzierung wie PCA für meine Daten durchzuführen und dann die PCA-Ergebnisse in den...

Ich habe Daten für Kraftfahrzeugunfälle nach Tageszeit. Wie zu erwarten, sind sie mitten am Tag hoch und erreichen zur Hauptverkehrszeit ihren Höhepunkt. Die Standard-geom_density von ggplot2 glättet es gut Eine Teilmenge der Daten für Unfälle im Zusammenhang mit Alkohol am Steuer ist an beiden...

Ich habe einen Beispieldatensatz wie folgt: Volume <- seq(1,20,0.1) var1 <- 100 x2 <- 1000000 x3 <- 30 x4 = sqrt(x2/pi) H = x3 - Volume r = (x4*H)/(H + Volume) Power = (var1*x2)/(100*(pi*Volume/3)*(x4*x4 + x4*r + r*r)) Power <- jitter(Power, factor = 1, amount = 0.1)...

Ich habe die folgenden Daten hier . Ich versuche, das 95% -Konfidenzintervall für die mittlere Reinheit zu berechnen, wenn der Kohlenwasserstoffprozentsatz 1,0 beträgt. In R gebe ich Folgendes ein. > predict(purity.lm, newdata=list(hydro=1.0), interval="confidence", level=.95) fit lwr upr 1...

Gibt es unten einen Namen für diese Art von Diagramm (bezogen vom neuseeländischen Ministerium für Wirtschaft, Innovation und Beschäftigung , für das ich arbeite, aber nicht an der Erstellung dieses Grundstücks beteiligt war)? Es besteht aus Rechtecken, bei denen die Fläche proportional zu einer...

Skalierbare Algorithmen für maschinelles Lernen scheinen heutzutage die Begeisterung zu sein. Jedes Unternehmen verarbeitet nur Big Data . Gibt es ein Lehrbuch, in dem erläutert wird, welche Algorithmen für maschinelles Lernen mit parallelen Architekturen wie Map-Reduce skaliert werden können und...