Statistiken und Big Data

Was sind Hauptkomponentenbewertungen (PC-Bewertungen,

In Andrew Ngs Kurs über maschinelles Lernen führt er in die lineare und logistische Regression ein und zeigt, wie die Modellparameter mithilfe des Gradientenabfalls und der Newton-Methode angepasst werden. Ich weiß, dass Gradientenabstieg in einigen Anwendungen des maschinellen Lernens (z. B....

Es scheint, dass Data Mining und maschinelles Lernen so populär wurden, dass mittlerweile fast jeder CS-Student über Klassifikatoren, Clustering, statistische NLPs usw. Bescheid weiß. Meine Frage lautet: Welche Fähigkeiten könnte ein Data Miner erlernen, die ihn von den anderen unterscheiden? Ihn...

Für eine Simulationsstudie muss ich Zufallsvariablen generieren, die eine vorab festgelegte (Populations-) Korrelation zu einer vorhandenen Variablen .Y.YY Ich sah in die RPakete copulaund CDVineder Zufall multivariate Verteilungen mit einer bestimmten Abhängigkeitsstruktur erzeugen kann. Es ist...

Diese Frage wurde durch etwas ausgelöst, das ich in diesem Statistiklehrbuch für Hochschulabsolventen gelesen und (unabhängig) während dieser Präsentation auf einem statistischen Seminar gehört habe. In beiden Fällen lautete die Aussage wie folgt: "Da die Stichprobengröße ziemlich klein ist, haben...

Ich arbeite derzeit an einem quasi-experimentellen Forschungspapier. Aufgrund der geringen Bevölkerungszahl in dem ausgewählten Gebiet habe ich nur eine Stichprobengröße von 15 und nur 15 entsprechen meinen Kriterien. Ist 15 die minimale Stichprobengröße, die für T-Test und F-Test berechnet werden...

Firstregressionskoeffizientenschätzung β R sind die Werte , die die Minimierungβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Meine Fragen sind: Wenn , dann sehen wir, dass sich der obige Ausdruck auf das übliche RSS reduziert. Was ist, wenn λ → ∞...

Die Frage: Gibt es gute Beispiele für reproduzierbare Forschung mit R, die online frei verfügbar sind? Ideales Beispiel: Im Einzelnen würden ideale Beispiele Folgendes bereitstellen: Die Rohdaten (und idealerweise Metadaten, die die Daten erklären), Alle R-Codes, einschließlich Datenimport,...

Wie kann ich doppelte Zeilen aus diesem Beispieldatenrahmen entfernen? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Ich möchte die Duplikate entfernen, die auf beiden Spalten basieren: A 1 A 2 B 4 B 1 C 2 Ordnung ist nicht

Ich habe etwas über Q-Mode- und R-Mode-Hauptkomponentenanalyse (PCA) verglichen ?prcompund ?princompgefunden. Aber ehrlich - ich verstehe es nicht. Kann jemand den Unterschied erklären und vielleicht sogar erklären, wann welche Anwendung anzuwenden

Die Ökonometrie überschneidet sich erheblich mit der traditionellen Statistik, verwendet jedoch häufig eine eigene Fachsprache zu einer Vielzahl von Themen ("Identifizierung", "exogen" usw.). Ich habe einmal von einem Professor für angewandte Statistik in einem anderen Fachgebiet gehört, dass die...

Frage: Ich möchte sicher sein, ob die Verwendung der k-fachen Kreuzvalidierung mit Zeitreihen unkompliziert ist oder ob man vor der Verwendung besondere Aufmerksamkeit schenken muss. Hintergrund: Ich modelliere eine 6-Jahres-Zeitreihe (mit Semi-Markov-Kette) mit einer Datenerfassung alle 5 Minuten....

Im April nahm ich an einem Vortrag in der Seminarreihe der Statistikabteilung des UMD teil, der sich "Erklären oder Vorhersagen?" Der Vortrag wurde von Prof. Galit Shmueli gehalten, der an der Smith Business School von UMD unterrichtet. Ihr Vortrag basierte auf Recherchen zu einem Artikel mit dem...

Was ist eine geeignete Strategie zur Aufteilung des Datensatzes? Ich bitte um Feedback zu dem folgenden Ansatz (nicht zu den einzelnen Parametern wie test_sizeoder n_iter, aber wenn ich verwende X, y, X_train, y_train, X_test, und in y_testgeeigneter Weise und wenn die Sequenz macht...

Die kanonische Korrelationsanalyse (CCA) ist eine Technik im Zusammenhang mit der Hauptkomponentenanalyse (PCA). Während es einfach ist, PCA oder lineare Regression mithilfe eines Streudiagramms zu lehren (siehe einige tausend Beispiele zur Google-Bildsuche), habe ich für CCA kein ähnliches...

Ich bin gespannt auf diejenigen unter Ihnen, die über umfangreiche Erfahrung in der Zusammenarbeit mit anderen Forschern verfügen. Was sind einige der häufigsten Missverständnisse in Bezug auf lineare Regression, denen Sie begegnen? Ich denke, kann eine nützliche Übung sein, um über häufige...

Hintergrund Ich arbeite im Network Operations Center. Wir überwachen Computersysteme und deren Leistung. Eine der wichtigsten zu überwachenden Messgrößen ist die Anzahl der Besucher / Kunden, die derzeit mit unseren Servern verbunden sind. Um dies sichtbar zu machen, sammeln wir (Ops-Team) Metriken...

Warum ist es bei einer multiplen linearen Regression möglich, eine hochsignifikante F-Statistik (p <0,001) zu erhalten, die jedoch bei allen t-Tests des Regressors sehr hohe p-Werte aufweist? In meinem Modell gibt es 10 Regressoren. Einer hat einen p-Wert von 0,1 und der Rest liegt über 0,9...

Muss die Funktionsweise der Ebene "Einbetten" in der Keras-Bibliothek verstehen. Ich führe den folgenden Code in Python aus import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array =...

Welche wertvollen Open-Source-Projekte für die statistische Analyse sind derzeit verfügbar? Bearbeiten: Wie von Sharpie hervorgehoben, kann wertvoll bedeuten, Ihnen dabei zu helfen, Dinge schneller oder billiger zu