Statistiken und Big Data

In vielen Algorithmen für maschinelles Lernen ist die Feature-Skalierung (auch bekannt als variable Skalierung, Normalisierung) ein häufiger Vorverarbeitungsschritt. Wikipedia - Feature-Skalierung - Diese Frage war knapp. Frage 41704 - Wie und warum funktionieren Normalisierung und...

Ich habe ein Experiment durchgeführt, um die zelluläre Empfindlichkeit gegenüber einem bestimmten DNA-Schadensmittel zu testen. Wir haben 270 Gene gefunden, die spezifisch für das Arzneimittel empfindlich waren, und die Gesamtzahl der analysierten Gene betrug 3668. 38 der 270 empfindlichen Gene...

Ich versuche, einige Statistiken mit dem Buch Biometrie von Sokal und Rohlf (3e) zu lernen. Dies ist eine Übung im 5. Kapitel, die die Wahrscheinlichkeit, die Binomialverteilung und die Poisson-Verteilung behandelt. Mir ist klar, dass es eine Formel gibt, um eine Antwort auf diese Frage zu...

Ich versuche einfach, mit dnorm () die von der logLik-Funktion bereitgestellte Log-Wahrscheinlichkeit aus einem lm-Modell (in R) neu zu berechnen. Es funktioniert (fast perfekt) für eine hohe Anzahl von Daten (z. B. n = 1000): > n <- 1000 > x <- 1:n > set.seed(1) > y <- 10 +...

Wikipedia bietet das folgende Beispiel für die Beschreibung von Feature-Hashing . Die Zuordnung scheint jedoch nicht mit dem definierten Wörterbuch übereinzustimmen Zum Beispiel tosollte 3entsprechend dem Wörterbuch konvertiert werden , aber es wird 1stattdessen als codiert . Gibt es einen Fehler...

Gibt es eine genaue Definition von schwach informativem Prior? Wie unterscheidet es sich von einem subjektiven Prior mit breiter

Beim Studium der Kovarianzauswahl habe ich einmal das folgende Beispiel gelesen. In Bezug auf das folgende Modell: Seine Kovarianzmatrix und inverse Kovarianzmatrix sind wie folgt angegeben: Ich verstehe nicht, warum die Unabhängigkeit von und y hier durch die inverse Kovarianz bestimmt...

Kernel-Methoden sind bei vielen überwachten Klassifizierungsaufgaben sehr effektiv. Was sind die Einschränkungen von Kernel-Methoden und wann sollten Kernel-Methoden verwendet werden? Was sind die Fortschritte der Kernel-Methoden, insbesondere im Zeitalter großer Datenmengen? Was ist der...

Diese Frage / dieses Thema kam in einer Diskussion mit einem Kollegen auf und ich suchte nach einigen Meinungen dazu: Ich modelliere einige Daten mithilfe einer logistischen Regression mit zufälligen Effekten, genauer gesagt einer logistischen Regression mit zufälligen Abschnitten. Für die festen...

Zum Beispiel wird im BUGS-Handbuch oder im kommenden Buch von Lee und Wagenmakers ( pdf ) und an vielen anderen Stellen eine Art von Notation verwendet, die mir sehr flexibel erscheint, da sie zur prägnanten Beschreibung der meisten statistischen Modelle verwendet werden kann. Ein Beispiel für...

In den letzten Jahren haben verschiedene Wissenschaftler ein nachteiliges Problem beim Testen wissenschaftlicher Hypothesen angesprochen, das als "Freiheitsgrad der Forscher" bezeichnet wird. Dies bedeutet, dass Wissenschaftler während ihrer Analyse zahlreiche Entscheidungen treffen müssen, die...

Ich habe eine Integralgleichung der Form wobei das empirische cdf ist und eine Funktion ist . Ich habe eine Kontraktionsabbildung und versuche daher, die Integralgleichung mithilfe der Banach-Fixpunktsatzsequenz zu lösen.T1(x)=∫x0g(T1(y)) dF^n(y)T1(x)=∫0xg(T1(y)) dF^n(y) T_1(x) = \int_0^x...

In einer einfachen Klassifikation haben wir zwei Klassen: Klasse-0 und Klasse-1. In einigen Daten habe ich nur Werte für Klasse 1, also keine für Klasse 0. Jetzt denke ich darüber nach, ein Modell zu erstellen, um die Daten für Klasse 1 zu modellieren. Wenn also neue Daten kommen, wird dieses...

Sei eine Zufallsvariable im Wahrscheinlichkeitsraum Zeige, dassX:Ω→NX:Ω→NX:\Omega \to \mathbb N(Ω,B,P)(Ω,B,P)(\Omega,\mathcal B,P)E(X)=∑n=1∞P(X≥n).E(X)=∑n=1∞P(X≥n).E(X)=\sum_{n=1}^\infty P(X\ge n). Meine Definition von ist gleich E(X)E(X)E(X)E(X)=∫ΩXdP.E(X)=∫ΩXdP.E(X)=\int_\Omega X \, dP. Vielen...

Ich habe Daten über eine Reihe von Gewinn- und Verlustwetten über 5 Wettrunden mit Abrieb nach jeder Runde. Ich verwende einen Entscheidungsbaum wie den folgenden, um die Daten anzuzeigen. Die Knoten am oberen Rand des Baums sind diejenigen, die gewinnende Wetten haben, und diejenigen am unteren...

Ich habe zwei Datenproben, eine Basisprobe und eine Behandlungsprobe. Die Hypothese ist, dass die Behandlungsprobe einen höheren Mittelwert als die Basisprobe hat. Beide Proben haben eine exponentielle Form. Da die Daten ziemlich groß sind, habe ich zum Zeitpunkt der Durchführung des Tests nur den...

Können Sie mir ein Beispiel für die Verwendung von Sandwich-Schätzern geben, um eine robuste Regressionsinferenz durchzuführen? Ich kann das Beispiel in sehen ?sandwich, aber ich verstehe nicht ganz, wie wir von lm(a ~ b, data)( r- codiert) zu einer Schätzung und einem p- Wert übergehen können,...

Um meine Frage besser zu stellen, habe ich einige der Ausgaben sowohl eines 16-Variablen-Modells ( fit) als auch eines 17-Variablen-Modells ( fit2) unten bereitgestellt (alle Prädiktorvariablen in diesen Modellen sind kontinuierlich, wobei der einzige Unterschied zwischen diesen Modellen darin...

My  dataset:My  dataset:My \ \ dataset: 1:A,B,C,E1:A,B,C,E1: A,B,C,E 2:A,C,D,E2:A,C,D,E2:A,C,D,E 3:     B,C,E3:     B,C,E3:\ \ \ \ \ B,C,E 4:A,C,D,E4:A,C,D,E4:A,C,D,E 5:    C,D,E5:    C,D,E5:\ \ \ \ C, D, E 6:    A,D,E6:    A,D,E6: \ \ \ \ A, D,E Ich möchte die maximal häufigen Objektgruppen und...

Ich unterrichte einen Statistik-Grundkurs und werde heute den Chi-Quadrat-Test der Unabhängigkeit für zwei Kategorien und den Test der Homogenität behandeln. Diese beiden Szenarien unterscheiden sich konzeptionell, können jedoch dieselbe Teststatistik und -verteilung verwenden. Bei einem...