Statistiken und Big Data

\newcommand{\P}{\mathbb{P}}Wir haben einen zufälligen Prozess, der in einem festgelegten Zeitraum mehrmals auftreten kann oder auch nicht . Wir haben einen Datenfeed von einem bereits existierenden Modell dieses Prozesses, der die Wahrscheinlichkeit für eine Anzahl von Ereignissen in der Periode...

Ich versuche, Faltungs-Neuronale Netze besser zu verstehen, indem ich Python-Code schreibe, der nicht von Bibliotheken (wie Convnet oder TensorFlow) abhängt Durchführen einer Faltung an einem Bild. Ich versuche, die Implementierungsdetails im Schritt zwischen Feature-Maps in der folgenden Abbildung...

Was ist der Unterschied zwischen Dropout und Drop Connect? AFAIK, Dropout löscht zufällig versteckte Knoten während des Trainings, hält sie jedoch beim Testen und Dropconnect löscht Verbindungen. Aber ist das Löschen von Verbindungen nicht gleichbedeutend mit dem Löschen der versteckten Knoten?...

Wir wissen, dass wir Benjamini-Hochberg-ähnliche Korrekturen für Mehrfachhypothesentests auf Experimente anwenden müssen, die auf einem einzigen Datensatz basieren, um die Rate falscher Entdeckungen zu kontrollieren. Andernfalls könnten alle Experimente, die ein positives Ergebnis liefern, falsch...

Dies ist eine wiederkehrende Frage (siehe diesen Beitrag , diesen Beitrag und diesen Beitrag ), aber ich habe einen anderen Dreh. Angenommen, ich habe ein paar Samples von einem generischen MCMC-Sampler. Für jede Probe , weiß ich den Wert der Log - Likelihood und des log vor . Wenn es hilft, kenne...

Ich möchte besser verstehen, wie die Kontinuitätskorrektur zur Binomialverteilung für die normale Approximation abgeleitet wurde. Welche Methode wurde verwendet, um zu entscheiden, dass wir 1/2 hinzufügen sollten (warum nicht eine andere Zahl?). Jede Erklärung (oder ein Link zu vorgeschlagenen...

Gibt es irgendetwas Bedeutendes an einem geometrischen Mittelwert und einem arithmetischen Mittelwert, die sehr nahe beieinander liegen, sagen wir ~ 0,1%? Welche Vermutungen lassen sich über einen solchen Datensatz anstellen? Ich habe gerade an der Analyse eines Datensatzes gearbeitet und merke,...

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Bengio, Goodfellow und Courville auf folgenden Satz gestoßen: Adam wird allgemein als ziemlich robust gegenüber der Auswahl von Hyperparametern angesehen, obwohl die Lernrate manchmal von der...

Ich arbeite derzeit an einem Problem, bei dem ich einen Markov-Ketten-Monte-Carlo- Algorithmus (MCMC) für ein Zustandsraummodell entwickeln muss. Um das Problem lösen zu können, wurde mir die folgende Wahrscheinlichkeit von : p ( ) = 2I ( > 0) / (1+ ). ist die Standardabweichung von .τ τ τ 2 τ...

Die Schätzung der Parzen-Fensterdichte wird als beschrieben p(x)=1n∑i=1n1h2ϕ(xi−xh)p(x)=1n∑i=1n1h2ϕ(xi−xh) p(x)=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{h^2} \phi \left(\frac{x_i - x}{h} \right) wobei nnn die Anzahl der Elemente im Vektor ist, ein Vektor ist, eine Wahrscheinlichkeitsdichte von , die...

Ist "Stunde des Tages", in der der Wert 0, 1, 2, ..., 23 sein kann, eine kategoriale Variable? Ich wäre versucht, nein zu sagen, da beispielsweise 5 näher an 4 oder 6 liegt als an 3 oder 7. Andererseits gibt es die Diskontinuität zwischen 23 und 0. Wird es allgemein als kategorisch angesehen oder...

Ich schreibe einen kurzen theoretischen Aufsatz für einen Bayesian Statistics-Kurs (in einem Economics M.Sc.) über nicht-informative Prioritäten und versuche zu verstehen, welche Schritte zur Entwicklung dieser Theorie erforderlich sind. Mittlerweile besteht meine Zeitleiste aus drei...

Ich bin etwas verwirrt über die Vorteile gemischter Modelle in Bezug auf die prädiktive Modellierung. Da Vorhersagemodelle in der Regel dazu gedacht sind, Werte bisher unbekannter Beobachtungen vorherzusagen, erscheint es mir offensichtlich, dass ein gemischtes Modell nur durch seine Fähigkeit...

Ich versuche, die Quantil-Regression zu verstehen, aber eine Sache, die mich leiden lässt, ist die Wahl der Verlustfunktion. ρτ(u)=u(τ−1{u<0})ρτ(u)=u(τ−1{u<0})\rho_\tau(u) =

Ich versuche zu verfolgen, wer die Datenstruktur und den Algorithmus des Entscheidungsbaums erfunden hat. Im Wikipedia-Eintrag zum Entscheidungsbaum-Lernen heißt es, dass "ID3 und CART ungefähr zur gleichen Zeit (zwischen 1970 und 1980) unabhängig voneinander erfunden wurden". ID3 wurde später...

Ich war verwirrt über die Unterschiede zwischen der F1-Punktzahl, der Würfel-Punktzahl und der IoU (Schnittpunkt über der Vereinigung). Inzwischen habe ich herausgefunden, dass F1 und Würfel dasselbe bedeuten (richtig?) Und IoU eine sehr ähnliche Formel wie die anderen beiden hat. F1 / Würfel:2 TP2...

In einer kürzlich gut erhaltenen Frage fragt Tim, wann unausgeglichene Daten wirklich ein Problem beim maschinellen Lernen sind . Die Prämisse der Frage ist, dass es eine Menge Literatur zum maschinellen Lernen gibt, die sich mit dem Klassengleichgewicht und dem Problem unausgeglichener Klassen...

Ich habe gerade ein großartiges Buch „ Introduction to Empirical Bayes“ gelesen . Ich fand das Buch großartig, aber das Erstellen von Prioritäten aus den Daten fühlte sich falsch an. Ich wurde geschult, dass Sie einen Analyseplan erstellen, dann Daten sammeln und dann die Hypothese testen, die Sie...

Der Titel ist die Frage. Mir wird gesagt, dass Verhältnisse und Umkehrungen von Zufallsvariablen oft problematisch sind. Gemeint ist, dass Erwartungen oft nicht existieren. Gibt es eine einfache, allgemeine Erklärung

Die negative Binomialverteilung (NB) ist für nicht negative ganze Zahlen definiert und hat die WahrscheinlichkeitsmassenfunktionIst es sinnvoll, eine kontinuierliche Verteilung auf nicht negative Reelle zu betrachten, die durch dieselbe Formel definiert sind (wobei durch )? Der Binomialkoeffizient...