Als «information-theory» getaggte Fragen

Ein Zweig der Mathematik / Statistik, der zur Bestimmung der Informationstragfähigkeit eines Kanals verwendet wird, unabhängig davon, ob einer für die Kommunikation verwendet wird oder einer, der im abstrakten Sinne definiert ist. Die Entropie ist eine der Maßnahmen, mit denen Informationstheoretiker die Unsicherheit quantifizieren können, die mit der Vorhersage einer Zufallsvariablen verbunden ist.

20
Was sind die korrekten Werte für Präzision und Rückruf in Randfällen?

Präzision ist definiert als: p = true positives / (true positives + false positives) Ist es richtig, dass sich die Genauigkeit 1 nähert true positivesund false positivessich 0 nähert? Gleiche Frage zum Rückruf: r = true positives / (true positives + false negatives) Ich führe derzeit einen...

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon
19
Was ist empirische Entropie?

Bei der Definition gemeinsam typischer Mengen (in "Elemente der Informationstheorie", Kap. 7.6, S. 195) verwenden wir np(xn)=Π n i = 1 p(xi)- 1nLogp ( xn)-1nLog⁡p(xn)-\frac{1}{n} \log{p(x^n)} als empirische Entropie einer Folge mit . Ich bin noch nie auf diese Terminologie gestoßen. Es ist...

information-theory entropy
15
Definition und Ursprung von „Kreuzentropie“

Ohne Quellenangabe definiert Wikipedia die Kreuzentropie der diskreten Verteilungen und alsQPPPQ.QQ H×( S.; Q )= - ∑xp ( x )Logq( x ) .H×(P;Q)=−∑xp(x)log⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Wer hat als Erster mit dieser Menge begonnen? Und wer...

information-theory entropy
15
Qualitativ was ist Kreuzentropie

Diese Frage gibt eine quantitative Definition der Kreuzentropie in Bezug auf ihre Formel. Ich suche nach einer eher fiktiven Definition, sagt Wikipedia: In der Informationstheorie misst die Kreuzentropie zwischen zwei Wahrscheinlichkeitsverteilungen die durchschnittliche Anzahl von Bits, die zum...

entropy information-theory
15
Berechnung des AIC „von Hand“ in R

Ich habe versucht, den AIC einer linearen Regression in R zu berechnen, ohne die AICFunktion zu verwenden: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Allerdings AICgibt einen anderen...

r aic information-theory
15
Was ist die Intuition hinter austauschbaren Proben unter der Nullhypothese?

Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein...

hypothesis-testing permutation-test exchangeability r statistical-significance loess data-visualization normal-distribution pdf ggplot2 kernel-smoothing probability self-study expected-value normal-distribution prior correlation time-series regression heteroscedasticity estimation estimators fisher-information data-visualization repeated-measures binary-data panel-data mathematical-statistics coefficient-of-variation normal-distribution order-statistics regression machine-learning one-class probability estimators forecasting prediction validation finance measurement-error variance mean spatial monte-carlo data-visualization boxplot sampling uniform chi-squared goodness-of-fit probability mixture theory gaussian-mixture regression statistical-significance p-value bootstrap regression multicollinearity correlation r poisson-distribution survival regression categorical-data ordinal-data ordered-logit regression interaction time-series machine-learning forecasting cross-validation binomial multiple-comparisons simulation false-discovery-rate r clustering frequency wilcoxon-mann-whitney wilcoxon-signed-rank r svm t-test missing-data excel r numerical-integration r random-variable lme4-nlme mixed-model weighted-regression power-law errors-in-variables machine-learning classification entropy information-theory mutual-information
14
Wie ist die Differentialentropie zu interpretieren?

Ich habe kürzlich diesen Artikel über die Entropie einer diskreten Wahrscheinlichkeitsverteilung gelesen . Es beschreibt eine nette Art, über Entropie nachzudenken, da die erwartete Anzahl von Bits (zumindest bei Verwendung von in Ihrer Entropiedefinition) zum Codieren einer Nachricht benötigt...

entropy information-theory