Definition der Familie einer Distribution?

14

Hat eine Familie einer Distribution eine andere Definition für Statistik als in anderen Disziplinen?

Im Allgemeinen ist eine Kurvenfamilie ein Satz von Kurven, von denen jede durch eine Funktion oder Parametrisierung gegeben ist, in der einer oder mehrere der Parameter variiert werden. Solche Familien werden beispielsweise zur Charakterisierung von elektronischen Bauteilen verwendet .

Für die Statistik ergibt sich eine Familie nach einer Quelle aus der Variation des Formparameters. Wie können wir dann verstehen, dass die Gammaverteilung einen Form- und Skalierungsparameter hat und nur die generalisierte Gammaverteilung zusätzlich einen Standortparameter hat? Ist die Familie dann das Ergebnis einer Änderung des Standortparameters? Laut @whuber ist die Bedeutung einer Familie implizit. Eine "Parametrisierung" einer Familie ist eine kontinuierliche Abbildung aus einer Teilmenge von ℝ n mit seiner üblichen Topologie in den Verteilungsraum, dessen Bild diese Familie ist.n

Was ist in einfacher Sprache eine Familie für statistische Verteilungen?

Die Frage nach den Beziehungen zwischen den statistischen Eigenschaften von Verteilungen derselben Familie hat bereits zu erheblichen Kontroversen über eine andere Frage geführt, weshalb es sich zu lohnen scheint, die Bedeutung zu untersuchen.

Daß dies nicht unbedingt eine einfache Frage ist, ergibt sich aus der Verwendung des Ausdrucks Exponentialfamilie , der nichts mit einer Kurvenfamilie zu tun hat, sondern mit der Änderung der PDF-Form einer Verteilung durch Neuparametrisierung nicht nur von Parametern aber auch die Ersetzung von Funktionen unabhängiger Zufallsvariablen.

Carl
quelle
1
Meinen Sie mit der Formulierung "Familie einer Distribution" etwas anderes "eine Familie von Distributionen"? Eine Exponentialfamilie ist eine Familie von Verteilungen (mit bestimmten Eigenschaften). Wird die PDF-Datei jeder Verteilung als Kurve interpretiert, entspricht sie sogar einer Kurvenfamilie, sodass die letzten Absätze verwirrt erscheinen.
Juho Kokkala
@JuhoKokkala Es scheint verwirrend, weil die Bedeutung von "Familie" kontextabhängig ist. Beispielsweise liegt eine Normalverteilung von unbekanntem Mittelwert und bekannter Varianz in der Exponentialfamilie. Eine Normalverteilung hat eine unendliche Unterstützung ( - , + )(,+) , und eine Exponentialverteilung hat eine halb-unendliche Unterstützung ( [ 0 , + )[0,+) , so dass es keine Kurvenfamilie für eine Exponentialverteilung gibt, die den Bereich einer Normalen abdeckt Verteilung, sie haben nie die gleiche Form ...
Carl
@JuhoKokkala ... und ein exponentielles PDF hat nicht einmal einen Standortparameter, wohingegen eine Normalverteilung nicht auf einen verzichten kann. Unter dem obigen Link finden Sie die benötigten Substitutionen und den Kontext, in dem sich ein normales PDF in der Exponentialfamilie befindet.
Carl
1
stats.stackexchange.com/questions/129990/… kann relevant sein. "Die Normalverteilung von unbekanntem Mittelwert und bekannter Varianz liegt in der Exponentialfamilie" ist meines Wissens ein Missbrauch der Terminologie (obwohl etwas verbreitet). Um genau zu sein, ist eine Exponentialfamilie eine Familie von Verteilungen mit bestimmten Eigenschaften. Die Familie der Normalverteilungen mit unbekanntem Mittelwert und bekannter Varianz ist eine Exponentialfamilie; Die Familie der Exponentialverteilungen ist eine weitere Exponentialfamilie usw.
Juho Kokkala
1
@JuhoKokkala: Diese "Familie" wird in einem speziellen Fall so häufig (ab) verwendet, dass sie "Familiengruppe" bedeutet. Vielleicht lohnt es sich, eine andere Antwort zu finden. (Ich kann mir keine anderen Fälle
vorstellen -

Antworten:

14

Das statistische und das mathematische Konzept sind genau gleich, wobei "Familie" ein allgemeiner mathematischer Begriff mit technischen Variationen ist, die an verschiedene Umstände angepasst sind:

Eine parametrische Familie ist eine Kurve (oder eine Oberfläche oder eine andere endliche Verallgemeinerung davon) im Raum aller Verteilungen.

Der Rest dieses Beitrags erklärt, was das bedeutet. Abgesehen davon halte ich nichts davon für kontrovers, weder mathematisch noch statistisch (abgesehen von einem kleinen Problem, das unten erwähnt wird). Zur Unterstützung dieser Meinung habe ich viele Verweise geliefert (hauptsächlich auf Wikipedia-Artikel).


Diese Terminologie von „Familien“ neigt dazu verwendet werden , wenn Klassen Studium C YCY von Funktionen in einen Satz YY oder „Karten“ . Bei gegebener Domäne XX ist eine Familie FF von Karten auf XX , die durch eine Menge ΘΘ (die "Parameter") parametrisiert sind, eine Funktion

F : X × Θ Y

F:X×ΘY

für die (1) für jedes θ & THgr;θΘ ist die Funktion F θ : X YFθ:XY gegeben durch F θ ( x ) = F ( x , θ )Fθ(x)=F(x,θ) ist in C YCY und (2) FF selbst bestimmte "nett" Eigenschaften hat.

Die Idee ist, dass wir Funktionen von XX nach YY. auf "glatte" oder kontrollierte Weise variieren wollen . Eigenschaft (1) bedeutet, dass jedes &θ thgr; eine solche Funktion bezeichnet, während die Details von Eigenschaft (2) den Sinn erfassen, in dem eine "kleine" Änderung von &θ thgr; eine ausreichend "kleine" Änderung von F & thgr; induziert Fθ.

Ein mathematisches Standardbeispiel, das dem in der Frage genannten nahe kommt, ist eine Homotopie . In diesem Fall ist C Y die Kategorie kontinuierlicher Karten von topologischen Räumen X in den topologischen Raum Y ; Θ = [ 0 , 1 ] R ist das Einheitsintervall mit seiner üblichen Topologie, und wir fordern, dass F eine kontinuierliche Abbildung vom topologischen Produkt X × Θ in Y ist . Es kann als "kontinuierliche Verformung der Karte F" angesehen werdenCY. XYΘ=[0,1]RFX×ΘY0 bis F 1. "Wenn X =Kurvenin Y und die Homotopie ist eine sanfte Verformung von einer Kurve zur anderen.F0F1[ 0 , 1 ] ist selbst ein Intervall, solche Karten sindX=[0,1]Y

Für statistische Anwendungen ist C Y die Menge aller Verteilungen auf R (oder in der Praxis auf R n für einige n , aber um die Darstellung einfach zu halten, werde ich mich auf n = 1 konzentrieren ). Wir können es mit der Menge aller nicht abnehmenden càdlàg- Funktionen R[ 0 , 1 ] identifizieren , wobei der Abschluss ihres Bereichs sowohl 0 als auch 1CYRRnnn = 1R[0,1]01 : Dies sind die kumulativen Verteilungsfunktionen oder einfach Verteilungsfunktionen. Somit X = R undX=RY = [ 0 , 1 ] .Y=[0,1]

Eine Familie von Verteilungen ist eine beliebige Teilmenge von C Y . CY Ein anderer Name für eine Familie ist das statistische Modell. Es besteht aus allen Verteilungen, von denen wir annehmen, dass sie unsere Beobachtungen steuern, aber wir wissen nicht, welche Verteilung die tatsächliche ist.

  • Eine Familie kann leer sein.
  • C Y selbst ist eine Familie.CY
  • Eine Familie kann aus einer einzelnen Verteilung oder nur einer begrenzten Anzahl von ihnen bestehen.

Diese abstrakten satztheoretischen Eigenschaften sind von relativ geringem Interesse oder Nutzen. Nur wenn wir zusätzliche (relevante) mathematische Strukturen auf C Y betrachten , wird dieses Konzept nützlich. Aber welche Eigenschaften von C YCYCY sind von statistischem Interesse? Einige, die häufig auftauchen, sind:

  1. C Y ist einekonvexe Menge: Wenn zwei beliebige Verteilungen F , G C Y gegeben sind , können wir dieMischungsverteilung(1-t) F +t GYfür allet[0,1] bilden. Dies ist eine Art "Homotopie" vonFnachGCYF,GCY (1t)F+tGYt[0,1]FG .

  2. Große Teile von C Y unterstützen verschiedene Pseudo-Metriken, wie zum Beispiel die Kullback-Leibler-DivergenzCY oder die eng verwandte Fisher-Information-Metrik.

  3. C Y hat eine additive Struktur: entspricht zwei beliebigen VerteilungenFundGihre Summe, F G .CYFGFG

  4. C Y unterstützt viele nützliche natürliche Funktionen, die oft als "Eigenschaften" bezeichnet werden. Dazu gehören alle festen Quantile (wie der Median) sowie dieKumulanten.CY

  5. CYCY is a subset of a function space. As such, it inherits many useful metrics, such as the sup norm (LL norm) given by ||FG||=supxR|F(x)G(x)|.

    ||FG||=supxR|F(x)G(x)|.
  6. Natural group actions on RR induce actions on CYCY. The commonest actions are translations Tμ:xx+μTμ:xx+μ and scalings Sσ:xxσSσ:xxσ for σ>0σ>0. The effect these have on a distribution is to send FF to the distribution given by Fμ,σ(x)=F((xμ)/σ)Fμ,σ(x)=F((xμ)/σ). These lead to the concepts of location-scale families and their generalizations. (I don't supply a reference, because extensive Web searches turn up a variety of different definitions: here, at least, may be a tiny bit of controversy.)

The properties that matter depend on the statistical problem and on how you intend to analyze the data. Addressing all the variations suggested by the preceding characteristics would take too much space for this medium. Let's focus on one common important application.

Take, for instance, Maximum Likelihood. In most applications you will want to be able to use Calculus to obtain an estimate. For this to work, you must be able to "take derivatives" in the family.

(Technical aside: The usual way in which this is accomplished is to select a domain ΘRdΘRd for d0d0 and specify a continuous, locally invertible function pp from ΘΘ into CYCY. (This means that for every θΘθΘ there exists a ball B(θ,ϵ)B(θ,ϵ), with ϵ>0ϵ>0 for which pB(θ,ϵ):B(θ,ϵ)ΘCYpB(θ,ϵ):B(θ,ϵ)ΘCY is one-to-one. In other words, if we alter θθ by a sufficiently small amount we will always get a different distribution.))

Consequently, in most ML applications we require that pp be continuous (and hopefully, almost everywhere differentiable) in the ΘΘ component. (Without continuity, maximizing the likelihood generally becomes an intractable problem.) This leads to the following likelihood-oriented definition of a parametric family:

A parametric family of (univariate) distributions is a locally invertible map F:R×Θ[0,1],

F:R×Θ[0,1],
with ΘRnΘRn, for which (a) each FθFθ is a distribution function and (b) for each xRxR, the function Lx:θ[0,1]Lx:θ[0,1] given by Lx(θ)=F(x,θ)Lx(θ)=F(x,θ) is continuous and almost everywhere differentiable.

Note that a parametric family FF is more than just the collection of FθFθ: it also includes the specific way in which parameter values θθ correspond to distributions.

Let's end up with some illustrative examples.

  • Let CYCY be the set of all Normal distributions. As given, this is not a parametric family: it's just a family. To be parametric, we have to choose a parameterization. One way is to choose Θ={(μ,σ)R2σ>0}Θ={(μ,σ)R2σ>0} and to map (μ,σ)(μ,σ) to the Normal distribution with mean μμ and variance σ2σ2.

  • The set of Poisson(λ)(λ) distributions is a parametric family with λΘ=(0,)R1λΘ=(0,)R1.

  • The set of Uniform(θ,θ+1)(θ,θ+1) distributions (which features prominently in many textbook exercises) is a parametric family with θR1θR1. In this case, Fθ(x)=max(0,min(1,xθ))Fθ(x)=max(0,min(1,xθ)) is differentiable in θθ except for θ{x,x1}θ{x,x1}.

  • Let FF and GG be any two distributions. Then F(x,θ)=(1θ)F(x)+θG(x)F(x,θ)=(1θ)F(x)+θG(x) is a parametric family for θ[0,1]θ[0,1]. (Proof: the image of FF is a set of distributions and its partial derivative in θθ equals F(x)+G(x)F(x)+G(x) which is defined everywhere.)

  • The Pearson family is a four-dimensional family, ΘR4ΘR4, which includes (among others) the Normal distributions, Beta distributions, and Inverse Gamma distributions. This illustrates the fact that any one given distribution may belong to many different distribution families. This is perfectly analogous to observing that any point in a (sufficiently large) space may belong to many paths that intersect there. This, together with the previous construction, shows us that no distribution uniquely determines a family to which it belongs.

  • The family CYCY of all finite-variance absolutely continuous distributions is not parametric. The proof requires a deep theorem of topology: if we endow CYCY with any topology (whether statistically useful or not) and p:ΘCYp:ΘCY is continuous and locally has a continuous inverse, then locally CYCY must have the same dimension as that of Θ. However, in all statistically meaningful topologies, CY is infinite dimensional.

whuber
quelle
2
It will take me about a day to digest your answer. I will have to chew slowly. Meanwhile, thank you.
Carl
(+1) OK, I slogged through it. So is F:R×Θ[0,1] a Polish space or not? Can we do a simple answer so people know how to avoid using the word family improperly, please. @JuhoKokkala related, for example, that Wikipedia abused language in their exponential family, that needs clarification.
Carl
1
Doesn't the second sentence of this answer serve that request for simplicity?
whuber
IMHO, however uninformed, no, it does not due to incompleteness, it doesn't say what a family isn't. The concept "in the space of all distributions" seems to relate to statistics only.
Carl
1
I have accepted your answer. You have enough information in it that I could apply it to the question in question.
Carl
1

To address a specific point brought up in the question: "exponential family" does not denote a set of distributions. (The standard, say, exponential distribution is a member of the family of exponential distributions, an exponential family; of the family of gamma distributions, also an exponential family; of the family of Weibull distributions, not an exponential family; & of any number of other families you might dream up.) Rather, "exponential" here refers to a property possessed by a family of distributions. So we shouldn't talk of "distributions in the exponential family" but of "exponential families of distributions"—the former is an abuse of terminology, as @JuhoKokkala points out. For some reason no-one commits this abuse when talking of location–scale families.

Scortchi - Reinstate Monica
quelle
0

Thanks to @whuber there is enough information to summarize in what I hope is a simpler form relating to the question from which this post arose. "Another name for a family [Sic, statistical family] is [a] statistical model."

From that Wikipedia entry: A statistical model consists of all distributions that we suppose govern our observations, but we do not otherwise know which distribution is the actual one. What distinguishes a statistical model from other mathematical models is that a statistical model is non-deterministic. Thus, in a statistical model specified via mathematical equations, some of the variables do not have specific values, but instead have probability distributions; i.e., some of the variables are stochastic. A statistical model is usually thought of as a pair (S,P), where S is the set of possible observations, i.e., the sample space, and P is a set of probability distributions on S.

Suppose that we have a statistical model (S,P) with P={Pθ:θΘ}. The model is said to be a Parametric model if Θ has a finite dimension. In notation, we write that ΘRd where d is a positive integer (R denotes the real numbers; other sets can be used, in principle). Here, d is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that
P={Pμ,σ(x)12πσexp((xμ)22σ2):μR,σ>0}.

In this example, the dimension, d, equals 2, end quote.

Thus, if we reduce the dimensionality by assigning, for the example above, μ=0, we can show a family of curves by plotting σ=1,2,3,4,5 or whatever choices for σ.

Carl
quelle