Schätzung des Exponentialmodells

10

Ein Exponentialmodell ist ein Modell, das durch die folgende Gleichung beschrieben wird:

yi^=β0eβ1x1i++βkxki

Der gebräuchlichste Ansatz zur Schätzung eines solchen Modells ist die Linearisierung, die leicht durch Berechnung der Logarithmen beider Seiten durchgeführt werden kann. Was sind die anderen Ansätze? Ich interessiere mich besonders für diejenigen, die in einigen Beobachtungen mit umgehen können .yi=0

Update 31.01.2011
Mir ist bewusst, dass dieses Modell keine Null produzieren kann. Ich werde ein wenig erläutern, was ich modelliere und warum ich dieses Modell wähle. Angenommen, wir möchten vorhersagen, wie viel Geld ein Kunde in einem Geschäft ausgibt. Natürlich suchen viele Kunden nur und kaufen nichts, deshalb gibt es 0. Ich wollte kein lineares Modell verwenden, weil es viele negative Werte erzeugt, was keinen Sinn ergibt. Der andere Grund ist, dass dieses Modell wirklich gut funktioniert, viel besser als das lineare. Ich habe einen genetischen Algorithmus verwendet, um diese Parameter zu schätzen, so dass es kein "wissenschaftlicher" Ansatz war. Jetzt möchte ich wissen, wie man mit wissenschaftlicheren Methoden mit Problemen umgeht. Es kann auch angenommen werden, dass die meisten oder sogar alle Variablen binäre Variablen sind.

Tomek Tarczynski
quelle
1
Wenn Ihre Daten Nullen enthalten, ist eine exponentielle Regression möglicherweise nicht angemessen, da das von Ihnen angegebene Modell die Beobachtung von Nullwerten nicht zulässt.
mpiktas

Antworten:

11

Hier gibt es mehrere Probleme.

(1) Das Modell muss explizit probabilistisch sein . In fast allen Fällen gibt es keinen Parametersatz, für den das lhs mit dem rhs für alle Ihre Daten übereinstimmt: Es gibt Residuen. Sie müssen Annahmen über diese Residuen treffen. Erwarten Sie, dass sie im Durchschnitt Null sind? Symmetrisch verteilt sein? Ungefähr normal verteilt sein?

Hier sind zwei Modelle, die mit dem angegebenen übereinstimmen, jedoch ein drastisch unterschiedliches Restverhalten zulassen (und daher normalerweise zu unterschiedlichen Parameterschätzungen führen). Sie können diese Modelle variieren, indem Sie die Annahmen über die gemeinsame Verteilung von variieren :ϵi

A: yi=β0exp(β1x1i++βkxki+ϵi)
B: yi=β0exp(β1x1i++βkxki)+ϵi.

(Beachten Sie, dass dies Modelle für die Daten . Normalerweise gibt es keinen geschätzten Datenwert .)yiyi^

(2) Die Notwendigkeit, Nullwerte für die ys zu behandeln, impliziert, dass das angegebene Modell (A) sowohl falsch als auch unangemessen ist , da es keinen Nullwert erzeugen kann, unabhängig davon, wie groß der Zufallsfehler ist. Das zweite Modell über (B) erlaubt null (oder sogar negative) Werte von ys. Man sollte jedoch nicht nur auf dieser Grundlage ein Modell auswählen. Um noch einmal # 1 zu wiederholen: Es ist wichtig, die Fehler einigermaßen gut zu modellieren.

(3) Die Linearisierung verändert das Modell . Typischerweise führt dies zu Modellen wie (A), aber nicht wie (B). Es wird von Personen verwendet, die ihre Daten ausreichend analysiert haben, um zu wissen, dass diese Änderung die Parameterschätzungen nicht nennenswert beeinflusst, und von Personen, die nicht wissen, was passiert. (Es ist oft schwierig, den Unterschied zu erkennen.)

(4) Ein üblicher Weg, um mit der Möglichkeit eines Nullwerts umzugehen, besteht darin, vorzuschlagen, dass (oder eine erneute Expression davon, wie die Quadratwurzel) eine streng positive Chance von gleich Null hat. Mathematisch mischen wir eine Punktmasse (eine "Delta-Funktion") mit einer anderen Verteilung. Diese Modelle sehen folgendermaßen aus:y

f(yi)F(θ);θj=βj0+βj1x1i++βjkxki

Dabei ist einer der im Vektor implizierten Parameter , eine Familie parametrisierter Verteilungen durch , und ist die Reexpression der ‚s (die "Link" Funktion eines verallgemeinerten linearen Modells: onestop Antwort sehen). (Natürlich ist dann = wenn ) Beispiele sind die Poisson- und Negativ-Binomial-Modelle ohne Inflation .PrFθ[f(Y)=0]=θj+1>0θFθ1,,θjfyPrFθ[f(Y)t](1θj+1)Fθ(t)t0

(5) Die Fragen der Konstruktion und Anpassung eines Modells sind verwandt, aber unterschiedlich . Als einfaches Beispiel kann sogar ein gewöhnliches Regressionsmodell auf viele Arten mittels kleinster Quadrate angepasst werden (was dieselben Parameterschätzungen wie Maximum Likelihood und fast dieselben Standardfehler ergibt). iterativ neu gewichtete kleinste Quadrate , verschiedene andere Formen von " robusten kleinsten Quadraten " usw. Die Wahl der Anpassung basiert häufig auf Bequemlichkeit, Zweckmäßigkeit ( z. B. Verfügbarkeit von Software), Vertrautheit, Gewohnheit oder Konvention, aber zumindest sollten einige Überlegungen angestellt werden gegeben, was für die angenommene Verteilung der Fehlerterme angemessen ist , auf was dieY=β0+β1X+ϵϵiVerlustfunktion für das Problem könnte vernünftigerweise sein und die Möglichkeit, zusätzliche Informationen zu nutzen (wie eine vorherige Verteilung für die Parameter).

whuber
quelle
10

Dies ist ein verallgemeinerte lineares Modell (GLM) mit einer Log - Link - Funktion .

Jede Wahrscheinlichkeitsverteilung auf mit einer Dichte ungleich Null bei Null behandelt in einigen Beobachtungen ; Am häufigsten ist die Poisson-Verteilung, die zu einer Poisson-Regression führt , auch bekannt als log-lineare Modellierung. Eine andere Wahl wäre eine negative Binomialverteilung .[0,)yi=0

Wenn Sie keine Zähldaten haben oder wenn nicht ganzzahlige Werte annimmt, können Sie weiterhin das Framework verallgemeinerter linearer Modelle verwenden, ohne eine Verteilung für vollständig anzugeben, sondern stattdessen Geben Sie nur die Beziehung zwischen Mittelwert und Varianz unter Verwendung der Quasi-Wahrscheinlichkeit an . P ( y i | x )yiP(yi|x)

ein Stop
quelle
Schade, dass mir an der Universität noch nichts darüber beigebracht wurde: / Es sieht so aus, als wäre das in diesem Fall hilfreich, aber ich brauche etwas Zeit, um mich eingehend mit Details zu befassen. Vielen Dank!
Tomek Tarczynski
Beachten Sie, dass immer auf ganzzahlige Werte kann, wenn es rational ist, z. B. Pence / Cent anstelle von Pfund / Dollar messen. Obwohl Sie vielleicht trotzdem auf das nächste Pfund / Dollar runden möchten, da die Verteilung des Pence / Cent-Teils des Warenpreises wahrscheinlich sehr ungleichmäßig sein wird (dh meistens 99). yi
James
3

Sie können immer nichtlineare kleinste Quadrate verwenden . Dann wird Ihr Modell sein:

yi=β0exp(β1x1i+...+βkxki)+εi

Die Nullen in dann als Abweichungen vom nichtlinearen Trend behandelt.yi

mpiktas
quelle
Was ist mit den Anfangswerten der Parameter? Was ist ein guter Weg, um sie zu wählen? Wie ich in einem Update angegeben habe, kann davon ausgegangen werden, dass es keine kontinuierlichen Variablen gibt.
Tomek Tarczynski
@Tomek, ich denke, es gibt keinen guten Weg, sie auszuwählen. Normalerweise hängt es von den Daten ab. Ich schlage Mittelwert für den Achsenabschnitt und Null für andere Koeffizienten vor.
mpiktas