Faustregeln für „moderne“ Statistiken

85

Ich mag G van Belles Buch über statistische Faustregeln und in geringerem Maße allgemeine Fehler in der Statistik (und wie man sie vermeidet) von Phillip I Good und James W. Hardin. Sie adressieren häufige Fallstricke bei der Interpretation von Ergebnissen aus experimentellen Studien und Beobachtungsstudien und geben praktische Empfehlungen für statistische Schlussfolgerungen oder explorative Datenanalysen. Ich bin jedoch der Meinung, dass "moderne" Leitlinien etwas fehlen, insbesondere angesichts des zunehmenden Einsatzes von rechnergestützten und robusten Statistiken in verschiedenen Bereichen oder der Einführung von Techniken aus der Community des maschinellen Lernens, z. B. in der klinischen Biostatistik oder der genetischen Epidemiologie.

Abgesehen von Rechentricks oder häufigen Fallstricken bei der Datenvisualisierung, die an anderer Stelle behoben werden könnten, möchte ich fragen: Welche Faustregeln würden Sie für eine effiziente Datenanalyse empfehlen? ( eine Regel pro Antwort, bitte ).

Ich denke an Richtlinien, die Sie einem Kollegen, einem Forscher ohne fundierten Hintergrund in der statistischen Modellierung oder einem Studenten im Mittel- bis Fortgeschrittenenkurs geben könnten. Dies kann verschiedene Phasen der Datenanalyse betreffen, z. B. Stichprobenstrategien, Merkmalsauswahl oder Modellbildung, Modellvergleich, Nachschätzung usw.

chl
quelle

Antworten:

62

Vergessen Sie nicht, einige grundlegende Datenprüfungen durchzuführen, bevor Sie mit der Analyse beginnen. Sehen Sie sich insbesondere ein Streudiagramm aller Variablen an, die Sie mit der ID-Nummer, dem Datum / der Uhrzeit der Datenerfassung oder ähnlichem vergleichen möchten. Das Auge kann häufig Muster erkennen, die Probleme aufzeigen, wenn die zusammenfassende Statistik nichts Ungewöhnliches anzeigt. Wenn Sie ein Protokoll oder eine andere Transformation für die Analyse verwenden möchten, verwenden Sie sie auch für das Diagramm.

ein Stop
quelle
6
Ich habe das auf die harte Tour gelernt. Zweimal.
16:38 Uhr
2
Ja! Schauen Sie vor dem Sprung. Bitte schauen Sie sich die Daten an.
VQV
7
Die visuelle Prüfung der Daten kann einen Fehler vom Typ I verursachen, wenn Entscheidungen nachträglich getroffen werden. Ich neige dazu, Bestätigungsanalysen durchzuführen, da diese zuvor spezifiziert wurden und Ergebnisse, die durch die Inspektion beeinflusst wurden, als Explorations- oder Sensitivitätsanalysen enthalten.
AdamO
51

Halten Sie Ihre Analyse reproduzierbar. Ein Gutachter, Ihr Chef oder eine andere Person werden Sie eventuell fragen, wie genau Sie zu Ihrem Ergebnis gekommen sind - wahrscheinlich sechs Monate oder länger, nachdem Sie die Analyse durchgeführt haben. Sie werden sich nicht erinnern, wie Sie die Daten bereinigt haben, welche Analyse Sie durchgeführt haben, warum Sie das von Ihnen verwendete Modell ausgewählt haben ... Und all dies zu rekonstruieren ist ein Schmerz.

Fazit: Verwenden Sie eine Skriptsprache, fügen Sie Kommentare in Ihre Analyseskripte ein und behalten Sie sie bei. Was Sie verwenden (R, SAS, Stata, was auch immer), ist weniger wichtig als ein vollständig reproduzierbares Skript. Lehnen Sie Umgebungen ab, in denen dies unmöglich oder umständlich ist.

Stephan Kolassa
quelle
24
Wenn Sie R verwenden möchten, empfehlen wir Ihnen, Ihren R-Code in ein Sweave-Dokument einzubetten, das Ihren Bericht erstellt. Auf diese Weise bleibt der R-Code im Bericht.
John D. Cook
36

Es gibt kein freies Mittagessen

Ein großer Teil der statistischen Fehler wird durch Klicken auf eine große glänzende Schaltfläche namens "Signifikanz berechnen" erzeugt, ohne die Last der versteckten Annahmen zu berücksichtigen.

Wiederholen

Selbst wenn ein einzelner Anruf an einen Zufallsgenerator beteiligt ist, kann man Glück oder Pech haben und so zu den falschen Schlussfolgerungen springen.

user88
quelle
29

Eine Regel pro Antwort ;-)

Sprechen Sie mit dem Statistiker, bevor Sie die Studie durchführen. Wenn möglich, bevor Sie den Zuschuss beantragen. Helfen Sie ihm, das Problem zu verstehen, das Sie gerade untersuchen, und geben Sie ihm Anregungen für die Analyse der zu sammelnden Daten. Überlegen Sie sich, was dies für Ihr Studiendesign und Ihre Datenanforderungen bedeutet. Vielleicht schlägt der Statistiker / die Statistikerin vor, ein hierarchisches Modell zu erstellen, um zu berücksichtigen, wer die Patienten diagnostiziert hat - dann müssen Sie nachverfolgen, wer wen diagnostiziert hat. Klingt trivial, aber es ist weitaus besser, darüber nachzudenken, bevor Sie Daten erfassen (und etwas Entscheidendes nicht erfassen), als danach.

Hinweis: Führen Sie vor dem Start eine Leistungsanalyse durch. Nichts ist so frustrierend wie das Fehlen eines Budgets für eine ausreichend große Stichprobe. Denken Sie beim Überlegen, welche Effektgröße Sie erwarten, an die Publikationsverzerrung - die Effektgröße, die Sie finden werden, wird wahrscheinlich kleiner sein, als Sie es in der (voreingenommenen) Literatur erwartet haben.

Stephan Kolassa
quelle
28

Eine Sache, die ich meinen Schülern sage, ist, für jeden p-Wert ein geeignetes Diagramm zu erstellen. zB ein Streudiagramm, wenn sie die Korrelation testen, nebeneinanderliegende Boxplots, wenn sie eine Einweg-ANOVA durchführen, usw.

Rob Hyndman
quelle
28

Wenn Sie sich für zwei Methoden zur Analyse Ihrer Daten entscheiden, versuchen Sie es auf beide Arten und prüfen Sie, ob dies einen Unterschied macht.

Dies ist in vielen Zusammenhängen nützlich:

  • Transformieren oder nicht transformieren
  • Nicht parametrischer oder parametrischer Test
  • Spearmans oder Pearsons Korrelation
  • PCA oder Faktoranalyse
  • Gibt an, ob das arithmetische Mittel oder eine robuste Schätzung des Mittelwerts verwendet werden soll
  • Ob eine Kovariate aufgenommen werden soll oder nicht
  • Gibt an, ob das listenweise Löschen, das paarweise Löschen, die Imputation oder eine andere Methode zum Ersetzen fehlender Werte verwendet werden soll

Dies sollte nicht dazu führen, dass man sich mit dem Thema auseinandersetzt, aber es vermittelt zumindest einen Eindruck davon, inwieweit substanzielle Erkenntnisse für die Auswahl robust sind.

Jeromy Anglim
quelle
4
Ist es ein Zitat? Ich frage mich nur, wie das Ausprobieren alternativer Testverfahren (keine Analysestrategien!) Die Kontrolle über Typ-I-Fehler oder die anfängliche Leistungsberechnung nicht ein wenig beeinträchtigen kann. Ich weiß, dass SAS systematisch Ergebnisse aus parametrischen und nicht-parametrischen Tests zurückgibt (zumindest beim Vergleich von Mittelwerten und ANOVA in zwei Stichproben), aber ich finde das immer interessant: Sollten wir nicht entscheiden, welcher Test angewendet werden soll, bevor wir die Ergebnisse sehen?
chl
4
@chl guter Punkt. Ich bin damit einverstanden, dass die oben genannte Faustregel aus den falschen Gründen angewendet werden kann. Das heißt, Dinge auf verschiedene Arten auszuprobieren und nur das Ergebnis zu melden, das die angenehmere Antwort liefert. Ich halte die Faustregel für ein nützliches Datenanalystentraining, um die Auswirkung von Analyseentscheidungen auf inhaltliche Schlussfolgerungen zu erlernen. Ich habe gesehen, dass sich viele Schüler bei Entscheidungen verirrt haben, insbesondere wenn es in der Literatur konkurrierende Ratschläge gibt (z. B. umzuwandeln oder nicht umzuwandeln), die oft nur minimalen Einfluss auf die inhaltlichen Schlussfolgerungen haben.
Jeromy Anglim
1
@chl nein, es ist kein Zitat. Aber ich fand es gut, die Faustregel von ihren Begründungen und Vorbehalten abzugrenzen. Ich habe es in Fettdruck geändert, um es deutlich zu machen.
Jeromy Anglim
1
Ok, für mich ist es sinnvoll, verschiedene Transformationen auszuprobieren und zu prüfen, ob dies eine bessere Möglichkeit bietet, die untersuchten Beziehungen zu erklären. was ich nicht verstehe, ist, verschiedene Analysestrategien auszuprobieren, obwohl es derzeit üblich ist (aber nicht in veröffentlichten Artikeln berichtet wird :-), esp. Wenn sie auf unterschiedlichen Annahmen beruhen (bei EFA und PCA wird ein zusätzlicher Fehlerterm angenommen; bei nichtparametrischen und parametrischen Tests werden Teile der Annahmen usw. verworfen). Aber ich stimme zu, dass die Abgrenzung zwischen explorativer und bestätigender Analyse nicht so klar ist ...
chl
2
Dies scheint mir nur für die explorative Analyse oder während der Schulungs- und Validierungsschritte nützlich zu sein. Sie werden immer einen abschließenden Überprüfungsschritt benötigen, sonst könnten Sie sich durch bestimmte signifikante Ergebnisse täuschen, die gut funktionieren, sobald Sie einen gewünschten Unterschied gemäß Ihrer "subjektiven" Überzeugung festgestellt haben . Wer soll beurteilen, welche Methode besser funktioniert? Ich persönlich, wenn ich andere Methoden bezweifle, dann teste ich es auf simulierten Daten, um solche Dinge wie Varianz der Schätzer oder Robustheit usw. zu testen.
Martijn Weterings
22

Stellen Sie Ihre Daten in Frage. In der modernen Ära billigen Arbeitsspeichers arbeiten wir häufig mit großen Datenmengen. Ein "Fettfinger" -Fehler oder eine "verlorene Dezimalstelle" kann eine Analyse leicht dominieren. Ohne eine grundlegende Überprüfung der Integrität (oder das Zeichnen der Daten, wie von anderen hier vorgeschlagen) kann viel Zeit verschwendet werden. Dies schlägt auch die Verwendung einiger grundlegender Techniken für die Robustheit gegenüber Ausreißern vor.

shabbychef
quelle
2
Fazit: Prüfen Sie, ob jemand einen fehlenden Wert als "9999" anstelle von "NA" codiert hat. Wenn Ihre Software diesen Wert zum Nennwert verwendet, wird Ihre Analyse durcheinander gebracht.
Stephan Kolassa
21

Verwenden Sie eine Software, die die Kette der Programmierlogik von den Rohdaten bis zu den endgültigen Analysen / Ergebnissen zeigt. Vermeiden Sie Software wie Excel, bei der ein Benutzer in einer Zelle einen nicht nachweisbaren Fehler machen kann, der nur durch manuelle Überprüfung erkannt wird.


quelle
1
VisTrails ist ein System, das diesen Prozess unterstützt. (Ich habe nur Homebrew-Systeme verwendet. Gemeinsame Gruppenziele sind wichtiger als ein bestimmtes Tool.)
Denis
18

Fragen Sie sich immer: "Was bedeuten diese Ergebnisse und wie werden sie verwendet?"

In der Regel dient die Verwendung von Statistiken dazu, Entscheidungen unter Unsicherheit zu treffen. Deshalb ist es wichtig, im Kopf zu haben: "Welche Entscheidungen werden als Ergebnis dieser Analyse getroffen und wie wird diese Analyse diese Entscheidungen beeinflussen?" (z. B. einen Artikel veröffentlichen, die Verwendung einer neuen Methode empfehlen, Y eine Finanzierung in Höhe von X USD gewähren, weitere Daten abrufen, eine geschätzte Menge als E angeben usw. usw. usw.)

Wenn Sie das Gefühl haben, dass keine Entscheidung getroffen werden muss, fragt man sich, warum Sie die Analyse überhaupt erst durchführen (da die Analyse ziemlich teuer ist). Ich betrachte Statistik als ein "Ärgernis", da sie eher ein Mittel zum Zweck als zum Zweck selbst ist. Meines Erachtens quantifizieren wir nur die Unsicherheit, damit wir Entscheidungen treffen können, die diese Unsicherheit präzise erklären.

Ich denke, dies ist ein Grund, warum es im Allgemeinen eine gute Strategie ist, die Dinge einfach zu halten, da es in der Regel viel einfacher ist, eine einfache Lösung mit der realen Welt (und damit dem Umfeld, in dem die Entscheidung getroffen wird) in Beziehung zu setzen, als die komplexe Lösung . In der Regel ist es auch einfacher, die Grenzen der einfachen Antwort zu verstehen. Sie wechseln dann zu den komplexeren Lösungen, wenn Sie die Grenzen der einfachen Lösung kennen und wissen, wie die komplexe Lösung diese angeht.

Wahrscheinlichkeitslogik
quelle
3
Ich bin mit allem einverstanden, außer mit dem Gedanken, die Dinge einfach zu halten. Einfachheit oder Komplexität sollten für mich eine Funktion der Kosten einer unkorrekten Entscheidung sein, die Sie eloquent erklärt haben. Einfachheit kann in einem Bereich vernachlässigbare Kosten verursachen (z. B. die Lieferung der falschen Anzeige an einen Kunden) und in einem anderen Bereich ganz andere Kosten verursachen (die falsche Behandlung eines Patienten).
Thomas Speidel
18

Es kann eine lange Liste geben, um nur einige zu nennen: (in keiner bestimmten Reihenfolge)

  1. P-Wert ist NICHT Wahrscheinlichkeit. Insbesondere ist es nicht die Wahrscheinlichkeit, einen Fehler vom Typ I zu begehen. Ebenso haben CIs keine wahrscheinlichkeitstheoretische Interpretation für die angegebenen Daten. Sie sind für wiederholte Versuche anwendbar.

  2. Das Problem der Varianz dominiert die meiste Zeit in der Praxis, daher ist eine voreingenommene Schätzung mit geringer Varianz besser als eine unvoreingenommene Schätzung mit großer Varianz (die meiste Zeit).

  3. Die Modellanpassung ist ein iterativer Prozess. Bevor Sie die Daten analysieren, müssen Sie die Datenquelle und mögliche Modelle ermitteln, die der Beschreibung entsprechen oder nicht entsprechen. Versuchen Sie auch, alle Entwurfsprobleme in Ihrem Modell zu modellieren.

  4. Verwenden Sie die Visualisierungstools, überprüfen Sie die Daten (auf mögliche Abweichungen, offensichtliche Trends usw. usw., um die Daten zu verstehen), bevor Sie sie analysieren. Verwenden Sie die Visualisierungsmethoden (falls möglich), um zu sehen, wie das Modell zu diesen Daten passt.

  5. Last but not least, verwenden Sie statistische Software für das, wofür sie gemacht sind (um Ihre Rechenaufgabe zu vereinfachen). Sie sind kein Ersatz für menschliches Denken.

Suncoolsu
quelle
14
Ihr Artikel 1 ist falsch: Der P-Wert gibt die Wahrscheinlichkeit an, dass Daten mit der Nullhypothese als extrem oder extremer bewertet werden. Soweit ich weiß , dass bedeutet , dass P ist eine Wahrscheinlichkeit - bedingt aber dennoch eine Wahrscheinlichkeit. Ihre Aussage ist unter den Umständen richtig, dass man innerhalb des Neyman-Pearson-Paradigmas der Fehler arbeitet, aber nicht innerhalb des Fisher-Paradigmas, in dem P-Werte Beweismittel gegen die Nullhypothese sind. Es ist wahr, dass die Paradigmen regelmäßig zu einem inkohärenten Mischmasch gemischt werden, aber beide sind 'korrekt', wenn sie alleine und intakt verwendet werden.
Michael Lew
2
Für Konfidenzintervalle korrigieren Sie wiederum nur innerhalb der Grenzen der neymanischen Konfidenzintervalle. Fisher (und andere vor ihm) entwickelten und verwendeten auch Dinge, die man als Konfidenzintervalle interpretieren würde, und es gibt eine vollkommen gültige Interpretation solcher Intervalle, die sich auf das bestimmte Experiment bezieht, das das Intervall ergibt. Meiner Meinung nach sind sie Neymans weit vorzuziehen. Siehe meine Antwort auf die Frage Diskrete Funktionen: Konfidenzintervallabdeckung? Für weitere Informationen
Michael Lew
@Michael du bist richtig, aber mal sehen: Wie oft ist die Null richtig? Oder besser: Kann jemand beweisen, ob die Null richtig ist? Wir können auch tiefe philosophische Debatten darüber führen, aber darum geht es nicht. In der Qualitätskontrolle Wiederholungen machen Sinn, aber in der Wissenschaft jede gute Entscheidungsregel müssen Daten konditionieren.
Suncoolsu
1
Fisher wusste das (die Konditionierung auf den beobachteten Daten und die Bemerkung zur Qualitätskontrolle basiert darauf). Darauf aufbauend produzierte er viele Gegenbeispiele. Die Bayesianer streiten sich beispielsweise seit mehr als einem halben Jahrhundert darum.
Suncoolsu
1
μ=0
13

Stellen Sie für die Organisation / Verwaltung von Daten sicher, dass beim Generieren neuer Variablen im Dataset (z. B. beim Berechnen des Body-Mass-Index aus Größe und Gewicht) die ursprünglichen Variablen niemals gelöscht werden. Ein zerstörungsfreier Ansatz ist aus Sicht der Reproduzierbarkeit am besten. Sie wissen nie, wann Sie einen Befehl falsch eingeben und anschließend Ihre Variablengenerierung wiederholen müssen. Ohne die ursprünglichen Variablen verlieren Sie viel Zeit!

pmgjones
quelle
11

Denken Sie hart über den zugrunde liegenden Datenerzeugungsprozess (DGP). Wenn das Modell, das Sie verwenden möchten, nicht den DGP widerspiegelt, müssen Sie ein neues Modell suchen.

Jason Morgan
quelle
Woher weißt du, wie kannst du wissen, was die DGP ist? Zum Beispiel führe ich Zeitreihen in einem Bereich durch, in dem ich noch keine gut entwickelte Theorie gesehen habe (warum bestimmte Arten von öffentlichen Ausgaben auftreten). Ich denke nicht, dass es möglich ist, den wahren Prozess in diesem Fall zu kennen.
user54285
8

Für Histogramme eine gute Faustregel für die Anzahl der Fächer in einem Histogramm :

Quadratwurzel der Anzahl der Datenpunkte

doug
quelle
6

Trotz immer größerer Datensätze und leistungsfähigerer Software ist die Überanpassung von Modellen eine große Gefahr für Forscher, insbesondere für diejenigen, die noch nicht durch Überanpassung verbrannt wurden. Überanpassung bedeutet, dass Sie etwas Komplizierteres als Ihre Daten und den Stand der Technik angepasst haben. Wie Liebe oder Schönheit ist es schwer zu definieren, geschweige denn formal zu definieren, aber leichter zu erkennen.

Eine minimale Faustregel sind 10 Datenpunkte für jeden Parameter, der für eine klassische Regression geschätzt wird. Achten Sie auf die Konsequenzen, wenn Sie diese ignorieren. Für andere Analysen benötigen Sie in der Regel viel mehr, um gute Arbeit zu leisten, insbesondere wenn die Daten seltene Kategorien enthalten.

Auch wenn Sie ein Modell problemlos anpassen können, sollten Sie sich ständig Gedanken darüber machen, was es bedeutet und inwieweit es mit einem sehr ähnlichen Datensatz reproduzierbar ist.

Nick Cox
quelle
Dies gilt im Allgemeinen als Faustregel für Modelle, bei denen die Reaktion bedingt normal ist. In anderen Fällen ist es zu liberal. Für die binäre Klassifizierung wäre die entsprechende Faustregel beispielsweise 15 Beobachtungen in der seltener vorkommenden Kategorie für jede Variable. & für die Überlebensanalyse wären es 10 Ereignisse (dh nicht zensierte Daten) für jede Variable.
gung
Genau. Ich bearbeite, aber warum schreibst du nicht deine eigene Faustregel zusammen mit einem erweiterten Kommentar?
Nick Cox
1
Sie sollten den letzten Satz hervorheben. "Auch wenn Sie ein Modell problemlos anpassen können, sollten Sie sich ständig Gedanken darüber machen, was es bedeutet und inwieweit es mit einem sehr ähnlichen Datensatz reproduzierbar ist."
Martijn Weterings,
6

Yt+h(Yt,Xt) t>T(Y1,X1),,(YT,XT)

  1. Yt+h
  2. Yt+hYt

Yt+hYt+Xt

Robin Girard
quelle
5

Wenn das Modell nicht einfach und schnell konvergiert, liegt dies möglicherweise an der Software. Es kommt jedoch viel häufiger vor, dass Ihre Daten nicht für das Modell oder das Modell nicht für die Daten geeignet sind. Es könnte schwer zu sagen sein, welche, und Empiriker und Theoretiker können unterschiedliche Ansichten haben. Aber das Nachdenken über Themen, das genaue Betrachten der Daten und das ständige Nachdenken über die Interpretation des Modells helfen so gut es geht. Versuchen Sie vor allem ein einfacheres Modell, wenn ein kompliziertes nicht konvergiert.

Es bringt nichts, die Konvergenz zu forcieren oder den Sieg zu erklären und Ergebnisse nach vielen Iterationen zu erzielen, aber bevor Ihr Modell wirklich konvergiert hat. Am besten täuscht man sich, wenn man das tut.

Nick Cox
quelle
"Ich schaue mir die Daten wirklich an", es wäre so schön, wenn wir eine NN bekommen, die das für uns erledigt.
Martijn Weterings
Es hieß JWT.
Nick Cox
5

In instrumentellen Variablen überprüft die Regression immer die gemeinsame Bedeutung Ihrer Instrumente. Die Faustregel von Staiger-Stock besagt, dass eine F-Statistik von weniger als 10 besorgniserregend ist und darauf hinweist, dass Ihre Instrumente möglicherweise schwach sind, dh sie sind nicht ausreichend mit der endogenen Variablen korreliert. Dies bedeutet jedoch nicht automatisch, dass ein F über 10 starke Instrumente garantiert. Staiger und Stock (1997) haben gezeigt, dass instrumentelle Variablentechniken wie 2SLS in "kleinen" Stichproben stark verzerrt sein können, wenn die Instrumente nur schwach mit der endogenen Variablen korrelieren. Ihr Beispiel war die Studie von Angrist und Krueger (1991) mit mehr als 300.000 Beobachtungen - eine beunruhigende Tatsache über die Vorstellung von "kleinen" Proben.

Martijn Weterings
quelle
Ich habe den Link zum Artikel hinzugefügt, aber ich glaube, diese Antwort muss noch weiter formatiert werden. Ich fand es zu schwierig, die Faustregel zu betonen, die darauf beruht, dass der Artikel sehr schnell gescannt wird, und diese Antwort ist nicht sehr intuitiv.
Martijn Weterings
3

Es gibt keine Kriterien zur Auswahl von Informationskriterien.

Sobald jemand etwas wie "Das? IC zeigt dies an, aber es ist bekannt, dass es häufig zu falschen Ergebnissen führt" (wo? Ist ein beliebiger Buchstabe, den Sie mögen), wissen Sie, dass Sie auch über das Modell nachdenken müssen und insbesondere, ob es das richtige Modell ist wissenschaftlicher oder praktischer Sinn.

Das kann Ihnen keine Algebra sagen.

Nick Cox
quelle
2

Ich habe das irgendwo gelesen (wahrscheinlich am Kreuz validiert) und konnte es nirgendwo finden, also hier geht's ...

Wenn Sie ein interessantes Ergebnis gefunden haben, ist es wahrscheinlich falsch.

Es ist sehr leicht, sich über einen atemberaubenden p-Wert oder einen nahezu perfekten Kreuzvalidierungsfehler zu freuen. Ich persönlich habe Kollegen ekstatisch großartige (falsche) Ergebnisse präsentiert, nur um sie zurückziehen zu müssen. Meistens, wenn es zu gut aussieht, um wahr zu sein ...

'taint wahr. 'Taint überhaupt wahr.

timwiz
quelle
2

Versuchen Sie, tapfer und nicht tugendhaft zu sein. Lassen Sie sich also nicht von geringfügigen Anzeichen von Nicht-Normalität, Nicht-Unabhängigkeit oder Nicht-Linearität usw. blockieren, wenn solche Hinweise ignoriert werden müssen, damit die Daten laut und deutlich sprechen . - Auf Dänisch sind "dristig" gegen "dydig" die Adjektive.

Jørgen Hilden
quelle
1

Stellen Sie bei der Analyse von Längsschnittdaten sicher, dass die Variablen in jedem Zeitraum gleich codiert sind.

Während ich meine Dissertation verfasste, die die Analyse von Sekundärdaten beinhaltete, gab es ungefähr eine Woche völlige Verwirrung über eine Verschiebung der mittleren Depressionswerte um 1 Einheit über einen ansonsten stabilen Mittelwert pro Jahr: Es stellte sich heraus, dass es sich um eines der Jahre in meiner handelte Datensatz, Skalenelemente für ein validiertes Instrument wurden 1–4 anstelle von 0–3 codiert.

Alexis
quelle
1

Ihre Hypothese sollte Ihre Modellwahl bestimmen und nicht umgekehrt.

Um es mit Maslow zu sagen: Wenn Sie ein Hammer sind, sieht alles aus wie ein Nagel. Bestimmte Modelle sind mit Blindheit und Annahmen über die Welt ausgestattet: Zum Beispiel ersticken nicht dynamische Modelle an der Rückkopplung von Behandlungsergebnissen.

Alexis
quelle
1

Verwenden Sie die Simulation, um zu überprüfen, wo die Struktur Ihres Modells "Ergebnisse" erzeugt, die einfach mathematische Artefakte der Annahmen Ihres Modells sind

Führen Sie Ihre Analyse an neu randomisierten Variablen oder an simulierten Variablen durch , von denen bekannt ist , dass sie nicht miteinander korrelieren . Führen Sie dies viele Male durch und stellen Sie gemittelte Punktschätzungen (und Vertrauensbereiche oder glaubwürdige Intervalle) den Ergebnissen gegenüber, die Sie mit den tatsächlichen Daten erhalten: Sind sie alle so unterschiedlich?

Alexis
quelle
0

Ich bin eher ein Datenanalyst als ein Statistiker, aber dies sind meine Vorschläge.

1) Bevor Sie Daten analysieren, stellen Sie sicher, dass die Annahmen Ihrer Methode richtig sind. Sobald Sie Ergebnisse sehen, können diese schwer zu vergessen sein, selbst nachdem Sie die Probleme behoben und die Ergebnisse geändert haben.

2) Es hilft, Ihre Daten zu kennen. Ich habe Zeitreihen durchgeführt und ein Ergebnis erhalten, das angesichts der Daten der letzten Jahre wenig Sinn ergab. Ich überprüfte die Methoden im Lichte dessen und stellte fest, dass die Mittelung von Modellen in der Methode die Ergebnisse für einen Zeitraum verfälschte (und ein Strukturbruch aufgetreten war).

3) Seien Sie vorsichtig mit Faustregeln. Sie spiegeln die Erfahrungen einzelner Forscher mit ihren eigenen Daten wider. Wenn sich ihr Fachgebiet stark von Ihrem unterscheidet, stimmen ihre Schlussfolgerungen möglicherweise nicht mit Ihren Daten überein. Darüber hinaus, und das war ein Schock für mich, sind sich Statistiker in wichtigen Punkten oft nicht einig.

4) Versuchen Sie, Daten mit verschiedenen Methoden zu analysieren und festzustellen, ob die Ergebnisse ähnlich sind. Verstehen Sie, dass keine Methode perfekt ist, und überprüfen Sie, wann immer möglich, ob die Annahmen verletzt wurden.

user54285
quelle