Was macht Sie zuversichtlich in Ihre Ergebnisse? Ab wann können Sie Ihre Arbeit Ihrer Meinung nach technischen Analphabeten vorstellen?

Ich verstehe, dass die Modelle nur so gut sind wie die Daten, die Sie erhalten, und schlechtes Design kann wirklich schlechte Daten erzeugen. Nicht zufällige Stichproben, unausgeglichene / unvollständige Designs, verwirrende Daten können die Datenanalyse sehr schwierig machen.

Ab wann sollte man sicher sein, dass sie ein nützliches Modell haben? Führen Sie einfach eine Kreuzvalidierung mit einem Trainings- / Testdatensatz durch und nennen Sie es einen Tag? Offensichtlich "sind alle Modelle falsch, einige sind nützlich", aber irgendwann werden die Kompromisse mit dem Ausschluss zu vieler Parameter durch LASSOing und seltsamen Transformationen durch Herunterfahren des BIC deutlich.

tl; dr am Ende des Tages, was Sie dazu bringt zu gehen "Ich habe das Richtige für mein Unternehmen / Projekt getan, und das sollte funktionieren."

Hey Willkommen auf der Seite!

Was Sie sagen, ist richtig, Data Science erreicht nicht das Stadium, in dem es einige Standardmethoden gibt, um dies zu erreichen (Standardverfahren, ich weiß nicht, ob wir dieses Stadium in naher Zukunft erreichen können). Aber wir haben einige allgemeine Standards wie:

1. Prognose: ETS, ARIMA, SARIMA usw.
2. Vorhersage: Lineare Regression, Random Forest, GLM, Neuronales Netz usw.
3. Klassifizierung: Logistische Regression, Random Forest usw.

Wenn Sie auf granularer Ebene arbeiten, ist es schwierig, dies zu verallgemeinern, da jedes Geschäftsproblem anders ist und nicht eine einzige Methode zur Lösung aller Geschäftsprobleme verwendet werden kann.

Um die nächste Frage zu beantworten, wie Sie das Vertrauen gewinnen, dass das Ergebnis gut genug ist, gehe ich davon aus, dass Sie von RMSE, MAPE und vielem mehr für Vorhersagen und Verwirrungsmatrix für Klassifizierungsprobleme gehört haben. Wir verwenden diese Metriken, um den Zugriff auf die Leistung des Modells zu sehen. Wenn Sie beispielsweise klassifizieren möchten, ob es sich bei der angegebenen Zelle um eine Krebszelle handelt oder nicht, gibt es 100 Datensätze, in denen 90 Nicht-Krebszellen und 10 Krebszellen sind 99% Genauigkeit, könnte aber 5 von 9 buchstäblich klassifizieren. 55% der Gesamtzahl in solchen Szenarien, die Sie betrachten müssen, können keine Genauigkeit verwenden, Sie müssen F1-Punktzahl usw. verwenden. Da Sie nach einem Modell gefragt haben, sind nicht alle Modelle nützlich. Zwar werden nicht alle gebauten Modelle das Produktionsniveau erreichen, Sie würden das beste auswählen und es produzieren. Sie können Ihr Modell auf einer Basis neu trainieren (Täglich, Wöchentlich, Monatlich basierend auf Geschäftsanforderungen). Würden Sie es einen Tag nach Abschluss der Validierung als frei bezeichnen? Ich würde nicht, ich würde zum Fachexperten gehen und ihm die Ergebnisse präsentieren. Fragen Sie ihn / sie nach ihren Einsichten. Wenn beide inline sind, würde ich einen Beta-Test für einige tatsächliche Daten durchführen und diese dann produzieren.

Um Ihre letzte Frage zu beantworten: Es gibt keinen Standard, der besagt, dass dies gut oder schlecht ist. Wenn es für Sie, Ihr Unternehmen, funktioniert, ist dies ein gutes Modell. Um Ihre Manager und Fachexperten (Daten) zu unterstützen, müssen Sie tief in die Daten eintauchen und versuchen, in allen verschiedenen Szenarien so viele Fragen wie möglich zu stellen. Versuchen Sie, die Daten sehr gut zu verstehen. Sie können also Geschäftsfragen mit datenunterstützenden Antworten beantworten (dies ist nur möglich, wenn Sie mit Daten schlechter abschneiden). Da sie sehr gut mit dem Geschäft umgehen können, stellen sie Fragen zum Geschäft. Sie müssen mit all diesen Szenarien fertig sein, indem Sie das Geschäft und die Daten gut verstehen.

Schließlich habe ich ein Gefühl wie Sie. Ich habe viele Dinge getan, aber nichts hat funktioniert, aber Sie sollten nicht unglücklich sein, da Sie verstanden haben, dass dies die Wege sind, die Sie zu erfolglosen Ergebnissen führen würden (das beste Beispiel ist, dass Thomas Alva Edison 1000 verschiedene Metalle verwendet hat, bevor er Wolfram zur Herstellung einer Glühbirne verwendet hat). . In ähnlicher Weise sind alle Methoden, die wir ausprobiert haben, verschiedene Schritte, mit denen Sie versucht haben, die Lösung zu finden. Meine Funda ist, habe ich jeden Tag etwas anderes / neues ausprobiert oder nicht. Ein entscheidender Teil dieses Prozesses ist die Aufrechterhaltung einer klaren Dokumentation bei jedem Schritt. Was sich in naher Zukunft als nützlich erweisen würde.

Alles in Forschung und Entwicklung ist niemals eine Verschwendung, sondern nur ein anderer Versuch oder ein anderes Experiment. Ihre Arbeit ist also niemals Verschwendung. Sie versuchen, eine solide Basis für die glänzende Zukunft Ihres Unternehmens zu schaffen.

Was macht Sie zuversichtlich in Ihre Ergebnisse?

Die geeignete Methode zur Bewertung, ob Sie ein reales Signal oder Rauschen modelliert haben, hängt vollständig von der gestellten Frage und dem Modellierungsansatz ab, mit dem Sie es beantwortet haben. Zu diesem Thema wurden viele sehr dicke Bücher geschrieben, die ihre Aufmerksamkeit häufig auf eine Problemdomäne und / oder einen Modelltyp beschränken. Die Komplexität der Modellbewertung ist ein wesentlicher Grund dafür, warum Datenwissenschaftler im Allgemeinen einen Hochschulabschluss haben. Damit kommen wir zum zweiten Teil Ihrer Frage:

Ab wann können Sie Ihre Arbeit Ihrer Meinung nach technischen Analphabeten vorstellen?

Ihre technischen Analphabeten verfügen nicht über den Abschluss, der sie über die Bewertung Ihrer Analyse informiert. Sie vertrauen darauf, dass Sie ehrliche und genaue Ergebnisse präsentieren. Es ist extrem leicht, Leute in die Irre zu führen, die nicht fließend sind, zu glauben, welche Erzählung Sie präsentieren möchten. Es liegt in Ihrer Verantwortung, sicherzustellen, dass Ihre Ergebnisse luftdicht sind oder zumindest mit der Risikotoleranz Ihres Kunden übereinstimmen.

Ihre Ergebnisse können geteilt werden, wenn Sie zufrieden sind, dass Sie sie richtig interpretieren, und Sie einen Plan haben, wie Sie sie klar kommunizieren können.

am Ende des Tages, was Sie dazu bringt zu gehen "Ich habe das Richtige für mein Unternehmen / Projekt getan, und das sollte funktionieren"

1. Ich habe ein Modell gebaut, das mein Ziel erreicht.
2. Ich bin zufrieden, dass mein Modellierungsansatz solide und wiederholbar ist. Wenn ich an einer Vorhersageaufgabe arbeite, möchte ich auch sicherstellen, dass mein Modell gut auf Daten außerhalb der Stichprobe verallgemeinert werden kann.
3. Ich habe die projizierten Auswirkungen der Verwendung meines Modells bewertet und bin ziemlich sicher, dass die Vorteile der Anwendung die Zeit und den Aufwand rechtfertigen, die ich für die Erstellung des Modells aufgewendet habe.
4. Ich habe einen klaren Weg zur Umsetzung. Ich habe einen technischen Plan, um meine Ergebnisse umsetzbar zu machen, und weiß, wessen Unterstützung ich brauche, um dies zu erreichen.
5. Ich bin zuversichtlich, dass ich meine Ergebnisse so kommunizieren kann, dass nicht-technische Stakeholder davon überzeugt werden, dass meine Ergebnisse real sind, und ihre Bedenken zerstreuen.