Wie gehe ich mit einem „selbst besiegenden“ Vorhersagemodell um?

36

Ich sah mir eine Präsentation eines ML-Spezialisten eines großen Einzelhändlers an, der ein Modell zur Vorhersage von Ereignissen aus Lagerbeständen entwickelt hatte.

Nehmen wir für einen Moment an, dass ihr Modell im Laufe der Zeit sehr genau wird, wäre das nicht irgendwie "selbstzerstörerisch"? Das heißt, wenn das Modell wirklich gut funktioniert, sind sie in der Lage, nicht mehr verfügbare Ereignisse zu antizipieren und zu vermeiden, und gelangen schließlich zu einem Punkt, an dem es nur noch wenige oder gar keine nicht verfügbaren Ereignisse gibt. In diesem Fall sind jedoch nicht genügend historische Daten vorhanden, auf denen das Modell ausgeführt werden kann, oder das Modell wird entgleist, da dieselben kausalen Faktoren, die für ein Auslagerungsereignis verwendet wurden, dies nicht mehr tun.

Was sind die Strategien, um mit einem solchen Szenario umzugehen?

Darüber hinaus könnte man sich die gegenteilige Situation vorstellen: Beispielsweise könnte ein Empfehlungssystem zu einer "sich selbst erfüllenden Prophezeiung" werden, bei der der Umsatz von Artikelpaaren aufgrund der Ausgabe des Empfehlungssystems steigt, auch wenn die beiden Artikel nicht wirklich so sind verbunden.

Es scheint mir, dass beide Ergebnisse einer Art Rückkopplungsschleife sind, die zwischen der Ausgabe des Prädiktors und den darauf basierenden Aktionen auftritt. Wie kann man mit solchen Situationen umgehen?

Setzen Sie Monica wieder ein
quelle
7
(+1) In einigen analogen Situationen der Hochschulbildung wird von einem Modell gesprochen, das "sich selbst cannabalisiert". Hochschulbeamte gewähren anhand von Modellen finanzielle Unterstützung, um bestimmte Ziele im Zusammenhang mit der Einschreibung und der finanziellen Unterstützung zu erreichen, und stellen fest, dass die Einschreibungsentscheidungen potenzieller Studenten infolgedessen immer weniger durch die finanzielle Unterstützung bestimmt werden oder aus dieser vorhersehbar sind .
Rolando2
Diese Frage ist im Allgemeinen schwer zu beantworten, da sie stark von der jeweiligen Situation abhängt. Im Falle von Lagerbeständen gibt es gute Lösungen, aber im Falle von Empfehlern kann es einfach kein großes Problem geben, wenn Ihr Modell ein bisschen vorschreibend wird.
Dennis Jaheruddin

Antworten:

15

Es gibt zwei Möglichkeiten, mit denen sich ein OOS-Erkennungsmodell selbst entgleisen kann:

  1. Die Beziehung zwischen Eingängen und OOS kann sich im Laufe der Zeit ändern. Zum Beispiel können Werbeaktionen zu einem höheren OOS führen (Werbeaktionen sind schwerer vorherzusagen als reguläre Verkäufe, zum Teil, weil nicht nur der durchschnittliche Umsatzanstieg, sondern auch die Varianz des Umsatzes und "schwerer vorherzusagen" häufig zu OOS führen). Das System und seine Benutzer könnten dies jedoch erfahren und zusätzlichen Bestand für Werbeaktionen vorhalten. Nach einer Weile ist die ursprüngliche Beziehung zwischen Werbeaktionen und OOS nicht mehr gültig.

    Dies wird oft als "Modellwechsel" oder ähnliches bezeichnet . Sie können dies überwinden, indem Sie Ihr Modell anpassen. Am häufigsten werden Eingaben unterschiedlich gewichtet, um älteren Beobachtungen ein geringeres Gewicht zu verleihen.

  2. Auch wenn sich die Beziehung zwischen einem Prädiktor und dem OOS nicht ändert, kann sich die Verteilung des Prädiktors ändern. Beispielsweise können mehrere Tage ohne Verkauf einer bestimmten Lagereinheit (SKU) ein OOS anzeigen. Wenn das Modell jedoch eine gute Leistung erbringt, wird der OOS auf der ganzen Linie reduziert, und es gibt möglicherweise nicht so viele Folgen von Nullverkäufen .

    Änderungen in der Verteilung eines Prädiktors sollten kein Problem darstellen. Ihr Modell gibt einfach eine geringere Wahrscheinlichkeit von OOS aus.


Am Ende müssen Sie sich wahrscheinlich nicht allzu viele Sorgen machen. Es wird niemals null OOS geben. Rückkopplungsmechanismen wie die oben genannten treten zwar auf, funktionieren jedoch erst, wenn die OOS vollständig beseitigt sind.

  • Einige ausstehende OOS können einfach nicht abgewendet werden. "Ich habe ein Gerät im Regal und werde wahrscheinlich in der kommenden Woche mit einer Nachfrage nach fünf Geräten rechnen müssen, aber die nächste Lieferung ist erst in einer Woche ab heute fällig."
  • Einige OOS wird sehr schwer vorherzusagen, auch wenn sie sind avertable, wenn sie in der Zeit bekannt war. "Wenn wir gewusst hätten, dass wir die Palette vom Gabelstapler fallen lassen und das gesamte Produkt zerstören würden, hätten wir ein anderes bestellt."
  • Einzelhändler verstehen, dass sie ein hohes Serviceniveau anstreben müssen, jedoch nicht zu 100% erreichbar sind. Die Leute kommen herein und kaufen Ihren gesamten Vorrat an bestimmten Produkten auf. Dies ist schwer vorherzusagen (siehe oben) und so selten, dass Sie Ihre Regale nicht füllen möchten, wenn die Möglichkeit besteht, dass dies passiert. Vergleichen Sie das Pareto-Gesetz: Ein Servicelevel von 80% (oder sogar 90%) ist ziemlich einfach zu erreichen, 99,9% sind jedoch viel schwieriger. Einige OOS sind bewusst erlaubt.
  • Ähnliches gilt für Moores Gesetz : Je besser ML wird, desto höher werden die Erwartungen und desto schwerer wird es für das Modell. Während sich die Algorithmen zur OOS-Erkennung (und -Vorhersage) verbessern, sind Einzelhändler damit beschäftigt, unser Leben zu erschweren.
    • Zum Beispiel durch Variantenproliferation. Es ist einfacher, OOS bei vier Joghurt-Geschmacksrichtungen zu erkennen als bei zwanzig verschiedenen Geschmacksrichtungen. Warum? Weil die Leute nicht fünfmal so viel Joghurt essen. Stattdessen verteilt sich die nahezu unveränderte Gesamtnachfrage jetzt auf fünfmal so viele SKUs, und der Lagerbestand jeder SKU ist ein Fünftel so hoch wie zuvor. Der Long Tail dehnt sich aus und die Signale werden schwächer.
    • Oder indem Sie das mobile Auschecken mit Ihrem eigenen Gerät zulassen. Dies kann die psychologischen Hindernisse für den Ladendiebstahl verringern , sodass die Systembestände sogar noch schlimmer sind als sie es bereits sind , und natürlich sind die Systembestände wahrscheinlich der beste Prädiktor für den OOS. Wenn sie also ausgeschaltet sind, wird sich das Modell verschlechtern.

Ich arbeite seit über zwölf Jahren in der Prognose von Einzelhandelsumsätzen, daher habe ich eine gewisse Vorstellung von solchen Entwicklungen.


Ich mag pessimistisch sein, aber ich denke, dass für andere ML-Anwendungsfälle als die OOS-Erkennung sehr ähnliche Effekte vorliegen. Oder vielleicht ist das kein Pessimismus: Es bedeutet, dass Probleme wahrscheinlich nie "gelöst" werden, so dass auch in Jahrzehnten noch Arbeit für uns sein wird.

S. Kolassa - Setzen Sie Monica wieder ein
quelle
Ich stimme Ihrem letzten Kommentar besonders zu. Die Worst-Case-Version dieses Szenarios scheint der Ausgangspunkt für eine Vollbeschäftigung / keinen Satz von freiem Mittagessen zu sein. Was macht dies eine interessante Frage IMO!
Senderle
26

Wenn Sie ein Modell verwenden, um Entscheidungen über Eingriffe in ein System zu unterstützen, sollte das Modell logischerweise versuchen, das von einer bestimmten Intervention abhängige Ergebnis vorherzusagen . Dann sollten Sie separat optimieren , um die Intervention mit dem besten erwarteten Ergebnis auszuwählen . Sie versuchen nicht, Ihr eigenes Eingreifen vorherzusagen.

In diesem Fall könnte das Modell die Nachfrage vorhersagen (die Variable, die Sie nicht direkt steuern), und dies würde in Kombination mit der Wahl des Lagerbestands zu einem Ereignis führen, das nicht vorrätig ist oder nicht. Das Modell sollte weiterhin für die korrekte Vorhersage der Nachfrage "belohnt" werden, da dies seine Aufgabe ist. Nicht vorrätige Ereignisse hängen von dieser Variablen zusammen mit Ihrer Lagerauswahl ab .

nanoman
quelle
2
Genau so wird es in der Praxis gelöst. Ein Black-Box-Modell, das kein Verständnis für die treibenden Faktoren liefert, sondern nur vorhersagt, dass am Mittwoch ein Stockout stattfinden würde, hätte nur eine sehr begrenzte Verwendung, wenn die Menschen die Annahmen nicht verstehen können. (Mit der Hauptannahme, dass das Modell nicht vorhanden ist).
Dennis Jaheruddin
@DennisJaheruddin: Machen Sie andererseits ein Modell, das vorhersagt, wann das Produkt trotz einer rechtzeitigen Nachbestellung vergriffen sein wird, und Sie können einen Mord begehen.
Joshua
1
Es ist etwas komplexer, da das Nachfragesignal in dem von ihnen verwendeten Modell nur ein Faktor war. Sie berücksichtigten jedoch auch andere Faktoren, die auf den Lagerbedingungen basierten, um Situationen zu berücksichtigen, in denen sich der Lagerbestand im Lager befand, jedoch nicht im Regal (z. B. im Hinterzimmer oder an einer der Registrierkassen oder an den Service-Schaltern, weil der Kunde gewechselt hat) ihre Gedanken in letzter Minute). Dafür verwendeten sie nicht nur die Nachfrage, sondern auch andere ursächliche Faktoren.
Setzen Sie Monica
@Bei dieser Komplexität handelt es sich lediglich um ein Netzwerk einfacher Angebots- / Nachfragemechanismen, die unterschiedliche Standorte steuern, unabhängig davon, ob das Modell sie explizit darstellt oder nicht. Das Ziel des Modells wird genauer beschrieben als die Vorhersage des Bestandsniveaus, nicht der Nachfrage. Dies wird jedoch nur dann relevant, wenn Sie speziell in Betracht ziehen, dass an dem Punkt im Netzwerk (dem Regal), an dem sich der Bestand befindet, unkontrollierte Faktoren für Angebot und Nachfrage vorliegen Ebenen sind wichtig. Interventionen wie die Bestellung von mehr Lagerbeständen oder die regelmäßigere Auffüllung der Regale durch das Personal müssen weiterhin ein Faktor im Modell sein.
Will
Vielleicht möchten Sie die Möglichkeit erwähnen, dass die Nachfrage mit dem Lagerbestand variiert.
Yakk
9

Vermutlich können Sie verfolgen, wann Wiederauffüllungsereignisse eintreten. Dann ist es nur noch eine Frage der Arithmetik, wann der Lagerbestand aufgebraucht wäre, wenn das Modell nicht zur Wiederauffüllung des Lagerbestands verwendet worden wäre.

Dies setzt voraus, dass ein positiver Lagerbestand unabhängig von der Höhe des Umsatzes ist. Ein Kommentator sagt, dass diese Annahme in der Realität nicht zutrifft. Ich weiß es auch nicht - ich arbeite nicht an Retail-Datensätzen. Aber zur Vereinfachung erlaubt mein vorgeschlagener Ansatz, unter Verwendung kontrafaktischer Argumentation Schlüsse zu ziehen. ob diese Vereinfachung zu unrealistisch ist, um einen aussagekräftigen Einblick zu gewähren, liegt bei Ihnen.

Setzen Sie Monica wieder ein
quelle
Ich schätze, ich sehe nicht, wie das die Frage beantwortet. Die Probleme, wie ich sie verstehe, sind: (a) Nach der Implementierung des Modells in der Produktion ist die optimale Vorhersagefunktion für Lagerbestände jetzt völlig anders als zuvor, weil wir die Datenverteilung geändert haben; (b) Je besser unser Modell ist, desto seltener werden Auslagerungsereignisse und desto schwieriger wird es, sie für die Zukunft genau vorherzusagen. Zu wissen, "wann der Lagerbestand aufgebraucht wäre, wenn das Modell nicht zur Wiederauffüllung des Lagerbestands verwendet worden wäre", ist weder hier noch da, da das Modell ab sofort in Produktion ist
Jake Westfall,
@JakeWestfall Diese Art der Analyse wird als kontrafaktisches Denken bezeichnet. Wenn Sie das Inventar jederzeit kennen und wissen, wann es wieder aufgefüllt wurde, können Sie ein Kontrafaktum erstellen, bei dem davon ausgegangen wird, dass es nicht wieder aufgefüllt wurde: Ziehen Sie das Inventar einfach vom Inventar ab, nachdem das Inventar wieder aufgefüllt wurde. Jetzt haben Sie eine Zeitreihe, die die Vermutung widerspiegelt, dass Sie nie aufgestockt haben. Führen Sie diese Zeitreihe bis zur Auslagerung fort. Jetzt wissen Sie, wann ein Lagerbestand ohne Wiederauffüllung eingetreten wäre. Wie hat dieser Counterfactual eine andere Datenverteilung?
Setzen Sie Monica
Ich verstehe das alles. Was ich nicht verstehe, ist, wie dies die im OP aufgeworfenen Probleme löst. Angenommen, ein starker Indikator für den Lagerbestand ist, ob es der erste Tag eines Monats ist (an dem viele Leute bezahlt werden). Mit unserem neuen Modell können wir diese Auslagerungsereignisse jetzt vermeiden, indem wir gegen Ende eines jeden Monats vorab weitere Einheiten bestellen. Daher ist der "erste Tag des Monats" künftig kein nützlicher Prädiktor für Lagerbestände mehr. Wir könnten zwar die kontrafaktische Wahrscheinlichkeit eines Aktienausfalls am Monatsersten berechnen, wenn wir nicht präventiv bestellt hätten, aber wie genau hilft uns das?
Jake Westfall
2
Dies hilft uns, da es Ihnen eine kontrafaktische Wahrscheinlichkeit für einen Lagerbestand gibt, wenn die Auffüllung nicht stattgefunden hat. OP fragt, wie mit der Tatsache umgegangen werden soll, dass in einem Modell, das das Auftreten von Lagerbeständen reduziert, nicht so viele Lagerbestände in den Rohdaten verfügbar sind. Mein Punkt ist, dass Sie Rückschlüsse auf das kontrafaktische Auftreten von Lagerbeständen ziehen und dies als Ersatz verwenden können. Welche Art von Hilfe wolltest du?
Setzen Sie Monica
1
@Sycorax: Sie gehen davon aus, dass das Käuferverhalten nicht durch die Anzahl der im Regal sichtbaren Artikel beeinflusst wird. Das ist eine ungültige Annahme. Der Einfluss mag schwach sein, ist aber nicht abwesend.
Ben Voigt
7

Ihr Szenario hat viel Ähnlichkeit mit der Lucas-Kritik in der Wirtschaft. Beim maschinellen Lernen wird dies als " Datensatzverschiebung " bezeichnet.

Sie können es, wie @Sycorax sagt, überwinden, indem Sie es explizit modellieren.

generic_user
quelle
2

Eine Sache, an die man sich erinnern sollte, ist, dass ML ein instrumentelles Ziel ist. Letztendlich wollen wir keine Out-of-Stock-Ereignisse vorhersagen, wir wollen Out-of-Stock-Ereignisse verhindern. Die Vorhersage von Out-of-Stock-Ereignissen ist einfach ein Mittel zu diesem Zweck. Bei Fehlern des Typs II ist dies kein Problem. Entweder haben wir weiterhin OOSE, in welchem ​​Fall wir Daten haben, um unser Modell zu trainieren, oder wir haben keine, in welchem ​​Fall das Problem, für das das Modell erstellt wurde, gelöst wurde. Was ein Problem sein kann, sind Fehler vom Typ I. Es ist leicht, in eine Bärenpatrouille zu geratenTrugschluss: Wenn Sie ein System X haben, das Y verhindern soll, wird Y nicht angezeigt, und Sie schließen daraus, dass X Y verhindert, und alle Versuche, X herunterzufahren, werden auf der Grundlage "Aber es leistet so gute Arbeit Y verhindern! " Unternehmen können in teure Programme eingebunden werden, weil niemand riskieren möchte, dass Y zurückkommt, und es schwierig ist, herauszufinden, ob X wirklich notwendig ist, ohne diese Möglichkeit zuzulassen.

Es wird dann zu einem Kompromiss, inwieweit Sie bereit sind, sich (je nach Modell) gelegentlich auf ein suboptimales Verhalten einzulassen, um eine Kontrollgruppe zu erhalten. Dies ist Teil jeder aktiven Erforschung: Wenn Sie ein Medikament haben, von dem Sie glauben, dass es wirksam ist, müssen Sie eine Kontrollgruppe haben, die das Medikament nicht dazu bringt, die Wirksamkeit zu bestätigen.

Akkumulation
quelle