Sind Experten schädlich?

15

Ich lese "Die Rolle des Schachs in der Forschung der künstlichen Intelligenz" ( pdf ) und es heißt interessanterweise:

Die Erfahrung [...] zeigt, dass die Beiträge von Schachexperten zwar allgemein nützlich, aber nicht vollständig vertrauenswürdig sind.

Ein gutes Beispiel dafür ist die Bewertungsfunktion von Deep Thought. Einige Änderungen durch fähige menschliche Schachexperten führten nicht zu signifikanten Verbesserungen und beeinträchtigten gelegentlich sogar die Leistung der Maschine.

Hier brachten menschliche Experten zusammen mit ihrem Fachwissen ihre eigenen Vorurteile in das Programm ein. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, den Typ und die Menge der in das Programm zulässigen Experteneingaben zu begrenzen. in anderen mit einer fast "wissensfreien" Maschine.

  • Wie wahr ist das in der modernen Forschung und Praxis?
  • Ist das ein großes Problem oder nur etwas, das für das Schachspiel spezifisch ist?
andreister
quelle
3
In NLP gibt es ein berühmtes Zitat dazu. Etwas in der Art von "Jedes Mal, wenn ich einen Linguisten entlasse, verbessert sich die Leistung meines Systems"
Artem Kaznatcheev
3
Atillas Antwort ist größtenteils richtig (mit der Qualifikation, die ich als Kommentar gebe), aber ich dachte, ich würde kurz bemerken, dass im speziellen Fall von Schach gezeigt wurde, dass Deep Thought Schach ganz anders spielt als Schachexperten. Deep Thought berechnet explizit viele Züge im Voraus. Experten berechnen nur wenige Züge, nutzen aber auch die rechnerische Verknüpfung, um sich an zuvor erfahrene Spiele und Ergebnisse zu erinnern . Dieses Erinnern manifestiert sich durch implizite Mustererkennung, die dem Spiel eine affektive Erfahrung überlagert (bestimmte Züge "fühlen sich einfach richtig an").
Mike Lawrence

Antworten:

11

Ich denke, hier geht es mehr um das Lösen technischer Probleme. Die meisten erfolgreichen Ingenieurprojekte duplizieren nicht die Argumentation eines Experten oder die Natur des Experten genau. Sie haben das Problem auf andere Weise gelöst.

Waschmaschinen verwenden beispielsweise eine andere Technik als Menschen, Flugzeuge eine andere Dynamik als Vögel.

Wenn Sie Expert Reasoning duplizieren, ist ihre Eingabe alles . Wenn Sie jedoch dasselbe Problem mit verschiedenen Techniken lösen (schnelle Suche, großer Speicherplatz ...), ist deren Eingabe nur hilfreich .

Atilla Ozgur
quelle
Obwohl ich Ihnen zustimme, scheint diese Argumentation einfach zu offensichtlich, sorry :) In dem Papier heißt es, dass Experten "ihre eigenen Vorurteile einbrachten", was ein bisschen mehr als Missverständnisse bei der Umsetzung zu sein scheint .
Andreister
Natürlich geben sie Input sowohl gut als auch schlecht, da sie die Welt auf ihre eigene Weise sehen, was sich von der Ansicht des Computers stark unterscheidet.
Atilla Ozgur
7
Ich möchte hinzufügen, dass man bedenken muss, dass Fachwissen oft so automatisiert ist, dass es für eine bewusste Prüfung undurchsichtig wird. Daher sind sich Experten häufig der Informationsverarbeitungsschritte, die sie ausführen, um Expertenleistung zu erzielen, nicht in Worte zu fassen.
Mike Lawrence
3

Solche Probleme treten häufig in verschiedenen Bereichen auf, die ein Urteil erfordern.

Das Kapitel " Beurteilung von Vorhersagen und Anpassungen " in Makridakis, Wheelwright und Hyndman Forecasting: Methods and Applications enthält ähnliche Berichte über die Beurteilung von Experten, die manchmal sogar sehr einfache Systeme unterbewerten .

Es gibt eine Veröffentlichung (Dawes et al. (1989), "Clinical vs Actuarial Judgement" Science , Bd. 243, Nr. 4899, S. 1668-74) über das Versagen von Expertenurteilen im medizinischen Bereich gegen das, was es "versicherungsmathematische" Methoden nennt - im Grunde genommen ziemlich einfach statistische Modelle.

Andererseits gibt es in der versicherungsmathematischen Literatur eine Abhandlung über das „Rauschen“ und die Inkonsistenz des Expertenurteils in einem bestimmten Problem in dem Bereich, in dem das Expertenurteil von seinen Praktikern häufig als von größter Bedeutung angesehen wird.

Makridakis et al. Erörtern Fehler bei der Beurteilung durch Experten in vielen Bereichen, da sie sich auf Prognosen beziehen, und enthalten eine Reihe wertvoller Ratschläge.

Und so geht es weiter. Kognitive Vorurteile sind im Überfluss vorhanden und menschliche Experten leiden darunter, ebenso wie alle anderen.

Glen_b - Setzen Sie Monica wieder ein
quelle
3

Die Frage, ob Experten schädlich sind oder nicht, ist sicherlich kein auf das Schachspiel beschränktes Problem.

Eine interessante Frage in der Literatur zur optimalen Gestaltung von geldpolitischen Ausschüssen (MPC) ist, ob Ausschüsse externe Experten umfassen sollten, die keine Vollzeitangestellten der Zentralbank sind.

Um dies ins rechte Licht zu rücken, betrachten Sie zunächst den MPC der Bank of England. Es setzt sich aus fünf internen Geschäftsleitungsmitgliedern der Bank und vier externen Experten zusammen. Andererseits beschäftigt die Federal Reserve Bank einen Ausschuss, der sich ausschließlich aus Bankangestellten zusammensetzt.

Externe Expertenmitglieder werden in das MPC der Bank of England aufgenommen, da sie Fachwissen und zusätzliche Informationen zu den in der Bank of England gewonnenen Erkenntnissen einbringen.

Welches MPC-Design ist also besser? Experten rein oder Experten raus?

Nun, dieses Forschungsgebiet ist immer noch aktiv und wurde kürzlich von Hansen & McMahon (2010) untersucht . Ich schlage vor, die in diesem Papier genannten Referenzen zu konsultieren, um weitere Informationen zu dieser Ausgabe der "Expertenkomitees" zu erhalten.

Ist das ein großes (wichtiges) Problem? Unter Berücksichtigung der Auswirkungen, die die Entscheidung eines MPC auf die Wirtschaft haben kann, würde ich sagen, dass dies ein ziemlich wichtiges Problem ist!

Abschließend möchte ich erwähnen, dass geldpolitische Entscheidungen theoretisch an einen Computer delegiert werden können. Beispielsweise könnte der Computer so programmiert sein, dass er beispielsweise eine einfache geldpolitische Regel implementiert ; Zum Beispiel eine Verpflichtung. Dies würde Experten-Eingaben entfernen, nachdem die geldpolitische Regel in den Computer programmiert wurde. Die Verwendung des Computers in der Geldpolitik wird in Svensson (1999) erwähnt .

Referenz : Stephen Eliot Hansen & Michael McMahon, 2010. "Was bringen externe Experten in ein Komitee? Beweise von der Bank of England", Economics Working Papers 1238, Department of Economics and Business, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "Wie sollte die Geldpolitik in einer Ära der Preisstabilität geführt werden?", Proceedings, Federal Reserve Bank von Kansas City, S. 195-259.

Graeme Walsh
quelle
3

Ich denke, der Schlüssel liegt in der Konsistenz. Der Experte verfügt nicht nur über ein bestimmtes Wissen, sondern auch über ein System, in dem dieses Wissen funktioniert. Sie haben eine Persönlichkeit, eine Gesamtstrategie, in der ihre Taktik liegt und sich entwickelt.

In gewisser Weise ist ein Computerprogramm, das Schach spielt, ein Frankenstein-Monster, das aus einem Mashup verschiedener Körper (Programmierer, Experten usw.) erstellt wurde. Es ist daher nicht verwunderlich, dass der Rat eines Experten nicht gut zu dem vorhandenen System passt.

Ich stimme anderen Kommentaren zu, dass Experten möglicherweise nicht wissen, wie sie das tun, was sie tun. In diesem Fall macht ihr Bewusstsein als Mensch eine plausible Geschichte darüber, warum sie eine bestimmte Entscheidung getroffen haben. Aber ich denke immer noch, dass die fachkundige Beratung des Programmierteams immer unzusammenhängend ist (dh im Widerspruch zum Kontext der Programmgestaltung und -geschichte steht).

BEARBEITEN: Möglicherweise gibt es hier auch eine Verstärkungseinstellung. Ich kann keine guten Links finden, um die Verstärkungsverzerrung zu erklären, aber wie ich den Begriff verstehe, ist dies der Effekt, den Sie erzielen, wenn Sie ein überwachtes Modell aktualisieren (umrüsten), wobei Sie die vorherigen Ergebnisse des Modells - normalerweise indirekt - als Ziele verwenden. Es ähnelt der Bestätigungsverzerrung, beinhaltet jedoch eine gewisse Indirektion. Menschliche Experten hätten ihre Verstärkungsverzerrungen, die die Dinge beeinflussen könnten.

Wayne
quelle
Ich bin mir nicht sicher, ob ich Ihren letzten Satz verstehe, was ein interessanter Punkt zu sein scheint. Könnten Sie näher darauf eingehen?
Michelle
@Michelle: Das Programm, das wir mit Ratschlägen eines Fachexperten verbessern möchten, hat bereits einen eigenen Kontext (Originaldesign, Programmierer, vorherige Experten usw.). Die Ratschläge, die wir einfließen lassen möchten, stammen aus einem anderen Kontext und funktionieren möglicherweise nicht gut - und stimmen möglicherweise nicht einmal mit dem Kontext überein, den das Programm bereits hat. Meine letzte Aussage war der Versuch zu sagen, dass es eigentlich unwahrscheinlich ist, dass neue Eingaben in dem bereits eingerichteten Kontext (des Programms) funktionieren.
Wayne