Sind Experten schädlich?

Ich lese "Die Rolle des Schachs in der Forschung der künstlichen Intelligenz" ( pdf ) und es heißt interessanterweise:

Die Erfahrung [...] zeigt, dass die Beiträge von Schachexperten zwar allgemein nützlich, aber nicht vollständig vertrauenswürdig sind.

Ein gutes Beispiel dafür ist die Bewertungsfunktion von Deep Thought. Einige Änderungen durch fähige menschliche Schachexperten führten nicht zu signifikanten Verbesserungen und beeinträchtigten gelegentlich sogar die Leistung der Maschine.

Hier brachten menschliche Experten zusammen mit ihrem Fachwissen ihre eigenen Vorurteile in das Programm ein. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, den Typ und die Menge der in das Programm zulässigen Experteneingaben zu begrenzen. in anderen mit einer fast "wissensfreien" Maschine.

• Wie wahr ist das in der modernen Forschung und Praxis?
• Ist das ein großes Problem oder nur etwas, das für das Schachspiel spezifisch ist?

Ich denke, hier geht es mehr um das Lösen technischer Probleme. Die meisten erfolgreichen Ingenieurprojekte duplizieren nicht die Argumentation eines Experten oder die Natur des Experten genau. Sie haben das Problem auf andere Weise gelöst.

Waschmaschinen verwenden beispielsweise eine andere Technik als Menschen, Flugzeuge eine andere Dynamik als Vögel.

Wenn Sie Expert Reasoning duplizieren, ist ihre Eingabe alles . Wenn Sie jedoch dasselbe Problem mit verschiedenen Techniken lösen (schnelle Suche, großer Speicherplatz ...), ist deren Eingabe nur hilfreich .

Solche Probleme treten häufig in verschiedenen Bereichen auf, die ein Urteil erfordern.

Das Kapitel " Beurteilung von Vorhersagen und Anpassungen " in Makridakis, Wheelwright und Hyndman Forecasting: Methods and Applications enthält ähnliche Berichte über die Beurteilung von Experten, die manchmal sogar sehr einfache Systeme unterbewerten .

Es gibt eine Veröffentlichung (Dawes et al. (1989), "Clinical vs Actuarial Judgement" Science , Bd. 243, Nr. 4899, S. 1668-74) über das Versagen von Expertenurteilen im medizinischen Bereich gegen das, was es "versicherungsmathematische" Methoden nennt - im Grunde genommen ziemlich einfach statistische Modelle.

Andererseits gibt es in der versicherungsmathematischen Literatur eine Abhandlung über das „Rauschen“ und die Inkonsistenz des Expertenurteils in einem bestimmten Problem in dem Bereich, in dem das Expertenurteil von seinen Praktikern häufig als von größter Bedeutung angesehen wird.

Makridakis et al. Erörtern Fehler bei der Beurteilung durch Experten in vielen Bereichen, da sie sich auf Prognosen beziehen, und enthalten eine Reihe wertvoller Ratschläge.

Und so geht es weiter. Kognitive Vorurteile sind im Überfluss vorhanden und menschliche Experten leiden darunter, ebenso wie alle anderen.

Die Frage, ob Experten schädlich sind oder nicht, ist sicherlich kein auf das Schachspiel beschränktes Problem.

Eine interessante Frage in der Literatur zur optimalen Gestaltung von geldpolitischen Ausschüssen (MPC) ist, ob Ausschüsse externe Experten umfassen sollten, die keine Vollzeitangestellten der Zentralbank sind.

Um dies ins rechte Licht zu rücken, betrachten Sie zunächst den MPC der Bank of England. Es setzt sich aus fünf internen Geschäftsleitungsmitgliedern der Bank und vier externen Experten zusammen. Andererseits beschäftigt die Federal Reserve Bank einen Ausschuss, der sich ausschließlich aus Bankangestellten zusammensetzt.

Externe Expertenmitglieder werden in das MPC der Bank of England aufgenommen, da sie Fachwissen und zusätzliche Informationen zu den in der Bank of England gewonnenen Erkenntnissen einbringen.

Welches MPC-Design ist also besser? Experten rein oder Experten raus?

Nun, dieses Forschungsgebiet ist immer noch aktiv und wurde kürzlich von Hansen & McMahon (2010) untersucht . Ich schlage vor, die in diesem Papier genannten Referenzen zu konsultieren, um weitere Informationen zu dieser Ausgabe der "Expertenkomitees" zu erhalten.

Ist das ein großes (wichtiges) Problem? Unter Berücksichtigung der Auswirkungen, die die Entscheidung eines MPC auf die Wirtschaft haben kann, würde ich sagen, dass dies ein ziemlich wichtiges Problem ist!

Abschließend möchte ich erwähnen, dass geldpolitische Entscheidungen theoretisch an einen Computer delegiert werden können. Beispielsweise könnte der Computer so programmiert sein, dass er beispielsweise eine einfache geldpolitische Regel implementiert ; Zum Beispiel eine Verpflichtung. Dies würde Experten-Eingaben entfernen, nachdem die geldpolitische Regel in den Computer programmiert wurde. Die Verwendung des Computers in der Geldpolitik wird in Svensson (1999) erwähnt .

Referenz : Stephen Eliot Hansen & Michael McMahon, 2010. "Was bringen externe Experten in ein Komitee? Beweise von der Bank of England", Economics Working Papers 1238, Department of Economics and Business, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "Wie sollte die Geldpolitik in einer Ära der Preisstabilität geführt werden?", Proceedings, Federal Reserve Bank von Kansas City, S. 195-259.

Ich denke, der Schlüssel liegt in der Konsistenz. Der Experte verfügt nicht nur über ein bestimmtes Wissen, sondern auch über ein System, in dem dieses Wissen funktioniert. Sie haben eine Persönlichkeit, eine Gesamtstrategie, in der ihre Taktik liegt und sich entwickelt.

In gewisser Weise ist ein Computerprogramm, das Schach spielt, ein Frankenstein-Monster, das aus einem Mashup verschiedener Körper (Programmierer, Experten usw.) erstellt wurde. Es ist daher nicht verwunderlich, dass der Rat eines Experten nicht gut zu dem vorhandenen System passt.

Ich stimme anderen Kommentaren zu, dass Experten möglicherweise nicht wissen, wie sie das tun, was sie tun. In diesem Fall macht ihr Bewusstsein als Mensch eine plausible Geschichte darüber, warum sie eine bestimmte Entscheidung getroffen haben. Aber ich denke immer noch, dass die fachkundige Beratung des Programmierteams immer unzusammenhängend ist (dh im Widerspruch zum Kontext der Programmgestaltung und -geschichte steht).

BEARBEITEN: Möglicherweise gibt es hier auch eine Verstärkungseinstellung. Ich kann keine guten Links finden, um die Verstärkungsverzerrung zu erklären, aber wie ich den Begriff verstehe, ist dies der Effekt, den Sie erzielen, wenn Sie ein überwachtes Modell aktualisieren (umrüsten), wobei Sie die vorherigen Ergebnisse des Modells - normalerweise indirekt - als Ziele verwenden. Es ähnelt der Bestätigungsverzerrung, beinhaltet jedoch eine gewisse Indirektion. Menschliche Experten hätten ihre Verstärkungsverzerrungen, die die Dinge beeinflussen könnten.