Was sind die neuesten Methoden, um einen Chat-Bot zu trainieren?

Ich möchte einen Bot trainieren, der Texteingabe verwendet, einige Kategorien auswendig lernt und Fragen entsprechend beantwortet. Zusätzlich möchte ich als Version 2.0 den Bot dazu bringen, auch Spracheingaben zu beantworten. Welches sind die neuesten Algorithmen für maschinelles Lernen / KI? Lass es mich wissen, bitte.

Ihre Frage ist unglaublich weit gefasst. Als Antwort möchte ich Sie bitten, zwei allgemeine Rahmenbedingungen zu betrachten:

1. Für die Entwicklung von Chatbot-Konversationen auf dem neuesten Stand http://rasa.ai ein Open-Source-Framework, das anpassungsfähiger ist als herkömmliche regelbasierte Systeme
2. Informationen zur Spracherkennung finden Sie unter https://discourse.mozilla.org/c/deep-speech , das ebenfalls Open Source ist.

Wenn sich Ihr Bot an wenige Kategorien "erinnert" und dann die Fragen beantwortet, ist dies im aktuellen Szenario völlig nutzlos. weil es in diesem Fall bei einem anderen Datensatz (Test-Set) sehr schlecht abschneidet. In der Statistik-Terminologie wird es als "Überanpassung" bezeichnet. Bei der Beantwortung von Fragen gibt es keine Faustregel, um "State-of-Art" -Algorithmen zu definieren. Sie können jedoch einige Modelle überprüfen, die bei Babi oder ähnlichen Datensätzen eine gute Leistung zeigten, z. B. dynamische Speichernetzwerke oder seQ2seQ-Modelle. Um eine grundlegende Vorstellung von diesem Bereich zu bekommen, würde ich Ihnen empfehlen, die grundlegende Umgangssprache des maschinellen Lernens zu lernen und dann zu einem Kurs zur Verarbeitung fortgeschrittener natürlicher Sprachen überzugehen (Stanford bietet CS224N an).

Bundesstaat AbuShawar & Atwell:

Ein Chatbot ist ein Konversationsagent, der mit den Benutzern abwechselnd in natürlicher Sprache interagiert. Verschiedene Chatbots oder Mensch-Computer-Dialogsysteme wurden unter Verwendung von Sprach- oder Textkommunikation entwickelt und in verschiedenen Bereichen angewendet, z. B.: Sprachforschung, Sprachunterricht, Kundendienst, Website-Hilfe und zum Spaß.

Ihre und andere Artikel vermitteln einige der vielen zeitgenössischen Ansätze für das Chatbot-Training zum Zeitpunkt dieses Schreibens.

Automatische Extraktion von Chatbot-Trainingsdaten aus Natural Dialogue Corpora , Bayan AbuShawar, Eric Atwell, 2016

Die meisten Chatbots beschränken sich jedoch auf Kenntnisse, die manuell in ihren Dateien enthalten sind, und auf eine bestimmte natürliche Sprache, die geschrieben oder gesprochen wird. In diesem Artikel wird das von uns entwickelte Programm vorgestellt, mit dem ein maschinenlesbarer Text (Korpus) in ein bestimmtes Chatbot-Format konvertiert wird. Anschließend wird ein Chatbot neu trainiert und ein Chat generiert, der der menschlichen Sprache näher kommt. Es wurden verschiedene Korpora verwendet: Dialogkorpora wie der British National Corpus of English (BNC); das heilige Buch des Islam Quran, das ein Monologkorpus ist, in dem Vers und nachfolgender Vers abwechselnd sind; und die FAQ, in denen Fragen und Antworten zwei Runden sind. Das Hauptziel dieses Automatisierungsprozesses ist die Fähigkeit, verschiedene Chatbot-Prototypen zu generieren, die basierend auf dem Korpus verschiedene Sprachen sprechen.

Auswahl kontextunsicherer Chatbot-Aktionen durch parametrisiertes Lernen zur zusätzlichen Verstärkung , Chuandong Yin, Rui Zhang, Jianzhong Qi, Yu Sun und Tenglun Tan, 2018

Wir schlagen einen Chatbot vor, der sich der Kontextunsicherheit bewusst ist, und ein RL-Modell (Reinforcement Learning), um den Chatbot zu trainieren. Das vorgeschlagene Modell heißt Parametrized Auxiliary Asynchronous Advantage Actor Critic (PA4C). Wir verwenden einen Benutzersimulator, um die Unsicherheit des Vertrauens der Benutzer in einen Konversationskontext zu simulieren. Im Vergleich zu naiven regelbasierten Ansätzen vermeidet unser über das PA4C-Modell trainierter Chatbot die Auswahl handgefertigter Aktionen und ist robuster gegenüber Abweichungen von Benutzeräußerungen. Das PA4C-Modell optimiert herkömmliche RL-Modelle mit Aktionsparametrisierung und Hilfsaufgaben für das Chatbot-Training, die die Probleme eines großen Aktionsraums und von Null-Belohnungszuständen angehen. Wir bewerten das PA4C-Modell, indem wir einen Chatbot für Aufgaben zur Erstellung von Kalenderereignissen trainieren.

Training für überwachtes Lernsystem unter Verwendung von Chatbot-Interaktion , US-Patentanmeldungsveröffentlichung 0034828 A1, International Business Machines Corporation, Armonk, NY, USA, 2019

Computerimplementiertes Verfahren, umfassend das Empfangen und Analysieren eines Datenpunkts zum Bestimmen von Parametern des Datenpunkts, das Erzeugen eines Alarmtickets basierend auf der Analyse des Datenpunkts, das Übermitteln von mindestens einigen im Alarmticket enthaltenen Informationen über einen Chatbot an einen oder mehr Benutzer und Kategorisieren des Datenpunkts, der zum Alarmticket geführt hat, über den Chatbot basierend auf dem Verhalten eines Geräts, das den Datenpunkt generiert hat. Jonathan A. Cagadas, Alexander D. Lewitt, Simon D. Mikulcik, Karan Shukla, Leigh A. Williamson

Zweistufiges Training und gemischte Codierung-Decodierung zur Implementierung eines generativen Chatbots mit einem kleinen Dialogkorpus , Jintae Kim, Hyeon-Gu Lee, Harksoo Kim, Yeonsoo Lee, Young-Gil Kim, 2016

Generative Chatbot-Modelle, die auf Sequenz-zu-Sequenz-Netzwerken basieren, können natürliche Konversationsinteraktionen erzeugen, wenn ein riesiger Dialogkorpus als Trainingsdaten verwendet wird. Mit Ausnahme einiger weniger Sprachen wie Englisch und Chinesisch bleibt es jedoch schwierig, ein großes Dialogkorpus zu sammeln. Um dieses Problem anzugehen, schlagen wir ein Chatbot-Modell vor, das eine Mischung aus Wörtern und Silben als Codierungs- / Decodierungseinheiten verwendet. Darüber hinaus schlagen wir eine zweistufige Trainingsmethode vor, die das Pre-Training mit einem großen Nicht-Dialog-Korpus und das Re-Training mit einem kleinen Dialog-Korpus umfasst. In unseren Experimenten wurde gezeigt, dass die Mischungseinheiten dazu beitragen, Probleme mit dem Wortschatz (OOV) zu reduzieren. Darüber hinaus reduzierte die zweistufige Trainingsmethode effektiv grammatikalische und semantische Fehler in Antworten, wenn der Chatbot unter Verwendung eines kleinen Dialogkorpus trainiert wurde (533,

Submodularitätsinspirierte Datenauswahl für zielorientiertes Chatbot-Training basierend auf Satzeinbettungen , Mladen Dimovski, Claudiu Musat, Vladimir Ilievski, Andreea Hossmann, Michael Baeriswyl, 2018

SLU-Systeme (Spoken Language Understanding), wie z. B. zielorientierte Chatbots oder persönliche Assistenten, stützen sich auf ein NLU-Modul (Initial Natural Language Understanding), um die Absicht zu bestimmen und die relevanten Informationen aus den Benutzeranfragen zu extrahieren, die sie als Eingabe verwenden. SLU-Systeme helfen Benutzern normalerweise bei der Lösung von Problemen in relativ engen Domänen und erfordern eine große Menge an Trainingsdaten innerhalb der Domäne. Dies führt zu erheblichen Datenverfügbarkeitsproblemen, die die Entwicklung erfolgreicher Systeme behindern. Um dieses Problem zu lösen, schlagen wir eine Technik zur Datenauswahl im Niedrigdatenbereich vor, die es uns ermöglicht, mit weniger beschrifteten Sätzen und damit geringeren Beschriftungskosten zu trainieren. Wir schlagen eine von der Submodularität inspirierte Datenrankingfunktion vor, den Verhältnis-Straf-Grenzgewinn. zum Auswählen von Datenpunkten, die beschriftet werden sollen, basierend auf den Informationen, die aus dem Text-Einbettungsbereich extrahiert wurden. Wir zeigen, dass die Abstände im Einbettungsraum eine brauchbare Informationsquelle sind, die für die Datenauswahl verwendet werden kann. Unsere Methode übertrifft zwei bekannte aktive Lerntechniken und ermöglicht ein kosteneffizientes Training der NLU-Einheit. Darüber hinaus muss bei unserer vorgeschlagenen Auswahlmethode das Modell nicht zwischen den Auswahlschritten umgeschult werden, wodurch es auch zeiteffizient ist.

Sie können mit wiederkehrenden neuronalen Netzen mit LSTM oder GRU als Speicherzellen und Worteinbettungen wie Word2vec arbeiten. Strahlensuch- und Aufmerksamkeitsmodelle können auch mit den RNNs für mehr Robustheit und weniger Vorspannung verwendet werden. Die Ergebnisse sind jedoch nur bis zu einem gewissen Grad spürbar, da die Forschung auf diesem Gebiet noch heiß ist und noch viel zu enträtseln ist.