Vergleich zwischen luis.ai vs api.ai vs wit.ai?

80

Kennt jemand die spezifischen Unterschiede und Funktionen zwischen den drei oder ob man mehr Funktionen / flexibler als Entwickler verwenden kann?

Thomas G.
quelle
4
Dies ist ein wirklich schöner Artikel, der einen Vergleich zwischen diesen behandelt! stanfy.com/blog/…
Omar Shehata
@OmarShehata bitte geben Sie das in eine Antwort.
Mokhtar Ashour
Erledigt! @ MokhtarAshour
Omar Shehata
@OmarShehata upvoted!
Mokhtar Ashour

Antworten:

95

wit.ai Dialogflow luis.aivs vs

╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║                                      wit.ai vs api.ai(Dialogflow) vs luis.ai                                                 ║
╠══════╦════════════════════════════════════╦═════════════════════════════════════════════╦════════════════════════════════════╣
║ S.No ║               Wit.ai               ║          Api.ai(Dialogflow)                 ║               Luis.ai              ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 1    ║ Wit.ai API is completely free      ║ Api.ai Has a paid enterprise option         ║ LUIS is in beta and free to use    ║
║      ║ with no limitations on             ║ which allows for this to be run on a        ║ 10K transactions per month         ║
║      ║ request rates.                     ║ private cloud internally and more           ║ and up to 5 requests per second    ║
║      ║                                    ║ from their services team., After google     ║ for each account.                  ║
║      ║                                    ║ acquisition they are providing free         ║                                    ║
║      ║                                    ║ services by integrating google cloud        ║                                    ║
║      ║                                    ║ services.                                   ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 2    ║ Provides a nice combination        ║ Speech to Text and Text to Speech           ║ LUIS uses machine learning         ║
║      ║ of both voice recognition and      ║ capabilities, along with machine            ║ based methods to analyze           ║
║      ║ machine learning for developers.   ║ learning.                                   ║ sentences. To perform machine      ║
║      ║                                    ║                                             ║ learning, LUIS breaks an           ║
║      ║                                    ║                                             ║ utterance into "tokens".           ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 3    ║ Has two main elements to it        ║ Support of Intents, Entities, actions       ║ Supports Intents, Entities         ║
║      ║ that you set up within your        ║ and one key focus area is its “Domains”.    ║ and actions.                       ║
║      ║ app – intents and entities.        ║                                             ║                                    ║
║      ║ Actions are separated to           ║                                             ║                                    ║
║      ║ use as a combined operations.      ║                                             ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 4    ║ Has pre-build entities like        ║ Has pre-build entities like @sys.date,      ║ Has pre-build entities             ║
║      ║ temperature, number, URLs,         ║ @sys.color, @sys.unit-currency… etc.        ║ builtin.intent.alarm,              ║
║      ║ emails, duration… etc.             ║                                             ║ builtin.intent.calendar,           ║
║      ║                                    ║                                             ║ builtin.intent.email… etc.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 5    ║ Doesn’t have integration module    ║ Has integration module to connect           ║ Has integration to Microsoft       ║
║      ║ to directly communicating with     ║ directly to Facebook messenger and          ║ Azure and other services, can be   ║
║      ║ Facebook messenger or other        ║ other messenger api’s. Has support for      ║ deployable in any supported        ║
║      ║ messenger APIs. but has web        ║ deploying in to heroku server, enterprise   ║ servers.                           ║
║      ║ service api to hook services.      ║ paid environment.                           ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 6    ║ Early in 2015, joined Facebook     ║ Created by a team who built personal        ║ LUIS was introduced together with  ║
║      ║ and opened up the entire platform  ║ assistant app for major mobile platforms    ║ Microsoft Bot Framework and Skype  ║
║      ║ to be free for both public and     ║ with speech and text enabled conversations. ║ Developer Platform which can be    ║
║      ║ private instances.                 ║ acquired by google (sept 2016).             ║ used to create Skype Bots.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 7    ║ Wit.ai API for developers of iOS,  ║ Api.ai has SDKs for Android, iOS,           ║ LUIS allow building applications   ║
║      ║ Android, Node.js, Raspberry Pi,    ║ the Apple Watch, Node.js, Cordova,          ║ by using the LUIS web interface.   ║
║      ║ Ruby, Python, C, Rust and          ║ Unity, C#, Xamarin, Windows Phone,          ║ No coding needed other than the    ║
║      ║ Windows Phone. It even             ║ Python and JavaScript. It also can be       ║ ability to interpret and use the   ║
║      ║ has a JavaScript plugin for        ║ integrated with Amazon’s Echo and           ║ returned JSON in application.      ║
║      ║ front end developers.              ║ Microsoft’s Cortana.                        ║ It is also possible to use the     ║
║      ║                                    ║                                             ║ LUIS REST API for                  ║
║      ║                                    ║                                             ║ automation of applications.        ║
╚══════╩════════════════════════════════════╩═════════════════════════════════════════════╩════════════════════════════════════╝

Update: API.AI ist jetzt Dialogflow. Erfahren Sie hier mehr.

Chandra Sekhar
quelle
3
Das LUIS-Monatslimit wird auf 10.000 statt 100.000 gesenkt
Mokhtar Ashour,
5
Api.ai hat seit der Übernahme durch Googe die Obergrenze für Anfragen nach der kostenlosen Version aufgehoben. Und Api.ai ist meiner bescheidenen Meinung nach das effizienteste und am besten gestaltete, obwohl ich Luis noch nie benutzt habe.
Chris - Jr
Unterstützt Luis selbst die Funktion "Speech to Text" wie "api.ai", ohne ein anderes Produkt zu kaufen?
Tariq
@Tariq LUIS konzentriert sich ausschließlich auf die Verarbeitung und Tokenisierung natürlicher Sprachen. Es gibt einen separaten Dienst von Microsoft Cognitive Services, der sich darum kümmert: Bing Speech API
Markierungsstile
Hey Chandra, ich kann die kostenpflichtige Unternehmensoption für api.ai nicht finden, wie Sie erwähnt haben. Können Sie mir helfen?
Abhishek
45

Dieser Blogpost bietet eine wirklich gute Analyse und einen Vergleich der Dienste von Luis, Wit.ai, Api.ai, Amazon Alexa und IBM Watson. Es hat auch einen schönen Hintergrund darüber, warum Sie überhaupt einen Konversationsbot erstellen möchten, und einige der damit verbundenen Herausforderungen. Es wurde von den Leuten hinter YumiBot geschrieben (ein Bot, der Ihnen Preisangebote für die App-Entwicklung gibt).

Das Wichtigste ist, dass Wit.ai und Luis eine gute Wahl sind, wenn Sie experimentieren und einfach nur etwas kostenlos herausholen möchten. Api.ai hat einen großartigen Service und Benutzererfahrung, ist aber nicht kostenlos. Das Gleiche gilt für IBM Watson , letztere priced mehr für Unternehmen zu arbeiten. Alexas API ist großartig, funktioniert aber nur mit Alexa (aber angesichts der großen Nutzerbasis ist das kein schlechtes Geschäft).

Ihr Rat ist auch, sich nicht zu sehr auf einen Anbieter zu verlassen:

Wir empfehlen Ihnen, alle für Ihr Modell benötigten Daten strukturiert in Ihrem eigenen Code-Repository zu speichern. So können Sie das Modell später von Grund auf neu trainieren oder bei Bedarf sogar den Sprachverständnisanbieter wechseln. Sie möchten einfach nicht in einer Situation sein, in der ein Unternehmen seinen Dienst einstellt und Sie völlig unvorbereitet sind. Erinnerst du dich an Parse?

Ich hoffe das hat ein wenig geholfen! Ich denke, der beste Weg, eine Wahl zu treffen, besteht darin, diese Dienste einfach auszuprobieren. Angesichts der Tatsache, dass viele von ihnen noch in der Entwicklung sind und Funktionen hinzufügen / Preismodelle ändern, sollten Sie versuchen, sie mit einem bestimmten Anwendungsfall zu betrachten und herauszufinden, welcher Sie am schnellsten dorthin bringt, wo Sie ihn benötigen.

Omar Shehata
quelle
3
Api.ai ist jetzt kostenlos, nachdem Google es erworben hat.
Nguyên
8

Wir haben kürzlich eine Evaluierungsstudie zu sieben NLU-API-fähigen Diensten veröffentlicht : API.ai, Amazon Lex, Microsoft LUIS, IBM Watson Conversation, wit.ai, Recast.ai und Snips.ai.

Eine kurze Zusammenfassung unserer Ergebnisse:

  • Die Erkennung von IBM Watson-Absichten ist die beste, insbesondere bei kleineren Trainingsdatensätzen (obwohl der Unterschied beim Training mit über 2000 Stichproben nicht zu unterscheiden ist).
  • API.AI ist kostenlos. Die Leistung eines ausreichend großen Trainingssatzes entspricht IBM Watson und Microsoft LUIS.
  • Microsoft LUIS arbeitet in unseren Tests erheblich schneller als andere. wit.ai hat eine etwas schlechtere Leistung und Reaktionszeit als die drei oben genannten, ist jedoch kostenlos und bietet die beste Sprachabdeckung (ca. 50 Sprachen).
  • Amazon Lex hat recht strenge API-Grenzwerte (die Größe des Trainingssatzes ist auf 200 KB-Symbole begrenzt, was möglicherweise nicht ausreicht, um eine gute Absichtserkennungsqualität für einen Assistenten mit mehreren Absichten zu erreichen. Außerdem müssen alle Trainingsäußerungen von Entitäten gekennzeichnet werden, was kompliziert ist Vorbereitung des Datensatzes.
savenkov
quelle
7

Ein Aspekt dieser Frage ist, wie effizient diese Werkzeuge sind, um die natürliche Sprache zu verstehen. In einem kürzlich veröffentlichten Benchmark, den wir (Snips, ein französisches KI-Unternehmen) veröffentlicht haben, haben wir die integrierten Engines in natürlicher Sprache von Alexa (Amazon), SiriKit (Apple), Luis (Microsoft) und API.ai (Google) getestet.

Wir haben ihre Fähigkeit getestet, natürliche Fragen wie „Finde mir eine Salatbar, in die ich zu meinem Mittagessen gehen kann“, „Bestelle ein Taxi für 6 Personen“ sowie 326 andere Fragen zu verstehen.

Die allgemeine Schlussfolgerung ist, dass alle Lösungen unvollständig sind.

Genauer gesagt haben alle einen ähnlichen Geräuschpegel in ihren Antworten (zwischen 60% und 90% Genauigkeit), aber es gibt signifikante Unterschiede in der Breite der Sprache, die sie unterstützen können. Aus dieser Perspektive schneidet Luis am schlechtesten ab: In jedem von uns getesteten Anwendungsfall wurden weniger als 14% der Abfragen verstanden. API.ai bietet eine bessere Leistung, wenn auch nicht sehr zuverlässig: Je nach Anwendungsfall werden zwischen 0 und 80% der von uns getesteten Abfragen verstanden. Die höchsten Rückrufquoten sind bei Alexa (42% und 82% Rückruf) und Siri (61% Rückruf) zu beobachten.

Weitere Details und die Rohdaten hinter diesen Ergebnissen finden Sie in unserem Blogbeitrag Benchmarking Natural Language Understanding Systems

Joseph Dureau
quelle
2

Ich werde den letzten Teil Ihrer Frage zu Flexibilität und Entwickler beantworten. IMO kommt es endlich darauf an, wonach Sie auf diesen Plattformen suchen.

Wenn Sie ein Entwickler sind, der NodeJS oder .Net verwendet, verfügt LUIS.ai über eine umfangreiche Bibliothek und gut definierte Codefragmente und ein Beispiel, um einen anständigen Bot ziemlich schnell zu starten. Die Absichten und die Erkennung von Entitäten sind im Vergleich zu Google etwas unterdurchschnittlich, aber wenn Sie Microsoft Shop sind, gibt es viele 1-Klick-Integrationen für O365, Teams, Skype, Cortana usw. Die Nachteile von LUIS.ai sind anscheinend ihr Service Sehr instabil, zum jetzigen Zeitpunkt funktioniert die LUIS.ai-Website nicht und es werden mehr als eine Woche vergangen, in der die Cortana-Integration nicht funktioniert. Die Plattform ist also noch in Arbeit.

Api.ai ist aus einer reinen NLU-Perspektive besser als Luis.ai, die Follow-up-Absichten sind sehr einfach einzurichten, die Sprachgrundierung ist Luis.ai weit überlegen (auch nach der Sprachgrundierung). Die Nachteile, die ich sagen würde, sind die Verbindungsfähigkeit und auch die API zum Erstellen eines Bots etwas komplizierter als das Erstellen eines MSBot-basierten Chat-Bots.

Eine weitere Open-Source-Plattform, die an Bedeutung gewinnt, ist RASA NLU. https://rasa.com/ . Vergleichsweise ist die Entitätserkennung und das Ranking bei großen Datenmengen immer noch etwas lückenhaft, aber es handelt sich um Open Source-Quellen. Wenn Sie sich die Hände schmutzig machen möchten, können Sie die Github-Plattform aufteilen und verbessern.

Aus einer reinen Entwicklungsperspektive ist es einfacher, einen Chatbot auf der MS-Plattform hochzufliegen (mit luis.ai oder qnamaker.ai), aber seien Sie bereit, Herausforderungen zu haben, wenn Sie an der Stabilisierung der Plattform arbeiten.

-Kartik

Kartik
quelle
1

Meiner Meinung nach ist Luis robuster und kann Entitäten in verschiedenen Sprachen extrahieren. Ich habe in api.ai getestet und Niederländisch hat bei mir nicht funktioniert. Wenn Sie nur Englisch benötigen, sollte eine davon in Ordnung sein. Wenn Sie jedoch mehr Sprachen unterstützen müssen, sollten Sie diese Sprachen auch besser testen, bevor Sie mit einem Dienst nicht weiterkommen. Bing Speech to Text ist in Ordnung, aber ich denke, um eine robustere Lösung zu erhalten, benötigen Sie einen anderen Microsoft-Dienst, der Sprache und Rauschen reinigt.

andreja
quelle
0

Ich habe DialogFlow verwendet, aber zu LUIS gewechselt. Warum? Denn wenn Sie DetectIntent in DialogFlow aufrufen, erhalten Sie einen JSON mit der ausgewählten Absicht und ihrem Konfidenzniveau, aber ich muss eine Liste von Absichten mit dem Konfidenzniveau jedes einzelnen erhalten. Das gleiche passiert mit wit.ai und api.ai.

Auf der anderen Seite gibt Ihnen LUIS eine Liste mit Absichten als Antwort. Auf diese Weise kann ich meine Seite weiter bearbeiten.

Dies ist ein Beispiel von LUIS, wenn Sie nach "Flug nach Kairo buchen" suchen (Teil des LUIS-Beispiels):

 {
   "query": "Book me a flight to Cairo",
   "topScoringIntent": {
       "intent": "BookFlight",
       "score": 0.9887482
   },
   "intents": [
       {
           "intent": "BookFlight",
           "score": 0.9887482
       },
       {
           "intent": "None",
           "score": 0.04272597
       },
       {
           "intent": "LocationFinder",
           "score": 0.0125702191
       },
       {
           "intent": "Reminder",
           "score": 0.00375502417
       },
       {
           "intent": "FoodOrder",
           "score": 3.765154E-07
       },
   ],
   "entities": [
       {
           "entity": "cairo",
           "type": "Location",
           "startIndex": 20,
           "endIndex": 24,
           "score": 0.956781447
       }
   ]
}

Andererseits ist die Benutzeroberfläche zum Konfigurieren von DialogFlow viel leistungsfähiger als die, die Sie mit LUIS erhalten.

Francisco Goldenstein
quelle