Was ist ein asymptotischer Fehler?

• Ng, AY und Jordan, MI (2001). Über diskriminative vs. generative Klassifikatoren: Ein Vergleich von logistischer Regression und naiven Bayes . Fortschritte in neuronalen Informationsverarbeitungssystemen, 14 , S. 841-8, MIT Press.

In der obigen Arbeit erwähnten die Autoren "asymptotischen Fehler". Kann jemand etwas darüber erklären?

Zum Beispiel enthält die Zusammenfassung des Papiers:

Diskriminatives Lernen hat einen geringeren asymptotischen Fehler, ein generativer Klassifikator kann sich auch seinem höheren asymptotischen Fehler viel schneller nähern.

Was ist die genaue Definition von "asymptotischer Fehler"?

Dies bedeutet den Fehler einer Methode, wenn Sie die gesamte Grundgesamtheit durchlaufen. Es ist ein nützliches Maß für die Methode, da es Ihnen sagt, was das Beste ist, was Sie mit einer Methode erreichen können. Außerdem möchten Sie wissen, wie schnell die Methode zum asymptotischen Fehler konvergiert, da Sie die Grundgesamtheit in den meisten Fällen nicht wirklich ausführen können.

Was es bedeutet, ist nur der Fehler, für den der Algorithmus asymptotisch ist. Angenommen, wir haben einen Fehler, der der begrenzende Fehler ist, den ein Algorithmus nach einer Reihe von Iterationen erreichen kann, egal wie viele. Der Fehler für die -Iteration ist dann (typischerweise) größer als der Fehler, der mit einer begrenzten Anzahl von Iterationen verbunden ist. Der Text vergleicht einen größeren Terminalfehler, der schnell für weniger Iterationen erreicht wird, mit einem kleineren Terminalfehler, für dessen Erreichung mehr Iterationen erforderlich sind.$i^{th}$

Ein Problem dabei ist, dass der Terminalfehler möglicherweise nur relativ konstant ist, so dass die verwendete Sprache ungenau ist. Im Zitat bedeutet "niedriger" einen kleineren absoluten Fehler und "höher" einen größeren absoluten Fehler.