Ich habe diese Frage in übergreifenden Fragen und Antworten gestellt, aber es scheint, dass sie viel mehr mit CS zu tun hat als mit Statistik. Können Sie mir Beispiele für Algorithmen des maschinellen Lernens nennen, die aus den statistischen Eigenschaften des Datensatzes und nicht aus den...
Angenommen, wir haben ein einschichtiges neuronales Feed-Forward-Netzwerk mit k Eingängen und einem Ausgang. Es berechnet eine Funktion aus . Es ist ziemlich leicht zu erkennen, dass diese mindestens die gleiche Rechenleistung wie A C 0 hat . Nur zum Spaß nennen wir den Satz von Funktionen, die von...
Das Johnson-Lindenstrauss-Lemma ermöglicht die Darstellung von Punkten in einem hochdimensionalen Raum in Punkte in einer niedrigeren Dimension. Wenn Sie am besten passende Räume mit niedrigeren Dimensionen finden, besteht eine Standardtechnik darin, die Singularwertzerlegung zu finden und dann den...
Es ist bekannt, dass es für das PAC-Lernen natürliche Konzeptklassen gibt (z. B. Untergruppen von Entscheidungslisten), für die es polynomielle Lücken zwischen der Komplexität der Stichprobe, die für das informationstheoretische Lernen durch einen rechnerisch unbegrenzten Lernenden benötigt wird,...
Ich habe einen Datensatz mit Tausenden von Punkten und ein Mittel zum Messen des Abstands zwischen zwei beliebigen Punkten, aber die Datenpunkte haben keine Dimensionalität. Ich möchte, dass ein Algorithmus Cluster-Zentren in diesem Datensatz findet. Ich stelle mir vor, dass ein Clusterzentrum aus...
Es ist bekannt, dass für eine Konzeptklasse mit der VC-Dimension d ausreicht, um O ( d) zu erhaltenC.C\mathcal{C}dddmarkierte Beispiele lernen PACC. Mir ist nicht klar, ob der PAC-Lernalgorithmus (der diese vielen Beispiele verwendet) richtig oder unpassend ist. In den Lehrbüchern von Kearns und...
Hier ist ein Problem mit einem ähnlichen Geschmack wie beim Lernen von Juntas: Eingabe: Eine Funktion f: { 0 , 1 }n→ { - 1 , 1 }f:{0,1}n→{−1,1}f: \{0,1\}^n \rightarrow \{-1,1\} , dargestellt durch ein Mitgliedschaftsorakel, dh ein Orakel, das xxx , gibt f( x )f(x)f(x) . Ziel: Finden Sie einen...
Dana Angluin ( 1987 ; pdf ) definiert ein Lernmodell mit Mitgliedschaftsabfragen und theoretischen Abfragen (Gegenbeispiele zu einer vorgeschlagenen Funktion). Sie zeigt, dass eine reguläre Sprache, die durch einen minimalen DFA von Zuständen dargestellt wird, in Polynomzeit (wobei die...
Ich bin mit dem Gradientenabstiegsalgorithmus vertraut, der das lokale Minimum (Maximum) einer bestimmten Funktion ermitteln kann. Gibt es eine Modifikation des Gradientenabfalls, die es ermöglicht, ein absolutes Minimum (Maximum) zu finden, bei dem die Funktion mehrere lokale Extrema hat? Gibt es...
DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in Cerr(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]OPT(C,D)=minf∈C err(f,D)OPT(C,D)=minf∈C err(f,D)OPT(C,D) = \min_{f \in C}\...
Einige Hintergrundinformationen: Ich bin daran interessiert, "weniger bekannte" Untergrenzen (oder Härteergebnisse) für das Problem "Lernen mit Fehlern" (LWE) und Verallgemeinerungen wie "Lernen mit Fehlern über Ringe" zu finden. Für spezifische Definitionen usw. finden Sie hier eine schöne Umfrage...
Auf cs.stackexchange fragte ich nach der Algebird- Scala-Bibliothek auf Github und spekulierte darüber, warum sie möglicherweise ein abstraktes Algebra-Paket benötigen. Die Github-Seite enthält einige Hinweise: Implementierungen von Monoiden für interessante Approximationsalgorithmen wie...
Insbesondere bitte ich um Ressourcen, um mehr über maschinelle Lernsysteme zu erfahren, die ihre jeweiligen Glaubensnetzwerke (oder gleichwertige) während des Betriebs aktualisieren können. Ich bin sogar auf einige gestoßen, obwohl ich sie nicht mit einem Lesezeichen versehen konnte. Wie Sie sich...
Welche Klassifikatoren für maschinelles Lernen sind am parallelsten? Wenn Sie ein schwieriges Klassifizierungsproblem hätten, eine begrenzte Zeit, aber ein anständiges LAN an Computern, mit denen Sie arbeiten könnten, welche Klassifizierer würden Sie versuchen? Auf den ersten Blick sieht es für...
Es ist bekannt, dass für das klassische PAC-Lernen Beispiele für erforderlich sind, um eine Fehlergrenze von ε whp zu erreichen, wobei d die VC-Dimension der Konzeptklasse ist.Ω(d/ε)Ω(d/ε)\Omega(d/\varepsilon)εε\varepsilonddd Ist bekannt, dass im agnostischen Fall Beispiele für benötigt...
Ich bin mit der Theorie hinter VC-Dimension ziemlich vertraut, aber ich schaue jetzt auf die jüngsten (letzten 10 Jahre) Fortschritte in der statistischen Lerntheorie: (lokale) Rademacher-Durchschnittswerte, Massarts Finite-Klassen-Lemma, Deckungszahlen, Verkettung, Dudleys Theorem,...
Vor kurzem habe ich eine anständige Anzahl von CoLT-Artikeln gelesen. Obwohl ich nicht mit den einzelnen Arbeiten zu kämpfen habe (zumindest nicht mehr als ich normalerweise mit anderen theoretischen Arbeiten zu kämpfen habe), habe ich nicht das Gefühl, dass ich das gesamte Gebiet gut verstehe....
Ich suche nach der VC-Dimension des folgenden Set-Systems. Universum so dass . Im Mengen-System jede Menge einer Kugel in so dass die Menge genau dann ein Element in enthält, wenn die entsprechende Kugel es enthält in .U={p1,p2,…,pm}U={p1,p2,…,pm}U=\{p_1,p_2,\ldots,p_m\}U⊆R3U⊆R3U\subseteq...
Ich meine speziell Sprachfamilien, die beliebig lange Zeichenfolgen zulassen - keine Konjunktionen über n Bits oder Entscheidungslisten oder eine andere "einfache" Sprache, die in {0,1} ^ n enthalten ist. Ich frage nach "automatentheoretischen" regulären Sprachen im Gegensatz zu...
Background––––––––––––––Background_\underline{\bf Background} Im Jahr 2005 führte Regev [1] das Problem des Lernens mit Fehlern (Learning with Errors, LWE) ein, eine Verallgemeinerung des Problems der Lernparität mit Fehlern. Die Annahme der Härte dieses Problems für bestimmte Parameterauswahl...