Gibt es andere Hypothesenklassen als Parität in Noisy PAC, aber nicht in SQ?

Angluin und Laird ('88) formalisierten das Lernen mit zufällig verfälschten Daten im Modell "PAC mit zufälligem Klassifizierungsrauschen" (oder verrauschtem PAC). Dieses Modell ähnelt dem PAC-Lernen , mit der Ausnahme, dass die Bezeichnungen der Beispiele, die dem Lernenden gegeben wurden, unabhängig voneinander zufällig mit einer Wahrscheinlichkeit verfälscht (umgedreht) werden .$\eta < 1/2$

Kearns ('93) führte das Statistical Query Model (SQ) zum Lernen ein, um zu charakterisieren, was im lauten PAC-Modell lernbar ist . In diesem Modell kann ein Lernender ein statistisches Orakel nach Eigenschaften der Zielverteilung abfragen, und er hat gezeigt, dass jede Klasse, die SQ-lernbar ist, in verrauschtem PAC lernbar ist. Kearns bewies auch, dass Paritäten auf Variablen für eine Konstante nicht schneller als rechtzeitig gelernt werden können .$n$$2^{n/c}$$c$

Dann haben Blum et al. ('00) trennte verrauschtes PAC von SQ, indem gezeigt wurde, dass Paritäten auf dem ersten im verrauschten PAC-Modell polynomial lernbar sind, im SQ-Modell jedoch nicht.$(\log(n) \log\log(n))$

Meine Frage lautet:

Paritäten (für die ersten Variablen ) können im verrauschten PAC-Modell gelernt werden, nicht jedoch im SQ-Modell. Gibt es andere spezifische Klassen, die sich ausreichend von der Parität unterscheiden und bekanntermaßen in lautem PAC, aber nicht in SQ lernbar sind?$(\log(n) \log\log(n))$

Ich denke, dass die Antwort "nein" ist, obwohl ich nicht sicher bin und mich auch für andere Beispiele interessieren würde. Bekannt ist, dass agnostisches Lernen aus informationstheoretischer Sicht im SQ-Modell erheblich schwieriger ist. Das agnostische Lernen monotoner Disjunktionen zu Fehler-Epsilon erfordert nur Beispiele in der PAC-Einstellung (obwohl die Aufgabe des Lernens dann möglicherweise rechenintensiv sein kann ...). Im SQ-Modell gibt es keinen agnostischen Lernalgorithmus für monotone Disjunktionen, der in Bezug auf die Anzahl der durchgeführten Abfragen eine polynomielle Abhängigkeit von , selbst wenn rechnerische Überlegungen ignoriert werden.$d/\epsilon^2$$1/\epsilon$

Das ist eine gute Frage. Ich denke, Sie suchen nach einer anderen Trenntechnik und nicht nur nach einer anderen Funktionsklasse (da es einfach ist, natürliche und künstliche Beispiele für Konzeptklassen zu nennen, deren Trennung immer noch auf dem BKW-Ergebnis beruht). Ich würde noch weiter gehen und sagen, dass selbst das Paritätsbeispiel keine entscheidende Trennung ist, da das SQ-Modell das Lernen mit einer inversen Polynomrate nahe 1/2 ermöglicht, während BKW kein Rauschen der Rate zulässt . Ich denke, es wäre interessant, eine "reine" Trennung zu finden. Es scheint, dass dies auch eine neue Technik erfordern würde, die Ihre ursprüngliche Frage beantwortet.$1/2-n^{-\epsilon}$