Algorithmen für statistische Abfragemodelle?

Ich habe diese Frage in übergreifenden Fragen und Antworten gestellt, aber es scheint, dass sie viel mehr mit CS zu tun hat als mit Statistik.

Können Sie mir Beispiele für Algorithmen des maschinellen Lernens nennen, die aus den statistischen Eigenschaften des Datensatzes und nicht aus den einzelnen Beobachtungen selbst lernen, dh das statistische Abfragemodell verwenden ?

Fast jeder Algorithmus, der im PAC-Modell funktioniert (mit Ausnahme der Paritätslernalgorithmen), kann im SQ-Modell verwendet werden. Siehe z. B. diese Veröffentlichung von Blum et al. in dem mehrere gängige Algorithmen in ihre SQ-Entsprechungen übersetzt werden ( Practical Privacy: das SuLQ-Framework ). Das Papier befasst sich im Prinzip mit "Privatsphäre", aber Sie können das ignorieren - es implementiert wirklich nur Algorithmen mit SQ-Abfragen.

Agnostisches Lernen ist im SQ-Modell hingegen viel schwieriger: Abgesehen von den (wichtigen) Rechenproblemen entspricht die für agnostisches Lernen erforderliche Beispielkomplexität in etwa der für genaues Lernen erforderlichen, wenn Sie tatsächlich Zugriff auf haben die Datenpunkte. Auf der anderen Seite wird das agnostische Lernen im SQ-Modell sehr viel schwieriger - Sie müssen in der Regel überpolynomiell viele Abfragen durchführen, selbst für Klassen, die so einfach wie monotone Disjunktionen sind. Siehe dieses Paper von Feldman ( Eine vollständige Charakterisierung des Lernens statistischer Abfragen mit Anwendungen zur Evolvabilität ) oder dieses kürzlich erschienene Paper von Gupta et al. ( Konjunktionen privat freigeben und die statistische Abfragesperre )

Das SQ-Modell wurde erstellt, um das lärmtolerante Lernen zu analysieren. Ein Algorithmus, der statistische Abfragen durchführt, funktioniert unter der Klassifizierung Lärm. Wie Aaron sagte, haben die meisten PAC-Algorithmen, die wir haben, Entsprechungen im SQ-Modell. Die einzige Ausnahme ist die Gaußsche Eliminierung, die zum Lernen von Paritäten verwendet wird (man kann sie sogar clever anwenden)log (n) loglog (n) Größenparitäten im Klassifikationsrauschmodell lernen). Wir wissen auch, dass Paritäten nicht mit statistischen Abfragen gelernt werden können, und es stellt sich heraus, dass die interessantesten Klassen wie Entscheidungsbäume Paritätsfunktionen simulieren können. Um PAC-Lernalgorithmen für viele interessante Klassen (wie Entscheidungsbäume, DNF usw.) zu erhalten, benötigen wir grundlegend neue Lernalgorithmen, die im statistischen Abfragemodell nicht funktionieren.

Ich möchte Aarons Antwort etwas klarstellen. Nahezu jeder Agnostik-Algorithmus (außer alles, was die Gaußsche Eliminierung verwendet) kann im SQ-Modell verwendet werden. Agnostisches Lernen ist natürlich schwieriger als nicht-agnostisches Lernen, aber dies ist eine eigenständige Frage.