Theoretische Informatik machine-learning

1

Agnostisches Lernen über beliebige Verteilungen

DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in Cerr(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]OPT(C,D)=minf∈C err(f,D)OPT(C,D)=minf∈C err(f,D)OPT(C,D) = \min_{f \in C}\ err(f,D) Angenommen, ein Algorithmus lernt C agnostisch über jede Verteilung, wenn er für jedes D mit einer Wahrscheinlichkeit von 2/3 eine Funktion f finden kann, so dass err (f, D) \ leq OPT (C, …

11 reference-request machine-learning lg.learning

3

Richtiges PAC-Lernen VC-Dimensionsgrenzen

Es ist bekannt, dass für eine Konzeptklasse mit der VC-Dimension d ausreicht, um O ( d) zu erhaltenC.C\mathcal{C}dddmarkierte Beispiele lernen PACC. Mir ist nicht klar, ob der PAC-Lernalgorithmus (der diese vielen Beispiele verwendet) richtig oder unpassend ist. In den Lehrbüchern von Kearns und Vazirani sowie Anthony und Biggs scheint der …

11 machine-learning boolean-functions lg.learning vc-dimension pac-learning

2

Einführungsressourcen zur Theorie des computergestützten Lernens

Vor kurzem habe ich eine anständige Anzahl von CoLT-Artikeln gelesen. Obwohl ich nicht mit den einzelnen Arbeiten zu kämpfen habe (zumindest nicht mehr als ich normalerweise mit anderen theoretischen Arbeiten zu kämpfen habe), habe ich nicht das Gefühl, dass ich das gesamte Gebiet gut verstehe. Gibt es einen Standardtext, Umfragen …

10 reference-request machine-learning lg.learning survey books

3

Ressource / Buch für die jüngsten Fortschritte in der statistischen Lerntheorie

Ich bin mit der Theorie hinter VC-Dimension ziemlich vertraut, aber ich schaue jetzt auf die jüngsten (letzten 10 Jahre) Fortschritte in der statistischen Lerntheorie: (lokale) Rademacher-Durchschnittswerte, Massarts Finite-Klassen-Lemma, Deckungszahlen, Verkettung, Dudleys Theorem, Pseudodimension, Fat Shattering Dimension, Packungszahlen, Rademacher-Zusammensetzung und möglicherweise andere Ergebnisse / Werkzeuge, die mir nicht bekannt sind. Gibt …

10 reference-request machine-learning lg.learning books vc-dimension

1

Untergrenze der agnostischen PAC-Probenahme

Es ist bekannt, dass für das klassische PAC-Lernen Beispiele für erforderlich sind, um eine Fehlergrenze von ε whp zu erreichen, wobei d die VC-Dimension der Konzeptklasse ist.Ω(d/ε)Ω(d/ε)\Omega(d/\varepsilon)εε\varepsilonddd Ist bekannt, dass im agnostischen Fall Beispiele für benötigt werden?Ω(d/ε2)Ω(d/ε2)\Omega(d/\varepsilon^2)

10 lg.learning machine-learning

1

Welche Klassifikatoren für maschinelles Lernen sind am parallelsten?

Welche Klassifikatoren für maschinelles Lernen sind am parallelsten? Wenn Sie ein schwieriges Klassifizierungsproblem hätten, eine begrenzte Zeit, aber ein anständiges LAN an Computern, mit denen Sie arbeiten könnten, welche Klassifizierer würden Sie versuchen? Auf den ersten Blick sieht es für mich wie einige Standardklassifikatoren aus, von denen ich weiß, dass …

10 lg.learning machine-learning dc.parallel-comp

5

Was sind gute Referenzen zum Verständnis des Online-Lernens?

Insbesondere bitte ich um Ressourcen, um mehr über maschinelle Lernsysteme zu erfahren, die ihre jeweiligen Glaubensnetzwerke (oder gleichwertige) während des Betriebs aktualisieren können. Ich bin sogar auf einige gestoßen, obwohl ich sie nicht mit einem Lesezeichen versehen konnte. Wie Sie sich vorstellen können, ist es ein ziemlich herausforderndes Thema, im …

10 reference-request machine-learning lg.learning ai.artificial-intel online-learning

5

Können neuronale Netze verwendet werden, um Algorithmen zu entwickeln?

Nach den immer neueren Erfolgen neuronaler Netze beim Spielen von Brettspielen könnte das nächste Ziel, das wir uns gesetzt haben, nützlicher sein, als Menschen in Starcraft zu schlagen. Genauer gesagt fragte ich mich, ob Können neuronale Netze trainiert werden, um klassische algorithmische Probleme zu lösen? Hier meine ich, dass das …

9 cc.complexity-theory ds.algorithms machine-learning ne.neural-evol

2

Theoretische Ergebnisse für zufällige Wälder?

Zufällige Wälder haben unter Praktikern den Ruf, zu den effektivsten Klassifizierungstechniken zu gehören. In der lerntheoretischen Literatur, aus der ich das Fehlen tiefer theoretischer Ergebnisse vermute, begegnen wir ihnen jedoch nicht viel. Wenn man sich mit dieser Theorie befassen wollte, wo würde man anfangen?

9 machine-learning lg.learning

1

VC-Dimension von Voronoi-Zellen in R ^ d?

Angenommen, ich habe Punkte in R d . Diese induzieren ein Voronoi-Diagramm. Wenn ich jedem der k Punkte ein ± Label zuweise , induzieren diese eine Binärfunktion auf R d . Frage: Wie groß ist die VC-Dimension all dieser möglichen Binärfunktionen, die durch einige k Punkte und eine gewisse Kennzeichnung …

9 cg.comp-geom machine-learning lg.learning convex-geometry high-dimensional-geometry

1

Lernen mit (signierten) Fehlern

Background––––––––––––––Background_\underline{\bf Background} Im Jahr 2005 führte Regev [1] das Problem des Lernens mit Fehlern (Learning with Errors, LWE) ein, eine Verallgemeinerung des Problems der Lernparität mit Fehlern. Die Annahme der Härte dieses Problems für bestimmte Parameterauswahl liegt nun den Sicherheitsnachweisen für eine Vielzahl von Post-Quanten-Kryptosystemen auf dem Gebiet der gitterbasierten …

9 cc.complexity-theory ds.algorithms cr.crypto-security machine-learning open-problem

2

VC-Dimension von Kugeln in 3 Dimensionen

Ich suche nach der VC-Dimension des folgenden Set-Systems. Universum so dass . Im Mengen-System jede Menge einer Kugel in so dass die Menge genau dann ein Element in enthält, wenn die entsprechende Kugel es enthält in .U={p1,p2,…,pm}U={p1,p2,…,pm}U=\{p_1,p_2,\ldots,p_m\}U⊆R3U⊆R3U\subseteq \mathbb{R}^3RR\mathcal{R}S∈RS∈RS\in \mathcal{R}R3R3\mathbb{R}^3SSSUUUR3R3\mathbb{R}^3 Details, die ich bereits kenne. Die VC-Dimension ist mindestens 4. Dies …

9 cg.comp-geom machine-learning vc-dimension

2

Gibt es Familien formaler Sprachen, von denen bekannt ist, dass sie wirklich PAC-lernbar sind?

Ich meine speziell Sprachfamilien, die beliebig lange Zeichenfolgen zulassen - keine Konjunktionen über n Bits oder Entscheidungslisten oder eine andere "einfache" Sprache, die in {0,1} ^ n enthalten ist. Ich frage nach "automatentheoretischen" regulären Sprachen im Gegensatz zu "logiktheoretischen" Sprachen: so etwas wie stückweise testbare Sprachen, Sprachen mit Starthöhe Null, …

9 automata-theory machine-learning lg.learning

1

Schwierigkeit, seltene Fälle zu „lernen“

Gibt es ein Ergebnis, das zeigt, dass Modelle (z. B. SVM, Neural-Net, kNN usw.) Schwierigkeiten haben werden, "seltene" Instanzen / Schwanzphänomene zu lernen?

8 machine-learning lg.learning pac-learning

1

Wettbewerb gegen eine optimal gewichtete Mehrheit im Expertenalgorithmus

Im Expertenproblem geben Ihnen Experten täglich binäre Vorhersagen, und Sie müssen vorhersagen, ob es morgen regnen wird.nnn Das heißt, am Tag kennen Sie die früheren Vorhersagen der Experten, das tatsächliche Wetter für die Tage und die Vorhersagen für morgen und müssen vorhersagen, ob es am nächsten Tag regnen wird.ttt1,2,…t1,2,…t1,2,\ldots t …

8 ds.algorithms machine-learning

Als «machine-learning» getaggte Fragen