Statistiken und Big Data overfitting

1

Mathematische / algorithmische Definition für Überanpassung

Gibt es eine mathematische oder algorithmische Definition von Überanpassung? Oft werden als Definitionen das klassische 2D-Diagramm von Punkten angegeben, bei dem eine Linie durch jeden einzelnen Punkt verläuft und die Validierungsverlustkurve plötzlich ansteigt. Aber gibt es eine mathematisch strenge Definition?

18 mathematical-statistics optimization overfitting

3

Reicht eine Kreuzvalidierung aus, um eine Überanpassung zu verhindern?

Wenn ich Daten habe und eine Klassifizierung (sagen wir zufällige Gesamtstruktur für diese Daten) mit Kreuzvalidierung (sagen wir 5-fach) durchführe, kann ich dann den Schluss ziehen, dass meine Methode keine Überanpassung aufweist?

17 cross-validation overfitting

1

Ist die private Bestenliste von Kaggle ein guter Indikator für die Out-of-Sample-Leistung des Gewinnermodells?

Während die Ergebnisse des privaten Testsets nicht zur weiteren Verfeinerung des Modells verwendet werden können, wird doch anhand der Ergebnisse des privaten Testsets eine Modellauswahl aus einer Vielzahl von Modellen durchgeführt. Würden Sie nicht allein durch diesen Prozess zu einer Überanpassung des privaten Test-Sets führen? Laut "Pseudomathematik und Finanzscharlatanismus: Die …

16 model-selection overfitting out-of-sample

1

Gibt es in der statistischen Lerntheorie nicht ein Problem der Überanpassung eines Testsatzes?

Betrachten wir das Problem beim Klassifizieren des MNIST-Datasets. Laut der MNIST-Webseite von Yann LeCun , "Ciresan et al." 0,23% Fehlerrate beim MNIST-Test mit Convolutional Neural Network. Lassen Sie uns bezeichnen MNIST Trainingssatz als , MNIST Testset als , die letzte Hypothese sie erhalten unter Verwendung von als , und ihre …

16 machine-learning classification overfitting probability-inequalities

2

Out-of-Bag-Fehler machen den Lebenslauf in zufälligen Wäldern unnötig?

Ich bin ziemlich neu in zufälligen Wäldern. In der Vergangenheit habe ich immer die Genauigkeit von Fit vs. Test mit Fit vs. Zug verglichen , um eine Überanpassung festzustellen. Aber ich habe gerade hier gelesen , dass: "In zufälligen Gesamtstrukturen ist keine Kreuzvalidierung oder ein separater Testsatz erforderlich, um eine …

15 cross-validation random-forest overfitting

2

Welches Maß an Trainingsfehlern für zufällige Wälder?

Ich passe zurzeit zufällige Gesamtstrukturen für ein Klassifizierungsproblem mit dem randomForestPaket in R an und bin nicht sicher, wie Trainingsfehler für diese Modelle gemeldet werden sollen. Mein Trainingsfehler liegt nahe bei 0%, wenn ich ihn mit Vorhersagen berechne, die ich mit dem Befehl erhalte: predict(model, data=X_train) Wo X_trainsind die Trainingsdaten? …

15 r machine-learning classification random-forest overfitting

2

Optimierung: Die Wurzel allen Übels in der Statistik?

Ich habe den folgenden Ausdruck schon einmal gehört: "Optimierung ist die Wurzel allen Übels in der Statistik". Die beste Antwort in diesem Thread gibt diese Aussage beispielsweise in Bezug auf die Gefahr einer zu aggressiven Optimierung bei der Modellauswahl wieder. Meine erste Frage lautet wie folgt: Kann dieses Zitat jemand …

14 cross-validation optimization overfitting

3

Wie kann festgestellt werden, ob ein Regressionsmodell überfordert ist?

Wenn Sie derjenige sind, der die Arbeit erledigt, und sich dessen bewusst sind, was Sie tun, entwickeln Sie ein Gefühl dafür, wann Sie das Modell überarbeitet haben. Zum einen können Sie den Trend oder die Verschlechterung im angepassten R-Quadrat des Modells verfolgen. Sie können auch eine ähnliche Verschlechterung der p-Werte …

14 regression multivariate-analysis overfitting

2

Umgang mit Singular Fit in gemischten Modellen

Nehmen wir an, wir haben ein Modell mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects …

14 mixed-model lme4-nlme overfitting singular

2

Wie passt die k-fache Kreuzvalidierung in den Kontext von Trainings- / Validierungs- / Testsätzen?

Meine Hauptfrage betrifft den Versuch zu verstehen, wie die k-fache Kreuzvalidierung in den Kontext von Trainings- / Validierungs- / Testsätzen passt (wenn sie überhaupt in einen solchen Kontext passt). Normalerweise wird davon gesprochen, die Daten in einen Trainings-, Validierungs- und Testsatz aufzuteilen - beispielsweise in einem Verhältnis von 60/20/20 pro …

14 cross-validation dataset overfitting

2

Führen korrelierte Eingabedaten zu einer Überanpassung mit neuronalen Netzen?

Meiner Meinung nach müssen korrelierte Eingabedaten in neuronalen Netzen zu einer Überanpassung führen, da das Netz die Korrelation lernt, z. B. Rauschen in den Daten. Ist das richtig?

13 correlation neural-networks overfitting

1

Verhinderung einer Überanpassung von LSTM bei kleinen Datenmengen

Ich modelliere 15000 Tweets für die Stimmungsvorhersage unter Verwendung eines einschichtigen LSTM mit 128 verborgenen Einheiten unter Verwendung einer word2vec-ähnlichen Darstellung mit 80 Dimensionen. Nach 1 Epoche erhalte ich eine Abstiegsgenauigkeit (38% bei Zufall = 20%). Mehr Training führt dazu, dass die Validierungsgenauigkeit abnimmt, wenn die Trainingsgenauigkeit zu steigen beginnt …

13 deep-learning regularization overfitting lstm

1

Train vs Test Error Gap und seine Beziehung zur Überanpassung: Konfliktlösung

Es scheint widersprüchliche Ratschläge zu geben, wie mit dem Vergleichen von Zug- und Testfehlern umgegangen werden soll, insbesondere wenn zwischen beiden eine Lücke besteht. Es scheint zwei Denkschulen zu geben, die mir widersprüchlich erscheinen. Ich möchte verstehen, wie man die beiden miteinander in Einklang bringt (oder verstehen, was ich hier …

13 cross-validation overfitting

3

Ist es besser, Verteilungen basierend auf Theorie, Anpassung oder etwas anderem auszuwählen?

Dies grenzt an eine philosophische Frage, aber ich bin daran interessiert, wie andere mit mehr Erfahrung über die Auswahl von Distributionen denken. In einigen Fällen scheint es klar zu sein, dass die Theorie am besten funktioniert (die Schwanzlängen von Mäusen sind wahrscheinlich normal verteilt). In vielen Fällen gibt es wahrscheinlich …

12 distributions overfitting heuristic

3

Bayesian vs MLE, Überanpassungsproblem

In Bishops PRML-Buch sagt er, dass Überanpassung ein Problem bei der Maximum Likelihood Estimation (MLE) ist und Bayesian dies vermeiden kann. Aber ich denke, Überanpassung ist eher ein Problem bei der Modellauswahl als bei der Methode zur Parameterschätzung. Angenommen, ich habe einen Datensatz , der über f ( x ) …

12 bayesian model-selection overfitting

Als «overfitting» getaggte Fragen