Statistiken und Big Data overfitting

2

Kann man (theoretisch) ein neuronales Netzwerk mit weniger Trainingsmustern als Gewichten trainieren?

Zunächst einmal: Ich weiß, dass zum Trainieren eines neuronalen Netzwerks keine allgemeine Anzahl von Stichproben erforderlich ist. Es hängt von viel zu vielen Faktoren ab, wie der Komplexität der Aufgabe, dem Rauschen in den Daten und so weiter. Und je mehr Trainingsbeispiele ich habe, desto besser wird mein Netzwerk. Aber …

12 neural-networks overfitting underdetermined

1

Wie wähle ich die beste Anpassung aus, ohne die Daten zu überanpassen? Modellierung einer bimodalen Verteilung mit N Normalfunktionen usw.

Ich habe eine offensichtlich bimodale Werteverteilung, die ich anpassen möchte. Die Daten können entweder mit 2 normalen Funktionen (bimodal) oder mit 3 normalen Funktionen gut angepasst werden. Darüber hinaus gibt es einen plausiblen physikalischen Grund für die Anpassung der Daten an 3. Je mehr Parameter eingeführt werden, desto perfekter ist …

11 distributions normal-distribution model-selection overfitting

1

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung, aber …

11 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Warum führt Entropie als Fehlermaß zu einer Überanpassung?

In diesem Beitrag zu KDnuggets, in dem der Beitrag von John Langford zitiert wird, heißt es, dass Entropie und gegenseitige Information, wenn sie als Fehlermaßnahmen verwendet werden, zu einer Überanpassung führen können. Könnten Sie näher darauf eingehen?

11 machine-learning error overfitting entropy

4

Überanpassung mit linearen Klassifikatoren

Heute erklärte unser Professor in der Klasse, dass "eine Überanpassung mit linearen Klassifikatoren nicht möglich ist". Ich halte das für falsch, da selbst lineare Klassifizierer empfindlich auf Ausreißer im Trainingssatz reagieren können - zum Beispiel eine Support Vector Machine mit hartem Rand: Ein einzelner verrauschter Datenpunkt kann ändern, welche Hyperebene …

10 classification overfitting

1

Erfordert die Modellierung mit zufälligen Wäldern eine Kreuzvalidierung?

Soweit ich gesehen habe, neigen die Meinungen dazu dazu. Best Practice würde sicherlich die Verwendung einer Kreuzvalidierung vorschreiben (insbesondere beim Vergleich von RFs mit anderen Algorithmen im selben Datensatz). Andererseits gibt die ursprüngliche Quelle an, dass die Tatsache, dass der OOB-Fehler während des Modelltrainings berechnet wird, ein ausreichender Indikator für …

10 cross-validation random-forest overfitting out-of-sample

1

Random Forest kann nicht überpassen?

Ich habe Literatur gelesen, die zufällige Wälder nicht überpassen können. Das klingt zwar großartig, scheint aber zu schön, um wahr zu sein. Ist es möglich, dass HF's überanpassen?

10 random-forest overfitting

2

Klare Erklärung für die „numerische Stabilität der Matrixinversion“ bei der Gratregression und ihre Rolle bei der Reduzierung der Überanpassung

Ich verstehe, dass wir Regularisierung in einem Regressionsproblem der kleinsten Quadrate als anwenden können w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] und dass dieses Problem eine geschlossene Lösung hat als: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Wir sehen, dass in der 2. Gleichung die Regularisierung einfach λλ\lambda zur Diagonale von \ …

10 regression regularization ridge-regression overfitting matrix-inverse

1

Ist ein gesättigtes Modell ein Sonderfall eines überpasseten Modells?

Ich versuche zu verstehen, was ein gesättigtes Modell ist. AFAIK ist es, wenn Sie so viele Funktionen wie Beobachtungen haben. Können wir sagen, dass ein gesättigtes Modell ein Sonderfall eines extrem überpasseten Modells ist?

10 overfitting

1

Ist Bias dasselbe wie Unteranpassung und Varianz dasselbe wie Überanpassung?

Dies könnte eine grundlegende Frage sein: Was ist der Unterschied zwischen Voreingenommenheit und Unteranpassung? Und was ist analog der Unterschied zwischen Varianz und Überanpassung? Bedeuten die Begriffe jedes Paares dasselbe? Wenn nicht, was ist der Unterschied?

10 variance bias overfitting model-evaluation

1

Warum ist die Rückwärtseliminierung bei multipler Regression gerechtfertigt?

Führt dies nicht zu einer Überanpassung? Wären meine Ergebnisse zuverlässiger, wenn ich als Teil der Analyse ein Klappmesser oder ein Bootstrap-Verfahren hinzufügen würde?

9 multiple-regression bootstrap reliability overfitting jackknife

2

Backtesting oder Kreuzvalidierung, wenn der Modellbildungsprozess interaktiv war

Ich habe einige Vorhersagemodelle, deren Leistung ich zurücktesten möchte (dh ich nehme meinen Datensatz, spule ihn zu einem früheren Zeitpunkt zurück und sehe, wie sich das Modell prospektiv entwickelt hätte). Das Problem ist, dass einige meiner Modelle über einen interaktiven Prozess erstellt wurden. Zum Beispiel habe ich gemäß den Ratschlägen …

9 cross-validation modeling outliers splines overfitting

1

Lineare Regression: Wie kann man weniger „empfindliche“ Parameter bevorzugen?

Ich habe ein einfaches Regressionsmodell ( y = param1 * x1 + param2 * x2 ). Wenn ich das Modell an meine Daten anpasse, finde ich zwei gute Lösungen: Lösung A, params = (2,7), ist am besten für den Trainingssatz mit RMSE = 2,5 geeignet ABER! Lösung B params = …

9 regression cross-validation overfitting sensitivity-analysis

1

Techniken zur Erkennung von Überanpassungen

Ich hatte ein Vorstellungsgespräch für eine Stelle in Data Science. Während des Interviews wurde ich gefragt, was ich tun soll, um sicherzustellen, dass das Modell nicht überpasst. Meine erste Antwort war die Verwendung einer Kreuzvalidierung, um die Leistung des Modells zu bewerten. Der Interviewer sagte jedoch, dass selbst eine Kreuzvalidierung …

9 cross-validation regularization overfitting

2

Bonferroni Korrektur & maschinelles Lernen

In psychologischen Studien habe ich gelernt, dass wir die Bonferroni-Methode verwenden sollten, um das Signifikanzniveau anzupassen, wenn wir mehrere Hypothesen an einem einzigen Datensatz testen. Derzeit arbeite ich mit Methoden des maschinellen Lernens wie Support Vector Machines oder Random Forest zur Klassifizierung. Hier habe ich einen einzelnen Datensatz, der bei …

9 machine-learning cross-validation svm overfitting bonferroni

Als «overfitting» getaggte Fragen