Statistiken und Big Data model-selection

11

Wie wähle ich die Anzahl der verborgenen Schichten und Knoten in einem vorwärtsgerichteten neuronalen Netzwerk?

Gibt es eine Standard- und akzeptierte Methode zum Auswählen der Anzahl von Schichten und der Anzahl von Knoten in jeder Schicht in einem vorwärtsgerichteten neuronalen Netzwerk? Ich interessiere mich für automatisierte Wege zum Aufbau neuronaler Netze.

541 model-selection neural-networks

11

Gibt es einen Grund, den AIC oder den BIC dem anderen vorzuziehen?

Sowohl der AIC als auch der BIC sind Methoden zur Bewertung der Modellanpassung, die für die Anzahl der geschätzten Parameter bestraft werden. Wie ich es verstehe, bestraft BIC Modelle mehr für freie Parameter als AIC. Gibt es neben einer Präferenz, die auf der Stringenz der Kriterien basiert, andere Gründe, AIC …

222 modeling aic cross-validation bic model-selection

3

Woher wissen Sie, dass Ihr maschinelles Lernproblem hoffnungslos ist?

Stellen Sie sich ein Standard-Szenario für maschinelles Lernen vor: Sie werden mit einem großen multivariaten Datensatz konfrontiert und haben ein ziemlich verschwommenes Verständnis davon. Was Sie tun müssen, ist, Vorhersagen über eine Variable zu treffen, die auf Ihren Vorstellungen basiert. Wie üblich bereinigen Sie die Daten, sehen sich beschreibende Statistiken …

207 machine-learning forecasting modeling model-selection forecastability

8

Algorithmen zur automatischen Modellauswahl

Ich möchte einen Algorithmus zur automatischen Modellauswahl implementieren. Ich denke über eine schrittweise Regression nach, aber alles wird funktionieren (es muss jedoch auf linearen Regressionen basieren). Mein Problem ist, dass ich keine Methodik oder Open-Source-Implementierung finden kann (ich woke in Java). Die Methodik, die ich vorhabe, wäre ungefähr so: Berechnen …

193 references feature-selection model-selection aic stepwise-regression

6

Wie wählt man ein Vorhersagemodell nach einer k-fachen Kreuzvalidierung?

Ich frage mich, wie ich ein Vorhersagemodell auswählen soll, nachdem ich die K-fache Kreuzvalidierung durchgeführt habe. Dies mag umständlich formuliert sein. Lassen Sie mich dies näher erläutern: Wenn ich eine K-fache Kreuzvalidierung durchführe, verwende ich K Teilmengen der Trainingsdaten und erhalte K verschiedene Modelle. Ich würde gerne wissen, wie man …

148 cross-validation model-selection

5

Training mit dem vollständigen Datensatz nach Quervalidierung?

Ist es immer eine gute Idee, nach einer Kreuzvalidierung mit dem vollständigen Datensatz zu trainieren ? Anders ausgedrückt, ist es in Ordnung, mit allen Mustern in meinem Datensatz zu trainieren und nicht zu überprüfen, ob diese bestimmte Passform überpasst ? Hintergrundinformationen zum Problem: Sagen wir , ich habe eine Familie …

139 machine-learning cross-validation model-selection

2

Wie viel wissen wir über P-Hacking in freier Wildbahn?

Der Ausdruck p- Hacking (auch: " Datenbaggern " , "Schnüffeln" oder "Fischen") bezieht sich auf verschiedene Arten statistischer Verfehlungen, bei denen Ergebnisse künstlich statistisch signifikant werden. Es gibt viele Möglichkeiten, ein "signifikanteres" Ergebnis zu erzielen, unter anderem: nur Analysieren einer "interessanten" Teilmenge der Daten , in denen ein Muster gefunden …

94 hypothesis-testing statistical-significance p-value model-selection reproducible-research

3

Verschachtelte Kreuzvalidierung für die Modellauswahl

Wie kann man verschachtelte Kreuzvalidierung für die Modellauswahl verwenden ? Nach dem, was ich online gelesen habe, funktioniert der verschachtelte Lebenslauf wie folgt: Es gibt die innere CV-Schleife, in der wir eine Rastersuche durchführen können (z. B. Ausführen von K-Fold für jedes verfügbare Modell, z. B. Kombination von Hyperparametern / …

91 cross-validation model-selection

14

Warum haben robuste (und widerstandsfähige) Statistiken die klassischen Techniken nicht ersetzt?

Bei der Lösung von Geschäftsproblemen mithilfe von Daten wird häufig davon ausgegangen, dass mindestens eine der Annahmen, die die klassischen Statistiken untermauern, ungültig ist. Meistens stört sich niemand daran, diese Annahmen zu überprüfen, so dass Sie es nie wirklich wissen. Zum Beispiel ist die Tatsache, dass so viele der gängigen …

82 model-selection nonparametric outliers robust philosophical

5

Was sind moderne, einfach zu verwendende Alternativen zur schrittweisen Regression?

Ich habe einen Datensatz mit ungefähr 30 unabhängigen Variablen und möchte ein verallgemeinertes lineares Modell (GLM) erstellen, um die Beziehung zwischen ihnen und der abhängigen Variablen zu untersuchen. Mir ist bewusst, dass die Methode, die mir für diese Situation beigebracht wurde, die schrittweise Regression, jetzt als statistische Sünde angesehen wird …

76 regression generalized-linear-model model-selection stepwise-regression

6

Variablenauswahl für prädiktive Modellierung im Jahr 2016 wirklich erforderlich?

Diese Frage wurde bereits vor einigen Jahren im Lebenslauf gestellt. Angesichts von 1) um Größenordnungen besserer Computertechnologie (z. B. Parallel Computing, HPC usw.) und 2) neuerer Techniken, z. Erstens einen Kontext. Nehmen wir an, das Ziel ist nicht das Testen von Hypothesen, nicht das Schätzen von Effekten, sondern die Vorhersage …

67 machine-learning modeling feature-selection model-selection prediction

2

Warum nur drei Partitionen? (Training, Validierung, Test)

Wenn Sie versuchen, Modelle an ein großes Dataset anzupassen, besteht der allgemeine Rat darin, die Daten in drei Teile zu unterteilen: das Training, die Validierung und das Test-Dataset. Dies liegt daran, dass die Modelle normalerweise drei "Parameterebenen" haben: Der erste "Parameter" ist die Modellklasse (z. B. SVM, neuronales Netzwerk, zufällige …

61 machine-learning model-selection data-mining

2

Eine genauere Diskussion der Variablenauswahl

Hintergrund Ich mache klinische Forschung in der Medizin und habe mehrere Statistikkurse besucht. Ich habe noch nie eine Arbeit mit linearer / logistischer Regression veröffentlicht und möchte die Variablenauswahl korrekt durchführen. Interpretierbarkeit ist wichtig, also keine ausgefallenen maschinellen Lerntechniken. Ich habe mein Verständnis der Variablenauswahl zusammengefasst. Würde es jemandem etwas …

55 regression feature-selection model-selection

3

AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - Kann ich sie austauschbar verwenden?

Auf P. 34 seiner PRNN Brian Ripley kommentiert: "Der AIC wurde von Akaike (1974) als 'An Information Criterion' bezeichnet, obwohl allgemein angenommen wird, dass der A für Akaike steht." Tatsächlich erklärt Akaike (1974, S. 719) dies bei der Einführung der AIC-Statistik "IC stands for information criterion and A is added …

47 forecasting model-selection aic bic

3

Lineares Modell mit logarithmisch transformierter Antwort vs. verallgemeinertes lineares Modell mit logarithmischer Verknüpfung

In diesem Artikel mit dem Titel "AUSWAHL VON GENERALISIERTEN LINEAREN MODELLEN FÜR MEDIZINISCHE DATEN" schreiben die Autoren: In einem verallgemeinerten linearen Modell wird der Mittelwert durch die Verknüpfungsfunktion transformiert, anstatt die Antwort selbst zu transformieren. Die beiden Transformationsmethoden können zu sehr unterschiedlichen Ergebnissen führen. Beispielsweise ist der Mittelwert der logarithmisch …

46 generalized-linear-model model-selection lognormal

Als «model-selection» getaggte Fragen