Statistiken und Big Data model-evaluation

1

Bewertung der Leistung eines Regressionsmodells mithilfe von Trainings- und Testsätzen?

Ich höre oft von der Bewertung der Leistung eines Klassifizierungsmodells, indem ich den Testsatz aushalte und ein Modell auf dem Trainingssatz trainiere. Erstellen Sie dann zwei Vektoren, einen für die vorhergesagten Werte und einen für die wahren Werte. Ein Vergleich ermöglicht es offensichtlich, die Leistung des Modells anhand seiner Vorhersagekraft …

10 regression machine-learning model-evaluation

1

Wie baue ich einen innovativen Ausreißer bei Beobachtung 48 in mein ARIMA-Modell ein?

Ich arbeite an einem Datensatz. Nachdem ich einige Modellidentifikationstechniken angewendet hatte, kam ich mit einem ARIMA (0,2,1) -Modell heraus. Ich habe die detectIOFunktion im Paket TSAin R verwendet, um bei der 48. Beobachtung meines ursprünglichen Datensatzes einen innovativen Ausreißer (IO) zu erkennen . Wie kann ich diesen Ausreißer in mein …

10 r time-series arima outliers hypergeometric fishers-exact r time-series intraclass-correlation r logistic glmm clogit mixed-model spss repeated-measures ancova machine-learning python scikit-learn distributions data-transformation stochastic-processes web standard-deviation r machine-learning spatial similarities spatio-temporal binomial sparse poisson-process r regression nonparametric r regression logistic simulation power-analysis r svm random-forest anova repeated-measures manova regression statistical-significance cross-validation group-differences model-comparison r spatial model-evaluation parallel-computing generalized-least-squares r stata fitting mixture hypothesis-testing categorical-data hypothesis-testing anova statistical-significance repeated-measures likert wilcoxon-mann-whitney boxplot statistical-significance confidence-interval forecasting prediction-interval regression categorical-data stata least-squares experiment-design skewness reliability cronbachs-alpha r regression splines maximum-likelihood modeling likelihood-ratio profile-likelihood nested-models

3

Vergleich der Genauigkeit zweier verschiedener Modelle anhand der statistischen Signifikanz

Ich arbeite an der Vorhersage von Zeitreihen. Ich habe zwei Datensätze und . Ich habe drei Vorhersagemodelle: . Alle diese Modelle werden unter Verwendung von Stichproben in Datensatz trainiert , und ihre Leistung wird unter Verwendung der Stichproben in Datensatz gemessen . Angenommen, die Leistungsmetrik ist MSE (oder etwas anderes). …

10 time-series machine-learning statistical-significance classification model-evaluation

3

Ansätze beim Lernen aus riesigen Datensätzen?

Grundsätzlich gibt es zwei gängige Methoden, um gegen große Datenmengen zu lernen (wenn Sie mit zeitlichen / räumlichen Einschränkungen konfrontiert sind): Betrug :) - Verwenden Sie nur eine "überschaubare" Teilmenge für das Training. Der Genauigkeitsverlust kann aufgrund des Gesetzes zur Verringerung der Rendite vernachlässigbar sein - die Vorhersageleistung des Modells …

10 machine-learning large-data model-evaluation train

3

Beste Methode zur Bewertung von PDF-Schätzmethoden

Ich möchte einige meiner Ideen testen, die meiner Meinung nach besser sind als alles, was ich gesehen habe. Ich könnte mich irren, aber ich möchte meine Ideen testen und meine Zweifel durch sicherere Beobachtungen überwinden. Was ich mir überlegt habe, ist Folgendes: Definieren Sie analytisch eine Reihe von Verteilungen. Einige …

10 hypothesis-testing estimation pdf kernel-smoothing model-evaluation

1

Ist Bias dasselbe wie Unteranpassung und Varianz dasselbe wie Überanpassung?

Dies könnte eine grundlegende Frage sein: Was ist der Unterschied zwischen Voreingenommenheit und Unteranpassung? Und was ist analog der Unterschied zwischen Varianz und Überanpassung? Bedeuten die Begriffe jedes Paares dasselbe? Wenn nicht, was ist der Unterschied?

10 variance bias overfitting model-evaluation

1

Bewertung der Leistung der Zeitreihenvorhersage

Ich habe ein dynamisches naives Bayes-Modell, das auf einigen zeitlichen Variablen trainiert ist. Die Ausgabe des Modells ist die Vorhersage von P(Event) @ t+1, geschätzt bei jedem t. Die Darstellung von P(Event)versus timeist wie in der folgenden Abbildung angegeben. In dieser Abbildung stellt die schwarze Linie dar, P(Event)wie von meinem …

9 time-series probability prediction model-comparison model-evaluation

2

Klassifikator-Leistungsmaß, das Sensitivität und Spezifität kombiniert?

Ich habe Daten mit 2 Klassen, für die ich eine Klassifizierung mit mehreren Klassifizierern durchführe. Und die Datensätze sind gut ausbalanciert. Bei der Beurteilung der Leistung der Klassifikatoren muss berücksichtigt werden, wie genau der Klassifikator nicht nur die wahren Positiven, sondern auch die wahren Negative bestimmt. Wenn ich Genauigkeit verwende …

9 classification roc model-evaluation sensitivity-specificity

5

Wie kann man die Leistung eines Klassifikators messen, wenn fast 100% der Klassenbezeichnungen zu einer Klasse gehören?

In meinen Daten habe ich eine Klassenvariable, bezeichnet als . Diese Klassenvariablenwerte sind 0 , 1 (binär). Fast alle Beobachtungen von C sind 0 (nahe 100%, genauer gesagt 97%). Ich möchte einen "Leistungstest" für verschiedene Klassifizierungsmodelle (dies könnte Genauigkeit sein). Was ich befürchte, ist, dass wenn ich ein Klassifizierungsmodell habe, …

9 classification binary-data model-evaluation

2

Inkrementelles Lernen für das LOESS-Zeitreihenmodell

Ich arbeite derzeit an einigen Zeitreihendaten. Ich weiß, dass ich das LOESS / ARIMA-Modell verwenden kann. Die Daten werden in einen Vektor mit einer Länge von 1000 geschrieben. Dies ist eine Warteschlange, die alle 15 Minuten aktualisiert wird. Somit werden die alten Daten herausspringen, während die neuen Daten den Vektor …

9 time-series model-evaluation

4

Bewertung eines Regressionsmodells

Für Klassifizierungsprobleme habe ich neuronale Netze verwendet und Fehler vom Typ I und II unter Verwendung der Verwirrungsmatrix und ihrer Maße gemäß dieser Ressource ( Spiegel ) gemessen , was ziemlich einfach ist. Wie würde man bei einem Schätzungsproblem die Modellleistung bewerten? Angenommen, es gibt keine Klassen und die Ausgabe …

9 regression machine-learning estimation model-evaluation

1

Gibt es einen akzeptierten Namen für diese Fehlermetrik?

Ich bin auf eine Fehlermetrik gestoßen, mit der der Rekonstruktionsfehler eines Modells quantifiziert wurde: wobei der te Datenpunkt ist, die Modellschätzung des ten Datenpunkts ist und der Mittelwert aller Datenpunkte ist. Der Zähler ist der quadratische Gesamtfehler des Modells, und der Nenner ist die quadratische Abweichung vom Mittelwert der Daten. …

8 terminology error model-evaluation

4

Durchschnittliche Präzision bei der Objekterkennung

Ich bin ziemlich verwirrt darüber, wie ich die AP- oder mAP-Werte berechnen kann, da es anscheinend einige verschiedene Methoden gibt. Ich möchte speziell die AP / mAP-Werte für die Objekterkennung erhalten. Alles was ich sicher weiß ist: Rückruf = TP / (TP + FN), Präzision = TP / (TP + …

8 machine-learning precision-recall model-evaluation average-precision object-detection

2

Wie kann ich die Leistung einer halbüberwachten Lernmethode beurteilen?

Ich arbeite mit einer halbüberwachten Lernaufgabe, bei der ich nur positive und unbeschriftete Daten habe (PU-Lernen). Ich habe einige Algorithmen getestet und möchte deren Leistung bewerten. Für betreutes Lernen verwende ich normalerweise: Fehlklassifizierungsfehler Richtigkeit ROC-Kurven Leistung zu bewerten. Da meine Trainings- und Validierungssätze jedoch nur positive und unbeschriftete Daten enthalten, …

7 machine-learning roc precision-recall model-evaluation semi-supervised

Als «model-evaluation» getaggte Fragen