Ist der R-Quadrat-Wert zum Vergleichen von Modellen geeignet?

Ich versuche, das beste Modell zu finden, um die Preise für Automobile vorherzusagen. Dabei verwende ich die Preise und Funktionen, die auf Websites für Kleinanzeigen für Automobile verfügbar sind.

Dazu verwendete ich einige Modelle aus der Scikit-Learn-Bibliothek und neuronale Netzwerkmodelle aus Pybrain und Neurolab. Der Ansatz, den ich bisher verwendet habe, besteht darin, eine feste Datenmenge durch einige Modelle (Algorithmen für maschinelles Lernen) zu führen und dort Werte zu vergleichen, die mit dem Modul "scikit-learn metrics" berechnet wurden. $R^2$

Ist eine gute Methode, um die Leistung verschiedener Modelle zu vergleichen? $R^2$
Obwohl ich für Modelle wie das elastische Netz und zufällige Wälder akzeptable Ergebnisse erzielt habe, habe ich für neuronale Netzmodelle sehr schlechte Werte erhalten. Ist eine geeignete Methode zur Bewertung neuronaler Netze (oder nichtlinearer Methoden)? $R^2$ $R^2$

— Manik
quelle

Die kurze Antwort lautet nein . Es könnte Ihnen helfen, meine Antwort hier zu lesen: Modellbewertung und -vergleich zur Auswahl des besten Modells , das ziemlich eng mit Ihrer Frage zusammenhängt. Eine mögliche Lösung wird hier beschrieben . Für ein allgemeineres Verständnis können Sie versuchen, einige der Threads auf der Site zu lesen, die unter dem Modellauswahl- Tag kategorisiert sind .

— gung - Wiedereinsetzung von Monica

@gung Danke! Darf ich fragen, was ein angemessenes Maß für die Anpassungsgüte für die Regression mit neuronalen Netzen wäre?

— Manik

Ich denke, der entscheidende Punkt bei der Beantwortung Ihrer Frage ist

Ich versuche, das beste Modell zu finden, um die Preise für Automobile vorherzusagen

weil diese Aussage etwas darüber impliziert, warum Sie das Modell verwenden möchten. Die Auswahl und Bewertung des Modells sollte auf dem basieren, was Sie mit Ihren angepassten Werten erreichen möchten.

Lassen Sie uns zunächst noch einmal zusammenfassen, was tut $R^2$ : Es berechnet ein skaliertes Maß basierend auf der quadratischen Verlustfunktion, die Sie sicher bereits kennen. Um dies zu sehen, definiert Rest für die i-te Beobachtung und der entsprechenden Einbau Wert . Unter Verwendung der Notation bequeme , $e_i = y_i - \hat{y}_i$ $y_i$ $\hat{y}_i$ $SSR := \sum_{i=1}^Ne_i^2$ ,einfach als definiert. $SST:=\sum_{i=1}^N(y_i - \bar{y})^2$ $R^2$ $R^2 = 1 - SSR/SST$

Zweitens wollen wir sehen, was die Verwendung von für die Modellauswahl / -bewertung bedeutet $R^2$ . Angenommen, wir wählen aus einer Reihe von Vorhersagen , die unter Verwendung eines Modells generiert wurden , wobei die Sammlung der betrachteten Modelle ist (in Ihrem Beispiel würde diese Sammlung neuronale Netze, zufällige Wälder, elastische Netze, ...). Da unter allen Modellen konstant bleibt, wählen Sie beim Minimieren von genau das Modell, das minimiert . Mit anderen Worten, Sie werden wählen $\bar{Y}_M$ $M:M \in \mathcal{M}$ $\mathcal{M}$ $SST$ $R^2$ $SSR$ , das den minimalen quadratischen Fehlerverlust erzeugt! $M \in \mathcal{M}$

$R^2$ $SSR$ $L^2$ $L^1$

$R^2$ $L^p$ $1 \leqslant p <2$ $p=1$ $L^p$ $L^p$

Zusammenfassend kann die Modellauswahl / -bewertung nicht unabhängig vom Ziel des Modells betrachtet werden.

— Jeremias K
quelle