Wie erhalte ich einen Konfidenzwert für Vorhersagen?

Ist es bei einem Regressionsproblem möglich, einen Vertrauens- / Zuverlässigkeitswert für eine bestimmte Vorhersage bei Modellen wie XGBoost oder Neuronalen Netzen zu berechnen?

Unabhängig vom Modell können Sie immer den nicht parametrischen Bootstrap verwenden, um ein Konfidenzintervall für jeden Parameter zu erstellen, einschließlich Vorhersagen (die selbst Zufallsvariablen sind, aber als Erwartungen angegeben werden). Hier ist das allgemeine Verfahren:

1. Lassen $N$ Geben Sie die Anzahl der Beobachtungen in Ihren Trainingsdaten an $X$, und $x_j$ bezeichnen die spezifische Beobachtung, deren Vorhersage, $\hat{y}_j$, Sie möchten ein CI für.
2. Lassen $K$ bezeichnen eine bestimmte Anzahl von Resampling-Iterationen (muss sein $\ge 20$ für ein CI mit Abdeckung $\ge 95\%$)
3. Zum $i$ im $K$, zeichne ein $N$ Zufallsstichproben aus $X$mit Ersatz. Bezeichne dies$X_i^{*}$
4. Trainiere ein Modell weiter $X_i^{*}$ und verwenden Sie dieses Modell, um eine Vorhersage zu bilden $x_j$. Nennen Sie das$\hat{y}^{*}_{ji}$
5. Schätzen Sie die Verteilungsparameter für $\hat{y}_j$aus Ihrer Probe. EIN$100 - \alpha$ CI wird von der gegeben $\frac{\alpha}{2}$ und $100 - \frac{\alpha}{2}$ Perzentile von $\hat{y}^{*}_{j}$.