Im Kontext eines Vorhersage- oder Folgerungsmodells bezieht sich der Begriff "Fehler" im Allgemeinen auf die Abweichung von einem tatsächlichen Wert von einer Vorhersage oder Erwartung dieses Werts. Sie wird ausschließlich durch den Vorhersagemechanismus und das tatsächliche Verhalten der beobachteten Größen bestimmt. Der "Verlust" ist ein quantifiziertes Maß dafür, wie schlimm es ist , einen Fehler einer bestimmten Größe / Richtung zu erhalten, der von den negativen Konsequenzen beeinflusst wird, die sich für eine ungenaue Vorhersage ergeben.
Eine Fehlerfunktion misst die Abweichung eines beobachtbaren Werts von einer Vorhersage, während eine Verlustfunktion den Fehler verarbeitet, um die negative Konsequenz eines Fehlers zu quantifizieren. In einigen Zusammenhängen kann es beispielsweise sinnvoll sein, einen quadratischen Fehlerverlust anzunehmen , bei dem die negative Folge eines Fehlers als proportional zum Quadrat des Fehlers quantifiziert wird. In anderen Zusammenhängen könnten wir durch einen Fehler in einer bestimmten Richtung (z. B. falsch positiv oder falsch negativ) stärker beeinträchtigt werden und daher eine unsymmetrische Verlustfunktion annehmen.
Die Fehlerfunktion ist ein rein statistisches Objekt, während die Verlustfunktion ein entscheidungstheoretisches Objekt ist, das wir zur Quantifizierung der negativen Folgen von Fehlern heranziehen. Letzteres wird in der Entscheidungstheorie und in der Ökonomie verwendet (üblicherweise durch sein Gegenteil - eine Kardinalnutzenfunktion).
Ein Beispiel: Sie sind ein Krimineller, der ein illegales Wettbüro für den Mob betreibt. Jede Woche müssen Sie 50% des Gewinns an den Mob-Chef zahlen, aber da Sie den Ort leiten, verlässt sich der Chef auf Sie, um eine echte Abrechnung des Gewinns zu geben. Wenn Sie eine gute Woche haben, können Sie ihn möglicherweise aus dem Teig heben, indem Sie Ihren Gewinn unterrepräsentieren. Wenn Sie jedoch den Chef unterbezahlen, sind Sie ein toter Mann. Sie möchten also vorhersagen, wie viel er erwartet, und dementsprechend bezahlen. Im Idealfall geben Sie ihm genau das, was er erwartet, und behalten den Rest, aber Sie könnten möglicherweise einen Vorhersagefehler machen und ihn zu viel oder (yikes!) Zu wenig bezahlen.
Sie haben eine gute Woche und verdienen in Gewinn, so der Chef geschuldet 1π=$40,000. Er weiß nichtwaseine gute Woche Sie hatte, so seine wahre Erwartung seines Anteils nurθ=$15,000(unbekannt zu Ihnen). Sie entscheidenihn zu bezahlen θ . Dann ist Ihre Fehlerfunktion:12π=$20,000θ=$15,000θ^
Error(θ^,θ)=θ^−θ,
und (wenn wir annehmen, dass der Verlust im Geld linear ist) ist Ihre Verlustfunktion:
Loss(θ^,θ)={∞θ^−πif θ^<θ(sleep wit' da fishes)if θ^⩾θ(live to spend another week)
Dies ist ein Beispiel für eine asymmetrische Verlustfunktion (in den Kommentaren unten diskutierte Lösung), die sich wesentlich von der Fehlerfunktion unterscheidet. Die asymmetrische Natur der Verlustfunktion in diesem Fall unterstreicht das katastrophale Ergebnis in dem Fall, in dem der unbekannte Parameter unterschätzt wird.