Wie gehen Sie mit den Erwartungen bei der Arbeit um?

Angesichts der großen Nachfrage nach Data Science, maschinellem Lernen und all den Erfolgsgeschichten gibt es viele berechtigte und überhöhte Erwartungen von Data Scientists und ihren Vorhersagemodellen.

Meine Frage an praktizierende Statistiker, Experten für maschinelles Lernen und Data Scientists lautet: Wie gehen Sie mit den Erwartungen der Geschäftsleute in Ihrem Unternehmen um, insbesondere im Hinblick auf die Prognosegenauigkeit von Modellen? Um es einfach auszudrücken: Wenn Ihr bestes Modell nur eine Genauigkeit von 90% erreichen kann und das obere Management nicht weniger als 99% erwartet, wie gehen Sie mit solchen Situationen um?

Rationale Geschäftsleute zahlen nicht für Genauigkeit, sie zahlen auch nicht dafür

• Sparen Sie Geld bei einem profitablen Prozess (wodurch er rentabler wird), oder indem Sie
• neues Geld schaffen (neue profitable Prozesse schaffen).

Jedes Projekt, das durchgeführt wird, muss daher so formuliert werden, dass es dies widerspiegelt. Der erste Schritt besteht immer darin, zu verstehen, an welchem ​​der beiden Prozesse Sie arbeiten. Sie sollten eine klare Vorstellung davon haben, wie dies erreicht werden kann, und dabei berücksichtigen, dass sich die Details, wie Sie vorgehen, im weiteren Verlauf ändern können.

Wenn Sie die Genauigkeit eines Prozesses verbessern können, können Sie wahrscheinlich Geld für das Unternehmen verdienen und die Geschäftsleute werden in Ihren Fortschritt investieren. Der einzige vernünftige Grund, warum ein Unternehmer auf einer Genauigkeit von 99 Prozent bestehen und 90 Prozent ablehnen könnte, ist, wenn er bereits eine bessere Methode als die 90 Prozent hatte. In diesem Fall sind sie natürlich in ihrer Position gerechtfertigt.

Das Verständnis und die Darstellung des Geschäftsfalls der Projekte, an denen Sie arbeiten, in Bezug auf das Verständnis der Geschäftsleute ist Teil des Reifungsprozesses eines jeden Ingenieurs. Es ist überhaupt keine Besonderheit von Data Science, obwohl Data Science einige Besonderheiten aufweist (z. B. geringere Reife, aber höhere Wahrscheinlichkeit einer zufälligen Entdeckung von Zufällen - zumindest in der heutigen Umgebung.

Ein relevanter Prozess in der Nähe von Data Science, der diesen Schritt explizit macht, ist hier zu finden: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

Die meisten Enterprise Architecture Frameworks sind jedoch ähnlich anwendbar.

Sammeln Sie wettbewerbsfähige Partner. Versuchen Sie, den neuesten Stand der Technik zu ermitteln, und sehen Sie, wie sich Ihre Modelle damit vergleichen lassen. Es hängt auch stark davon ab, wie lange Ihr Team daran gearbeitet hat. Wissenschaftsgetriebene Modelle werden nicht statisch erstellt, sie entwickeln sich dynamisch, weil ein guter Wissenschaftler immer versucht, Möglichkeiten zu finden, sie zu verbessern.

Das Top- Management Personal soll wissen , dass ein Datum Wissenschaftler erforscht neue Methoden, manchmal / oft ohne ihre Qualität zu kennen. Sie sollten wissen, dass maschinelles Lernen nicht sofort perfekte Modelle hervorbringt. Wenn sie das taten, wäre es sowieso keine Herausforderung.

Ein Datenwissenschaftler sollte dahingehend bewertet werden, wie er seine Ergebnisse begründet und diskutiert und wie er die Zukunft plant. Eine Möglichkeit für die Führungskräfte, mit ihren Erwartungen umzugehen, besteht darin, keine unrealistisch hohen Erwartungen zu haben.

Denken Sie dennoch über die folgenden Fragen nach, wenn im Kontext angemessene Ergebnisse erwartet werden:

1. Haben / werden die Ergebnisse mit der Zeit besser werden?
2. Sind die zukünftigen Erwartungen positiv?
3. Wie gut sind die Ergebnisse im Vergleich zu ähnlichen Systemen (von Wettbewerbern)?

Ich mag diese Frage, weil es um die Politik geht, die in jeder Organisation existiert. Meiner Ansicht nach hängen die Erwartungen an die Modellleistung in erheblichem Maße von der Organisationskultur und dem Grad ab, in dem eine Organisation "technisch versiert" ist. Eine Möglichkeit, um zu verdeutlichen, was ich meine, besteht darin, die Unterschiede zwischen den vier großen "Data Science" -Unternehmen - Google, FB, Amazon und Yahoo - und den vier großen Agenturbeteiligungsunternehmen - WPP, Omnicon, Interbrand und Publicis - zu berücksichtigen. Google et al. Sind sehr technisch versiert. Die Agenturen hingegen neigen bekanntermaßen zur Tech-Phobie. Was ist der Beweis dafür? Zunächst einmal wurde die Gruppe mit technischen Kenntnissen gegründet oder wird von Ingenieuren, Informatikern, Geeks und Menschen mit einem starken technischen Hintergrund geleitet. Wer leitet die Tech-Analphabeten-Unternehmen? Marketingfachleute, die aufgrund ihrer weichen Kommunikation und ihrer menschlichen Fähigkeiten an Bedeutung gewonnen haben. Und nicht nur das, nachdem ich in einigen dieser Geschäfte in NYC gearbeitet habe, kann ich bezeugen, dass diese Organisationen die technisch hochgebildeten Typen systematisch als nicht "passend" zur Kultur bestrafen und / oder verdrängen. Betrachten Sie als nächstes ihre aggregierten (Aktien-) Marktkapitalisierungen. Die Gruppe der Tech-Analphabeten summiert sich auf etwa 800 Milliarden Dollar, während die Gruppe der Tech-Analphabeten 80 Milliarden Dollar beträgt. Unternehmen mit technischen Kenntnissen sind 10x größer als die anderen Unternehmen mit Marktkapitalisierung. Dies ist eine klare Aussage über die Erwartungen des Marktes und für die Analphabeten nicht hoch. Welche Hoffnung haben Sie also durch Extrapolation, um die Erwartungen an die "Vorhersagegenauigkeit" von Bozos wie diesen in Frage zu stellen? Nachdem ich in einigen dieser Geschäfte in NYC gearbeitet habe, kann ich bezeugen, dass diese Organisationen die technisch hochgebildeten Typen systematisch als nicht "passend" zur Kultur bestrafen und / oder verdrängen. Betrachten Sie als nächstes ihre aggregierten (Aktien-) Marktkapitalisierungen. Die Gruppe der Tech-Analphabeten summiert sich auf etwa 800 Milliarden Dollar, während die Gruppe der Tech-Analphabeten 80 Milliarden Dollar beträgt. Unternehmen mit technischen Kenntnissen sind 10x größer als die anderen Unternehmen mit Marktkapitalisierung. Dies ist eine klare Aussage über die Erwartungen des Marktes und für die Analphabeten nicht hoch. Welche Hoffnung haben Sie also durch Extrapolation, um die Erwartungen an die "Vorhersagegenauigkeit" von Bozos wie diesen in Frage zu stellen? Nachdem ich in einigen dieser Geschäfte in NYC gearbeitet habe, kann ich bezeugen, dass diese Organisationen die technisch hochgebildeten Typen systematisch als nicht "passend" zur Kultur bestrafen und / oder verdrängen. Betrachten Sie als nächstes ihre aggregierten (Aktien-) Marktkapitalisierungen. Die Gruppe der Tech-Analphabeten summiert sich auf etwa 800 Milliarden Dollar, während die Gruppe der Tech-Analphabeten 80 Milliarden Dollar beträgt. Unternehmen mit technischen Kenntnissen sind 10x größer als die anderen Unternehmen mit Marktkapitalisierung. Dies ist eine klare Aussage über die Erwartungen des Marktes und für die Analphabeten nicht hoch. Welche Hoffnung haben Sie also durch Extrapolation, um die Erwartungen an die "Vorhersagegenauigkeit" von Bozos wie diesen in Frage zu stellen? Betrachten Sie ihre aggregierten (Aktien-) Marktkapitalisierungen. Die Gruppe der Tech-Analphabeten summiert sich auf rund 800 Milliarden Dollar, während die Gruppe der Tech-Analphabeten 80 Milliarden Dollar beträgt. Unternehmen mit technischen Kenntnissen sind 10x größer als die anderen Unternehmen mit Marktkapitalisierung. Dies ist eine klare Aussage über die Erwartungen des Marktes und für die Analphabeten nicht hoch. Welche Hoffnung haben Sie also durch Extrapolation, um die Erwartungen an die "Vorhersagegenauigkeit" von Bozos wie diesen in Frage zu stellen? Betrachten Sie ihre aggregierten (Aktien-) Marktkapitalisierungen. Die Gruppe der Tech-Analphabeten summiert sich auf rund 800 Milliarden Dollar, während die Gruppe der Tech-Analphabeten 80 Milliarden Dollar beträgt. Unternehmen mit technischen Kenntnissen sind 10x größer als die anderen Unternehmen mit Marktkapitalisierung. Dies ist eine klare Aussage über die Erwartungen des Marktes und für die Analphabeten nicht hoch. Welche Hoffnung haben Sie also durch Extrapolation, um die Erwartungen an die "Vorhersagegenauigkeit" von Bozos wie diesen in Frage zu stellen?

Angesichts dieses kulturellen Ausbruchs und je nachdem, wo Sie hinfallen, sollten Sie mehr oder weniger realistische Erwartungen haben. Natürlich werden verschiedene "Tech-Analphabeten" Manager haben, die wissen, was sie tun, aber zum größten Teil werden diese Unternehmen von der Idiotie des kleinsten gemeinsamen Nenners an technischen Fähigkeiten dominiert, dh von Leuten, die bestenfalls technisch sind semi-literates (und gefährlich) oder, allgemeiner, total unzählig, aber weiß es nicht. In diesem Fall habe ich für einen Typ gearbeitet, der Wörter wie "Korrelation" wollte, die von den C-Suite-Decks entfernt wurden. Dies ist ein Extremfall: Schließlich weiß jede Sekretärin, was eine "Korrelation" ist.

Dies wirft die Frage auf, wie man mit den verrückten Naiven und Unzähligen umgeht, wenn man eine wirklich blöde Frage stellt wie: "Warum erhalten Sie keine 99% ige Vorhersagegenauigkeit?" Eine gute Antwort ist die Beantwortung mit der Frage: "Warum würden Sie annehmen, dass eine so unrealistisch hohe PA überhaupt möglich ist?" Eine andere könnte sein: "Wenn ich tatsächlich 99% PA hätte, hätte ich angenommen, dass ich etwas falsch gemacht habe." Das ist höchstwahrscheinlich auch bei 90% PA der Fall.

Das ist die grundlegendere Frage des Beharrens auf PA als einziges Kriterium für den Modellwert. Der verstorbene Leo Breiman hinterließ viele Spuren in der statistischen und prädiktiven Modellierungsgemeinschaft, zu der PA gehört. Sein Hauptanliegen bei PA war es, die zahlreichen Kritikpunkte zu berücksichtigen, die in den 90er Jahren in Bezug auf die Instabilität und den Fehler bei der Ausführung eines einzelnen CART-Baums geäußert wurden. Seine Lösung bestand darin, „zufällige Wälder“ als eine ungefähre und vorläufige Methode zu motivieren, die die Genauigkeit maximiert und die Instabilität verringert, indem die Baumstruktur beseitigt wird. Er bewertete die niedrigere MSE anhand von ca. 1.000 iterativen RF- „Minimodellen“ mit dem Fehler eines einzelnen logistischen Regressionsmodells. Das einzige Problem war, dass er sich nie die Mühe machte, die leuchtenden Äpfel im Vergleich zu Orangen zu erwähnen:

Der Netflix-Preis 2008 bot jedem Statistiker oder Team, das in der Lage ist, die MSE seines Empfehlungssystems zu verbessern, eine beträchtliche finanzielle Belohnung. Zu diesem Zeitpunkt gab Netflix 150 Millionen US-Dollar pro Jahr für dieses System aus, überzeugt davon, dass die Kundenbindung und der Kauf von Filmen, die sonst nie ausgewählt worden wären, die Kosten mehr als wettmachten. Die späteren Gewinner verwendeten ein komplexes Ensemble von 107 verschiedenen Modellen.

Wie Netflix jedoch erfuhr, bestand das eigentliche Problem darin, dass die tatsächliche Fehlerverbesserung gegenüber dem aktuellen Modell aus Sicht der Vollkosten lediglich eine Verringerung der 5-Punkte-Bewertung um 0,005% darstellte. Ganz zu schweigen davon, dass die IT-Kosten in Bezug auf Zeit, Schwerstarbeit und Wartung des Siegerensembles aus 107 Modellen die Gewinne aus der Fehlerreduzierung mehr als zunichte gemacht haben. Vor diesem Hintergrund gab Netflix die Verfolgung von MSE schließlich auf und es wurden keine Netflix-Preise mehr vergeben

Und genau das ist der Punkt: Das Minimieren von Vorhersagefehlern kann leicht gespielt oder gehackt werden und ist anfällig für Betrug durch Analysten. Darüber hinaus ist es eine vollständig statistische Lösung und Zielsetzung in einem wirtschaftlichen und geschäftlichen Vakuum. Die Metrik berücksichtigt nur wenig oder gar nicht die Nebenkosten für Sicherheiten - die sehr realen betrieblichen Konsequenzen, die von A bis Z bewertet werden und ein wesentlicher Bestandteil eines umfassenden, auf Kompromissen basierenden Entscheidungsprozesses sein sollten.

Dies ist zu einem der Themen geworden, die in Organisationen verankert sind und nur sehr schwer zu ändern sind. Mit anderen Worten, ich bin mir voll und ganz bewusst, dass ich mit diesem Geschwätz über die Vorbehalte bei der Verwendung von PA gegen Windmühlen kippe.