Gute Praxis für statistische Analysen in einem Geschäftsumfeld


13

(Obwohl mir klar ist, dass es hier nicht nur um Statistiken geht, sondern um die Verbreitung von Statistiken in einem Geschäftsumfeld. Ich bin daher davon ausgegangen, dass diese immer noch im Themenbereich des Lebenslaufs liegen.)

Ein kurzer Hintergrund:

Unser Geschäftsumfeld (und ich vermute andere Umgebungen) verfügt über eine Support-Funktion, die auf statistische Analysen und Recherchen spezialisiert ist. Wir arbeiten eng mit Business Intelligence zusammen und werden von anderen Abteilungen mit der Erstellung von Arbeiten beauftragt. Tatsächlich gehören die Daten, Analysen und Schlussfolgerungen nicht uns: Wir sammeln Daten, führen Analysen durch und ziehen Schlussfolgerungen, die der Auftragnehmer in seiner Arbeit verwenden kann.

Was ich machen will; was ich vorhabe zu tun:

Derzeit verfolgen wir einen ziemlich laissez-fairen Ansatz. Eine Person aus der Support-Funktion wird zugewiesen, wenn Arbeiten in Auftrag gegeben werden, Daten von Business Intelligence gesammelt (oder extrahiert, falls vorhanden), analysiert und die endgültigen Schlussfolgerungen an den Beauftragten gesendet werden. Dies wurde lose begründet, da es nicht die Aufgabe des Kommissars ist, die Analyse durchzulesen. Unsere Rolle als Unterstützungsfunktion ist es, sicherzustellen, dass wir die richtige Analyse für die Fragen / Themen liefern, die der Kommissar untersuchen möchte.

Ich möchte etwas mehr Struktur auf den Ansatz zurückführen, um zu machen

a) unsere Analyse einer höheren Qualität;

b) Verteidigungsfähigkeit zu gewährleisten, wenn unsere Analyse zu falschen Entscheidungen führen kann; und mache

c) Unsere Analyse ist transparenter, sodass wir nicht als Black Box angesehen werden, die Daten aufnimmt und Ergebnisse ausspuckt.

Meine ersten Gedanken waren:

  1. Erstellen Sie mit jeder Arbeit ein technisches Dokument, das die Vorgehensweise, die getroffenen Annahmen, die festgestellten Probleme, die vorhandenen Unsicherheiten usw. begründet. Dies wird zwar nicht unbedingt von allen gelesen, sollte jedoch als Erklärungsmittel verwendet werden der Kommissar die Folgen der Verwendung der gezogenen Schlussfolgerungen. Dies überträgt einen Teil des Risikos dahin, wo es sich anfühlt, dass es hingehört: beim Kommissar.

  2. Beschränken Sie alle Analysen auf ein Paket wie Stata, SPSS oder R und verlangen Sie, dass ein vollständiger Satz von Code zusammen mit dem technischen Dokument erstellt wird. Wir alle haben die Angewohnheit, Microsoft Excel für einige Arten von Analysen zu verwenden (schlechte Angewohnheit mehr als alles andere). Excel unterstützt jedoch nicht die einfache Reproduzierbarkeit der Analyse. Dies hilft, die Unterstützungsfunktion zu verteidigen, wenn unsere Analyse in Frage gestellt wird, schafft Transparenz in unserem Ansatz, erleichtert aber auch die Rolle von (3):

  3. Weisen Sie jedem Werk einen Prüfer zu, der das Werk gegenzeichnen muss, bevor es an den Beauftragten gesendet wird. Durch die Gegenzeichnung wird die Integrität der Analyse auf zwei Personen verteilt und zur Zusammenarbeit angeregt (zwei Köpfe sind besser als einer). Dies sollte die Qualität der Analyse verbessern und auch eine gewisse Verteidigungsfähigkeit bieten.

Gibt es andere Aspekte bewährter Verfahren, die in einem solchen Geschäftsumfeld angewendet werden können?


In welchem ​​Geschäft bist du? Nicht Banking? Im Bankwesen müssen wir Sachen wie OCC 2011-12 einhalten .
Aksakal

1
Vielleicht möchten Sie sich mit knitr beschäftigen .
Stephan Kolassa

Antworten:


10

Mein Rat in zwei Worten ( TL; DR-Modus ): reproduzierbare Forschung .

Für weitere Details - um mich selbst nicht zu wiederholen - verweise ich Sie auf meine relevanten Antworten an anderer Stelle auf StackExchange. Diese Antworten repräsentieren meine Gedanken (und Erfahrungen) zu den Themen:

Schlussbemerkung (Entschuldigung, wenn Sie es offensichtlich finden): Unabhängig von der Art Ihrer Geschäftsumgebung (die übrigens unklar ist) würde ich empfehlen, von der Geschäftsseite aus zu beginnen und eine Datenanalyse-Architektur zu erstellen , die (als IT-bezogen) sollte auf die Geschäftsarchitektur abgestimmt sein, einschließlich Geschäftsprozesse, Organisationseinheiten, Kultur und Personen. Ich hoffe das ist hilfreich.

UPDATE: In Bezug auf das Erstellen einer neuen oder das Verbessern einer vorhandenen Datenanalyse-Architektur ( in der Terminologie der Unternehmensarchitektur auch als Datenarchitektur bezeichnet ) dachte ich, dass diese beiden Sätze von Präsentationsfolien ebenfalls nützlich sein könnten: dies und das .


2
Entschuldigung für die verspätete Antwort - einige tolle Links und Ratschläge hier. Vielen Dank!
NickB2014

@ NickB2014: Gern geschehen! Schön, dass es Ihnen gefällt und Sie hilfreich finden.
Aleksandr Blekh

5

Im Bankgeschäft muss die Modellierung den Richtlinien des Modellrisikomanagements entsprechen, z. B. OCC 2011-12 . Ich denke, es ist ein interessantes Dokument, auch wenn Sie nicht im Bankgeschäft sind.

MathWorks hat diesen Artikel über Modellierungsstandards.

Da beim Modellieren Software in der einen oder anderen Form geschrieben wird, verwende ich Elemente der Softwareentwicklungsmethodik , insbesondere beim Testen und Unit-Testen . Ich verwende auch Software-Konfigurationsmanagement- Tools wie SVN. Es gibt eine Menge, die Modellierungsteams von Programmierern bei der Verwaltung komplexer Softwareprojekte wie Issue-Tracking-Systemen und CMS lernen können .

Eines der wichtigsten Dinge ist die Methodik und der Prozess, der Lebenszyklus der Modellentwicklung. Erstellen Sie die Richtlinie für die Entwicklung der Modelle, testen Sie sie, listen Sie die Standardwerkzeuge und -tests usw. auf. Wählen Sie beispielsweise ein oder zwei Anpassungstests aus, und verwenden Sie sie überall.

Erstellen Sie Vorlagen für alles: Modellierungsskripte, Whitepapers, Präsentationen usw. Zum Beispiel habe ich die Vorlagen für alle Dokumentationen in LaTeX, sodass unsere Whitepapers sehr ähnlich aussehen und jeder weiß, wo er nach Informationen suchen muss. Wir haben Standardabschnitte wie deskriptive Statistiken und Standardspalten wie Kurtosis, erstes und letztes Beobachtungsdatum usw.

Habe das Laborjournal. Dies ist eine Sache, die harte Naturwissenschaftler in der Promotion gelernt haben sollten: ein Tagebuch aller Forschungen, Ideen und insbesondere Entscheidungen zu führen. Wenn Sie sich für die Verwendung von ARIMA anstelle von GARCH entschieden haben, notieren Sie dies im Laborjournal und beschreiben Sie, warum Sie die Entscheidung getroffen haben. Auf der Straße neigen die Menschen dazu, die Gründe für die Entscheidungen zu vergessen, daher ist es wichtig, sie aufzuzeichnen. Leider haben Leute mit sozialwissenschaftlichem Hintergrund keine Angewohnheit, die Laborjournale zu führen, es ist ein Problem.


Wir sind nicht im Bankensektor tätig, betreiben jedoch ein ausgereiftes Risikomanagement, sodass die OCC 2011-12-Richtlinien ein guter Ausgangspunkt sind (sozusagen auf bekanntem Boden). Vielen Dank!
NickB2014

1

Ein weiterer Aspekt der guten Praxis ist die Disziplin bei der Erstinbetriebnahme. Dies kann grundlegende Dinge beinhalten, wie die schriftliche Vereinbarung der Anforderungen des Beauftragten (um Missverständnisse und spätere Streitigkeiten zu vermeiden) und die Klärung, wer im Unternehmen zur Beauftragung von Arbeiten befugt ist (ein erster Schritt, um sicherzustellen, dass die Funktion den tatsächlichen Geschäftsanforderungen entspricht und nicht nur jemandem frönen, der eine gute Idee hat).

Die Disziplin bei der Auftragsvergabe sollte auch den konstruktiven Dialog fördern, bevor eine Einigung über die durchzuführenden Arbeiten erzielt wird. Diese Auftraggeber haben möglicherweise eine vage Vorstellung davon, was sie benötigen, haben jedoch Schwierigkeiten, es genau zu formulieren, oder wenn sie eine genaue Formulierung anbieten, ist es möglicherweise nicht das, was für ihre Geschäftsanforderungen am relevantesten ist (zum Beispiel können sie eine Untersuchung von verlangen) Die Gründe für einen kurzfristigen Umsatzrückgang liegen darin, dass sie hauptsächlich an den längerfristigen Faktoren interessiert sind, die den Umsatz antreiben. Statistiker und Forscher sind möglicherweise in der Lage, präzise Fragen oder Arbeitspläne zu formulieren, können jedoch weniger erkennen, was für das Unternehmen nützlich sein wird. Ich schlage eine Parallele zur guten Praxis in der akademischen Forschung vor, bei der unterschieden wird zwischen Forschungsfragen unterschieden wirdIdentifizierung ziemlich breiter Themen und Forschungshypothesen und -ziele innerhalb solcher Themen, die spezifisch genug sind, um zu genau definierten Forschungsstudien zu führen. Daher kann es hilfreich sein, sich vorzustellen, dass die Kommissare das Äquivalent der Forschungsfragen bilden und dass die Statistiker und Forscher ihnen dabei helfen, spezifischere Arbeitsprogramme zu identifizieren, die für diese Fragen relevant sind.


1

Ich denke, Sie haben einen Teil Ihrer Antwort in der Frage - eine "gute Struktur" ist der Schlüssel.

Ich bin ein Ingenieur und habe in Rollen gearbeitet, die eine ähnliche Anwendung betonen - in denen Sie mit Problemen vertraut gemacht werden, um Unterstützung bei der Analyse und Verbesserung der Ergebnisse zu bieten, aber in einer beratenden und keiner implementierenden Rolle.

Die besten Ansätze, die ich gesehen habe, sind solche, die nicht zu genau oder zu locker sind, um die richtige Menge an Beweisen dafür zu liefern, dass die Arbeit mit Sorgfalt erledigt wurde - und das ist es, wonach Sie sich sehnen.

Six Sigma (was an einigen Stellen, an denen ich gearbeitet habe, ein bisschen schmutzig ist) und andere Methoden bieten einen Rahmen für das Annähern, Lösen und Einbetten einer Lösung. Da sie auf einem Framework basieren, können sie geprüft werden. Der Schlüssel besteht darin, sicherzustellen, dass jeder in der Methodik geschult ist UND über eine gute Vorlage verfügt, die überprüft werden kann.

Beispielsweise möchten Sie wahrscheinlich, dass die Lösungen einem Standard entsprechen - dies wird nicht durch das verwendete Programm festgelegt, sondern vielmehr, ob Sie die zu einem späteren Zeitpunkt verwendeten Analyseschritte prüfen und sich davon überzeugen können, dass die Aufgabe zu einem Standard abgeschlossen wurde. Das Bereitstellen von Meilensteinen - z. B. Kontrollpunkte, an denen Sie Audits durchführen können - ist einfacher als der Versuch, am Ende des Projekts Audits durchzuführen.

Zurück zu Six Sigma: Einige Ansätze könnten darin bestehen, nach Measure and Analyze in der Define-Phase und schließlich nach Improve and Control in der Conclustion-Phase zu auditieren.

Six Sigma ist sicherlich nicht in allen Situationen das Beste, aber ich kann es als möglichen Ausgangspunkt empfehlen.


Oh nein, bitte kein Six Sigma
Aksakal
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.