Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

4
Online-Ausreißererkennung
Ich möchte automatisch segmentierte Mikroskopbilder als Teil einer Bildgebungspipeline mit hohem Durchsatz verarbeiten, um fehlerhafte Bilder und / oder fehlerhafte Segmentierungen zu erkennen. Es gibt eine Vielzahl von Parametern, die für jedes Rohbild und jede Segmentierung berechnet werden können und die "extrem" werden, wenn das Bild fehlerhaft ist. Beispielsweise führt …
10 outliers  online 


2
Vergleich von Zeitreihensätzen
Ich habe drei Sätze von Zeitreihendaten, die ich vergleichen möchte. Sie wurden in 3 verschiedenen Zeiträumen von etwa 12 Tagen eingenommen. Dies sind die durchschnittlichen, maximalen und minimalen Mitarbeiterzahlen, die während der Abschlusswochen in einer Universitätsbibliothek erfasst wurden. Ich musste Mittelwert, Maximum und Min machen, weil die stündlichen Kopfzahlen nicht …

4
Warum geben Demografen Raten pro 100.000 Menschen an?
Es scheint universell, dass demografische Statistiken in Bezug auf 100.000 Einwohner pro Jahr angegeben werden. Zum Beispiel Selbstmordraten, Mordraten, behinderungsbereinigtes Lebensjahr, die Liste geht weiter. Warum? Wenn wir über Chemie sprechen, sind Teile pro Million (ppm) üblich. Warum wird das Zählen von Menschen grundlegend anders betrachtet? Die Zahl von 100.000 …
10 demography  units 



1
Schnelle Berechnung / Schätzung eines linearen Systems mit niedrigem Rang
Lineare Gleichungssysteme sind in der Computerstatistik allgegenwärtig. Ein spezielles System, auf das ich gestoßen bin (z. B. in der Faktoranalyse), ist das System Ax=bAx=bAx=b wobei Hier ist eine Diagonalmatrix mit einer streng positiven Diagonale, ist eine (mit ) symmetrische positive semidefinitive Matrix und ist eine beliebige Matrix. Wir werden gebeten, …

2
Kann ich die Gültigkeit zuvor angegebener Daten testen?
Problem Ich schreibe eine R-Funktion, die eine Bayes'sche Analyse durchführt, um eine posteriore Dichte bei einem informierten Prior und Daten zu schätzen. Ich möchte, dass die Funktion eine Warnung sendet, wenn der Benutzer den vorherigen überdenken muss. In dieser Frage möchte ich lernen, wie man einen Prior bewertet. Frühere Fragen …


2
So schätzen Sie Parameter für einen Kalman-Filter
In einer früheren Frage habe ich nach der Anpassung von Verteilungen an einige nicht-Gaußsche empirische Daten gefragt. Es wurde mir offline vorgeschlagen, die Annahme zu versuchen, dass die Daten Gauß'sch sind, und zuerst einen Kalman-Filter anzupassen. Entscheiden Sie dann abhängig von den Fehlern, ob es sich lohnt, etwas ausgefalleneres zu …

3
Randomisierte Trace-Technik
Ich habe die folgende randomisierte Trace-Technik in M. Seeger kennengelernt : „Aktualisierungen mit niedrigem Rang für die Cholesky-Zerlegung“, University of California in Berkeley, Tech. Rep, 2007. tr(A)=E[xTAx]tr⁡(A)=E[xTAx]\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]} Dabei ist .x∼N(0,I)x∼N(0,I)\mathbf{x} \sim N(\mathbf{0},\mathbf{I}) Als Person ohne tiefgreifenden mathematischen Hintergrund frage ich mich, wie diese Gleichheit erreicht werden …

3
Was ist der Unterschied zwischen ITT und ATE?
Ich habe Probleme, die verschiedenen Schätzer zu verstehen, die für eine Folgenabschätzung verwendet werden können. Ich weiß, dass der Intention-to-Treat-Schätzer (ITT) Unterschiede zwischen berechtigten Personen ohne das Programm und berechtigten Personen mit dem Programm vergleicht, unabhängig von der Einhaltung. Ich dachte jedoch, dass der durchschnittliche Behandlungseffekt (ATE) dasselbe auch misst. …

2
Gründe für die Verwendung von AUC?
Insbesondere auf der computerwissenschaftlich orientierten Seite der Literatur zum maschinellen Lernen ist die AUC (Fläche unter der Kennlinie des Empfängeroperators) ein beliebtes Kriterium für die Bewertung von Klassifikatoren. Was sind die Gründe für die Verwendung der AUC? Gibt es beispielsweise eine bestimmte Verlustfunktion, für die die optimale Entscheidung der Klassifikator …


6
Beste Möglichkeit, mit einer R-Sitzung in der Cloud zu interagieren
Gesperrt . Diese Frage und ihre Antworten sind gesperrt, da die Frage nicht zum Thema gehört, aber historische Bedeutung hat. Derzeit werden keine neuen Antworten oder Interaktionen akzeptiert. Ich habe R auf Amazon EC2 mit einer modifizierten Version des Bioconductor AMI . Derzeit verwende ich putty, um ssh auf meinen …
10 r 

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.