Statistiken und Big Data

Ich würde gerne ein lineares Modell (lm) verwenden, bei dem die Varianz der Residuen eindeutig von der erklärenden Variablen abhängt. Die Art und Weise, wie ich dies weiß, besteht darin, glm mit der Gamma-Familie zu verwenden, um die Varianz zu modellieren, und diese dann in die Gewichte der lm-Funktion umzuwandeln …

22 r  generalized-linear-model  linear-model  heteroscedasticity  gamlss 

Ich bin ein Softwareentwickler, der ein A / B-Testwerkzeug bauen möchte. Ich habe keine soliden Statistiken, habe aber in den letzten Tagen viel gelesen. Ich folge der hier beschriebenen Methodik und werde die relevanten Punkte unten zusammenfassen. Mit diesem Tool können Designer und Domain-Experten eine Website so konfigurieren, dass der …

22 hypothesis-testing  statistical-significance  proportion  ab-test 

Abgesehen von einigen besonderen Umständen, in denen wir die bedingte mittlere Beziehung unbedingt verstehen müssen, in welchen Situationen sollte ein Forscher OLS anstelle von Quantile Regression wählen? Ich möchte nicht, dass die Antwort "wenn es keinen Sinn macht, die Schwanzbeziehungen zu verstehen" lautet, da wir einfach die mediane Regression als …

22 least-squares  econometrics  regression-strategies  quantile-regression  semiparametric 

Die zweite Frage ist, dass ich in einer Diskussion irgendwo im Internet über "überwachtes Clustering" gesprochen habe. Soweit ich weiß, ist Clustering nicht überwacht. Was genau bedeutet "überwachtes Clustering"? Was ist der Unterschied zur "Klassifizierung"? Es gibt viele Links, die darüber sprechen: http://www.cs.uh.edu/docs/cosc/technical-reports/2005/05_10.pdf http://books.nips.cc/papers/files/nips23/NIPS2010_0427.pdf http://engr.case.edu/ray_soumya/mlrg/supervised_clustering_finley_joachims_icml05.pdf http://www.public.asu.edu/~kvanlehn/Stringent/PDF/05CICL_UP_DB_PWJ_KVL.pdf http://www.machinelearning.org/proceedings/icml2007/papers/366.pdf http://www.cs.cornell.edu/~tomf/publications/supervised_kmeans-08.pdf http://jmlr.csail.mit.edu/papers/volume6/daume05a/daume05a.pdf etc …

22 clustering  classification  unsupervised-learning  statistical-learning 

Ich kenne mit a , b- Konstanten, also ist es bei gegebenem E ( X ) einfach zu lösen. Ich weiß auch, dass man das nicht anwenden kann, wenn es eine nichtlineare Funktion ist, wie in diesem Fall E ( 1 / X ) ≠ 1 / E ( X …

22 mathematical-statistics 

Konsistenz ist offensichtlich ein natürlicher und wichtiger Eigenschaftsschätzer, aber gibt es Situationen, in denen es besser ist, einen inkonsistenten Schätzer als einen konsistenten zu verwenden? Gibt es Beispiele für einen inkonsistenten Schätzer, der einen vernünftigen konsistenten Schätzer für alle endlichen (in Bezug auf eine geeignete Verlustfunktion) übertrifft ?nnn

22 estimation  consistency 

Intro: Ich habe einen Datensatz mit einem klassischen "großen p, kleinen n-Problem". Die Anzahl der verfügbaren Stichproben n = 150, während die Anzahl der möglichen Prädiktoren p = 400 ist. Das Ergebnis ist eine kontinuierliche Variable. Ich möchte die "wichtigsten" Deskriptoren finden, dh diejenigen, die die besten Kandidaten für die …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Angenommen, eine Zufallsvariable hat eine untere und eine obere Schranke [0,1]. Wie berechnet man die Varianz einer solchen Variablen?

22 variance  standard-deviation  measurement-error 

Angenommen, ich bin ein Berater und möchte meinem Kunden die Nützlichkeit des Konfidenzintervalls erläutern. Der Kunde sagt mir, dass meine Intervalle zu breit sind, um nützlich zu sein, und er würde es vorziehen, solche zu verwenden, die halb so breit sind. Wie soll ich antworten?

22 confidence-interval  interpretation 

Verschlossen . Diese Frage und ihre Antworten sind gesperrt, da die Frage nicht zum Thema gehört, aber von historischer Bedeutung ist. Derzeit werden keine neuen Antworten oder Interaktionen akzeptiert. Gibt es in R eine einfache Möglichkeit, eine lineare Regression über ein Modell mit 100 Parametern in R zu erstellen? Angenommen, …

22 r 

Wie werden (lineare) Mischeffektmodelle normalerweise miteinander verglichen? Ich weiß, dass Likelihood-Ratio-Tests verwendet werden können, aber dies funktioniert nicht, wenn ein Modell nicht die richtige Teilmenge des anderen Modells ist. Ist die Schätzung der Modelle df immer einfach? Anzahl der Fixeffekte + Anzahl der geschätzten Varianzkomponenten? Ignorieren wir die Schätzungen für …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

Ich habe eine Zeitreihe, die doppelte saisonale Komponenten enthält, und ich möchte die Reihe in die folgenden Zeitreihenkomponenten aufteilen (Trend, saisonale Komponente 1, saisonale Komponente 2 und unregelmäßige Komponente). Soweit mir bekannt ist, erlaubt die STL-Prozedur zum Zerlegen einer Reihe in R nur eine saisonale Komponente, daher habe ich versucht, …

22 r  time-series  forecasting  decomposition  multiple-seasonalities 

Wie werden bei einer Ausgabe von optim mit einer Hessischen Matrix die Parameter-Konfidenzintervalle mithilfe der Hessischen Matrix berechnet? fit<-optim(..., hessian=T) hessian<-fit$hessian Ich interessiere mich hauptsächlich für den Kontext der Maximum-Likelihood-Analyse, bin aber gespannt, ob die Methode darüber hinaus erweitert werden kann.

22 r  maximum-likelihood 

Nehmen wir zum Beispiel folgende Daten an: 8232302 684531 116857 89724 82267 75988 63871 23718 1696 436 439 248 235 Sie möchten einen einfachen Weg finden, um dieses (und mehrere andere Datasets) an eine Pareto-Distribution anzupassen. Idealerweise würde es die passenden theoretischen Werte ausgeben, weniger idealerweise die Parameter.

22 r  pareto-distribution 

Nach meinem Verständnis muss ich mindestens drei Aspekte (von vier) meiner vorgeschlagenen Studie kennen, um eine Leistungsanalyse durchführen zu können: Art des Tests - Ich beabsichtige Pearson's R und ANCOVA / Regression - GLM zu verwenden Signifikanzniveau (Alpha) - Ich beabsichtige, 0,05 zu verwenden Erwartete Effektgröße - Ich beabsichtige, eine …

22 power-analysis