Statistiken und Big Data python

2

Ich habe einen Datensatz mit hauptsächlich finanziellen Variablen (120 Features, 4k-Beispiele), die größtenteils stark korreliert und sehr verrauscht sind (z. B. technische Indikatoren). Daher möchte ich für die spätere Verwendung beim Modelltraining (binäre Klassifizierung) maximal 20-30 auswählen - erhöhen verringern). Ich dachte darüber nach, zufällige Wälder für das Feature-Ranking zu …

16 feature-selection random-forest python

3

Kollineare Variablen im Multiclass-LDA-Training

Ich trainiere einen LDA-Klassifikator für mehrere Klassen mit 8 Datenklassen. Während des Trainings bekomme ich eine Warnung von: " Variablen sind kollinear " Ich erhalte eine Trainingsgenauigkeit von über 90% . Ich verwende eine Scikits-Lernbibliothek in Python , um die Daten für mehrere Klassen zu trainieren und zu testen. Ich …

16 machine-learning classification python scikit-learn discriminant-analysis

2

Zeige Durchschnitt statt Median im Boxplot [geschlossen]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 3 Monaten . Beim Plotten eines Boxplots mit Python Matplotblib sind die Linien auf halber Höhe des Plots …

15 data-visualization python matplotlib boxplot

3

Logistische Regression: Scikit Learn vs glmnet

Ich versuche, die Ergebnisse aus der sklearnlogistischen Regressionsbibliothek mit glmnetpackage in R zu duplizieren . Aus der Dokumentation der sklearnlogistischen Regression geht es darum, die Kostenfunktion unter l2 Penalty minw,c12wTw+C∑i=1Nlog(exp(−yi(XTiw+c))+1)minw,c12wTw+C∑i=1Nlog⁡(exp⁡(−yi(XiTw+c))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) Ausgehend von den Vignetten von glmnetminimiert seine Implementierung eine geringfügig andere Kostenfunktion minβ,β0−[1N∑i=1Nyi(β0+xTiβ)−log(1+e(β0+xTiβ))]+λ[(α−1)||β||22/2+α||β||1]minβ,β0−[1N∑i=1Nyi(β0+xiTβ)−log⁡(1+e(β0+xiTβ))]+λ[(α−1)||β||22/2+α||β||1]\min_{\beta, …

15 r logistic python scikit-learn glmnet

1

Wie interpretiere ich die Kovarianzmatrix aus einer Kurvenanpassung?

Ich bin nicht so gut in Statistik, also entschuldige mich, wenn dies eine vereinfachende Frage ist. Ich passe eine Kurve an einige Daten an, und manchmal passen meine Daten am besten zu einem negativen Exponential in der Form a∗e(−b∗x)+ca∗e(−b∗x)+ca * e^{(-b * x)} + c , und manchmal ist die …

15 variance model-selection python curve-fitting covariance-matrix

3

Wie zeichnet man die Datenausgabe des Clusters?

Ich habe versucht, eine Reihe von Daten (eine Reihe von Markierungen) zu gruppieren und habe 2 Cluster erhalten. Ich möchte es grafisch darstellen. Etwas verwirrt über die Darstellung, da ich die (x, y) Koordinaten nicht habe. Suchen Sie auch nach der MATLAB / Python-Funktion, um dies zu tun. BEARBEITEN Ich …

15 clustering data-visualization python

1

Welche Mehrfachvergleichsmethode kann für ein älteres Modell verwendet werden: lsmeans oder glht?

Ich analysiere einen Datensatz unter Verwendung eines gemischten Effektmodells mit einem festen Effekt (Bedingung) und zwei zufälligen Effekten (Teilnehmer aufgrund des innerhalb des Motivs und des Paares). Das Modell wurde mit dem erzeugten lme4Paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Als nächstes führte ich einen Likelihood-Ratio-Test dieses Modells gegen das Modell ohne festen Effekt (Bedingung) …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

3

Testen Sie, ob mehrdimensionale Verteilungen gleich sind

Nehmen wir an, ich habe zwei oder mehr Stichprobenpopulationen von n-dimensionalen Vektoren mit kontinuierlichem Wert. Gibt es eine nichtparametrische Möglichkeit zu testen, ob diese Proben von derselben Verteilung stammen? Wenn ja, gibt es dafür eine Funktion in R oder Python?

15 r distributions nonparametric python

2

Sampling aus der von Mises-Fisher-Distribution in Python?

Ich suche nach einer einfachen Möglichkeit, eine multivariate von Mises-Fisher-Distribution in Python abzutasten. Ich habe im Statistikmodul in Scipy und im Numpy-Modul nachgesehen, aber nur die univariate von Mises-Verteilung gefunden. Gibt es einen Code zur Verfügung? Habe ich noch nicht gefunden. Anscheinend hat Wood (1994) einen Algorithmus zum Abtasten von …

14 distributions sampling python

1

Beta-Distribution passend für Scipy

Laut Wikipedia hat die Beta-Wahrscheinlichkeitsverteilung zwei Formparameter: und .αα\alphaββ\beta Wenn ich scipy.stats.beta.fit(x)in Python anrufe, wo xsich eine Reihe von Zahlen im Bereich , werden 4 Werte zurückgegeben. Das kommt mir komisch vor.[0,1][0,1][0,1] Nach dem googeln habe ich festgestellt, dass einer der Rückgabewerte 'location' sein muss, da die dritte Variable 0 …

14 python scipy beta-distribution

1

Sensitivitätsanalyse in tiefen neuronalen Netzen

Nach einer bereits beantworteten Frage ( Auslesen der Wichtigkeit von Einschicht-Feed-Forward- Netzen) suche ich nach Rückschlüssen auf die Relevanz von Eingaben in neuronalen Netzen. Angesichts eines tiefen Netzes, in dem die Rekonstruktion der Eingangsbedeutung durch Rückwärtsdurchlaufen der Schichten vom interessierenden Ausgangsknoten schwierig oder zeitaufwendig sein kann, habe ich mich gefragt, …

14 neural-networks python feature-selection sensitivity-analysis

2

Unterschied zwischen der Auswahl von Merkmalen basierend auf „F-Regression“ und basierend auf

Wird beim Vergleichen von Features F-regressiondasselbe verwendet wie beim Korrelieren von Features mit der Beschriftung und beim Beobachten des Werts?R2R2R^2 Ich habe oft gesehen, dass meine Kollegen F regressionin ihrer Pipeline für maschinelles Lernen eine für die Featureauswahl verwenden sklearn: sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)` Einige sagen mir bitte - warum gibt es die …

14 feature-selection python scikit-learn r-squared f-test

1

Verwenden von iloc zum Festlegen von Werten [closed]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 2 Jahren . Diese Zeile gibt die ersten 4 Zeilen im Datenrahmen combinedfür zurückfeature_a combined.iloc[0:4]["feature_a"] Wie erwartet gibt …

13 python pandas

2

Unterschied zwischen Statistikmodell OLS und linearer Skikit-Regression

Ich habe eine Frage zu zwei verschiedenen Methoden aus verschiedenen Bibliotheken, die scheinbar den gleichen Job machen. Ich versuche, ein lineares Regressionsmodell zu erstellen. Hier ist der Code, den ich mit der Statistikmodellbibliothek mit OLS verwende: X_train, X_test, y_train, y_test = cross_validation.train_test_split(x, y, test_size=0.3, random_state=1) x_train = sm.add_constant(X_train) model = …

13 regression python scikit-learn statsmodels

2

Wann sollten Sie Ihre Variablen protokollieren / erweitern, wenn Sie Modelle mit zufälligen Gesamtstrukturen verwenden?

Ich mache eine Regression mit Random Forests, um Preise basierend auf mehreren Attributen vorherzusagen. Code wird in Python mit Scikit-learn geschrieben. Wie entscheiden Sie, ob Sie Ihre Variablen mit exp/ transformieren sollen, logbevor Sie sie für das Regressionsmodell verwenden? Ist es notwendig, einen Ensemble-Ansatz wie Random Forest zu verwenden?

13 regression machine-learning predictive-models python random-forest

Als «python» getaggte Fragen