Statistiken und Big Data distance

2

Finden einer bekannten Anzahl von Kreismittelpunkten, die die Anzahl von Punkten innerhalb eines festen Abstands maximieren

Ich habe einen Satz von 2D-Daten, in denen ich die Zentren einer bestimmten Anzahl von Kreismittelpunkten ( ) finden möchte , die die Gesamtzahl der Punkte innerhalb eines bestimmten Abstands ( ) maximieren .NNNRRR Ich habe zB 10.000 Datenpunkte und möchte die Zentren von Kreisen finden, die so viele Punkte …

10 r clustering distance

1

Warum haben Anova () und drop1 () unterschiedliche Antworten für GLMMs geliefert?

Ich habe ein GLMM der Form: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Wenn ich benutze drop1(model, test="Chi"), erhalte ich andere Ergebnisse als wenn ich Anova(model, type="III")aus dem Autopaket oder benutze summary(model). Diese beiden letzteren geben die gleichen Antworten. Unter Verwendung einer Reihe …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

1

Welches Deep-Learning-Modell kann Kategorien klassifizieren, die sich nicht gegenseitig ausschließen?

Beispiele: Ich habe einen Satz in der Stellenbeschreibung: "Java Senior Engineer in UK". Ich möchte ein Deep-Learning-Modell verwenden, um es als zwei Kategorien vorherzusagen: English und IT jobs. Wenn ich ein traditionelles Klassifizierungsmodell verwende, kann es nur 1 Etikett mit softmaxFunktion auf der letzten Ebene vorhersagen . Somit kann ich …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

2

Wie finde ich den erwarteten Abstand zwischen zwei gleichmäßig verteilten Punkten?

Wenn ich die Koordinaten und wo( X 2 , Y 2 )( X.1, Y.1)(X1,Y1)(X_{1},Y_{1})( X.2, Y.2)(X2,Y2)(X_{2},Y_{2}) X.1, X.2∼ Unif ( 0 , 30 ) und Y.1, Y.2∼ Unif ( 0 , 40 ) .X1,X2∼Unif(0,30) and Y1,Y2∼Unif(0,40).X_{1},X_{2} \sim \text{Unif}(0,30)\text{ and }Y_{1},Y_{2} \sim \text{Unif}(0,40). Wie würde ich den erwarteten Wert der Entfernung …

9 expected-value uniform distance

4

Clustering mit asymmetrischen Abstandsmaßen

Wie gruppieren Sie ein Feature mit einem asymmetrischen Abstandsmaß? Angenommen, Sie gruppieren ein Dataset mit Wochentagen als Feature. Die Entfernung von Montag bis Freitag entspricht nicht der Entfernung von Freitag bis Montag. Wie integrieren Sie dies in das Abstandsmaß des Clustering-Algorithmus?

9 clustering distance

1

Effiziente Methode zur Berechnung der Abstände zwischen Schwerpunkten aus der Entfernungsmatrix

Lassen Sie uns eine quadratische symmetrische Matrix quadratischer euklidischer Abstände zwischen Punkten und einem Vektor mit einer Länge von , die die Cluster- oder Gruppenzugehörigkeit ( Cluster) der Punkte anzeigt ; Ein Cluster kann aus Punkt bestehen.D.D.\bf Dnnnnnnkkk≥ 1≥1\ge1 Was ist hier die effizienteste oder wirklich effizienteste (in Bezug auf …

8 clustering mean distance euclidean

2

Wahrscheinlichkeit, dass gleichmäßig zufällige Punkte in einem Rechteck einen euklidischen Abstand haben, der unter einem bestimmten Schwellenwert liegt

Angenommen, wir haben Punkte in einem Rechteck mit gebundenen , und diese Punkte sind in dieser Ebene gleichmäßig verteilt. (Ich bin mit Statistiken nicht ganz vertraut, daher kenne ich den Unterschied zwischen der einheitlichen Auswahl eines Knotens im Bereich oder der einheitlichen Auswahl der Achse aus und Achse von unabhängig).nnn[0,a]×[0,b][0,a]×[0,b][0,a] …

8 probability distance

3

Abstandsmetrik und Fluch der Dimensionen

In einigen Fällen habe ich einen Hinweis gelesen, dass Sie möglicherweise einen "Fluch der Dimensioalität" haben, wenn Sie viele Parameter und versuchen, eine "Ähnlichkeitsmetrik" zwischen diesen Vektoren zu finden. Ich glaube, es bedeutete, dass die meisten Ähnlichkeitswerte gleich sind und Ihnen keine nützlichen Informationen geben. Mit anderen Worten, fast alle …

8 distance similarities metric

2

Entspricht der Mahalanobis-Abstand dem euklidischen Abstand in den PCA-gedrehten Daten?

Ich bin zu der Überzeugung gelangt (siehe hier und hier ), dass der Mahalanobis-Abstand dem euklidischen Abstand in den PCA-gedrehten Daten entspricht. Mit anderen Worten, multivariate normale DatenX.XX, die Mahalanobis Entfernung aller xxx's von einem bestimmten Punkt (sagen wir 00\mathbf{0}) sollte dem euklidischen Abstand der Einträge von entsprechen X.r o …

8 r pca distance multivariate-normal rotation

2

Bewahren Autoencoder Entfernungen auf?

Nach meinem Verständnis werden Autoencoder verwendet, um eine kompakte Darstellung von Eingabefunktionen zu finden, die die wesentlichen zugrunde liegenden Informationen enthält. Gibt es eine Beziehung zwischen den L2-Abständen im ursprünglichen Eingaberaum und dem reduzierten (kompakten) Raum? Wenn nicht, kann ich das Netzwerk so trainieren, dass die kompakte Darstellung nach der …

7 neural-networks dimensionality-reduction distance autoencoders

2

Erwartete Größe eines Vektors aus einer multivariaten Normalen

Was ist die erwartete Größe, dh der euklidische Abstand vom Ursprung, eines Vektors, der aus einer p-dimensionalen sphärischen Normalen mit und , wo die Identitätsmatrix?Np(μ,Σ)Np(μ,Σ)\mathcal{N}_p(\mu,\Sigma)μ=0⃗ μ=0→\mu=\vec{0}Σ=σ2IΣ=σ2I\Sigma=\sigma^2 IIII Im univariaten Fall läuft dies auf , wobei . Dies ist der Mittelwert einer gefalteten Normalverteilung mit Mittelwert und Varianz , der wie …

7 normal-distribution distance euclidean multivariate-normal

2

K-bedeutet: Warum minimiert die Minimierung von WCSS die Entfernung zwischen Clustern?

Aus konzeptioneller und algorithmischer Sicht verstehe ich, wie K-means funktioniert. Aus mathematischer Sicht verstehe ich jedoch nicht, warum das Minimieren des WCSS (Quadratsummen innerhalb des Clusters) notwendigerweise den Abstand zwischen Clustern maximiert . Mit anderen Worten, kann jemand zeigen, wie diese Funktion der Maximierung des Abstands zwischen Clustern entspricht? Es …

7 clustering k-means distance sums-of-squares euclidean

Als «distance» getaggte Fragen