Pearson-Korrelation von Datensätzen mit möglicherweise null Standardabweichung?

Ich habe ein Problem bei der Berechnung des Pearson-Korrelationskoeffizienten von Datensätzen mit möglicherweise null Standardabweichung (dh alle Daten haben den gleichen Wert).

Angenommen, ich habe die folgenden zwei Datensätze:

float x[] = {2, 2, 2, 3, 2};
float y[] = {2, 2, 2, 2, 2};

Der Korrelationskoeffizient "r" würde unter Verwendung der folgenden Gleichung berechnet:

float r = covariance(x, y) / (std_dev(x) * std_dev(y));

Da jedoch alle Daten im Datensatz "y" den gleichen Wert haben, wäre die Standardabweichung std_dev (y) Null und "r" undefiniert.

Gibt es eine Lösung für dieses Problem? Oder sollte ich in diesem Fall andere Methoden zum Messen der Datenbeziehung verwenden?

Die Leute der "Sampling-Theorie" werden Ihnen sagen, dass keine solche Schätzung existiert. Aber Sie können eine bekommen, Sie müssen nur vernünftig mit Ihren vorherigen Informationen umgehen und viel härter rechnen.

Wenn Sie eine Bayes'sche Schätzmethode angegeben haben und der hintere Teil mit dem vorherigen identisch ist, können Sie sagen, dass die Daten nichts über den Parameter aussagen. Da die Dinge für uns "singulär" werden können, können wir keine unendlichen Parameterräume verwenden. Ich gehe davon aus, dass Sie aufgrund der Pearson-Korrelation eine bivariate normale Wahrscheinlichkeit haben:

wobei Qi=(xi-μx)

$$p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)=\left(\sigma_x\sigma_y\sqrt{2\pi(1-\rho^2)}\right)^{-N}exp\left(-\frac{\sum_{i}Q_i}{2(1-\rho^2)}\right)$$ $$Q_i=\frac{(x_i-\mu_x)^2}{\sigma_x^2}+\frac{(y_i-\mu_y)^2}{\sigma_y^2}-2\rho\frac{(x_i-\mu_x)(y_i-\mu_y)}{\sigma_x\sigma_y}$$

Um anzuzeigen, dass ein Datensatz den gleichen Wert haben kann, schreiben Sie , und dann erhalten wir:$y_i=y$

wobei s2x=

$$\sum_{i}Q_i=N\left[\frac{(y-\mu_y)^2}{\sigma_y^2}+\frac{s_x^2 + (\overline{x}-\mu_x)^2}{\sigma_x^2}-2\rho\frac{(\overline{x}-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y}\right]$$ $$s_x^2=\frac{1}{N}\sum_{i}(x_i-\overline{x})^2$$

Und so Ihre Wahrscheinlichkeit auf vier Zahlen abhängt, . Sie möchten also eine Schätzung von ρ , müssen also mit einem vorherigen multiplizieren und die Störparameter μ x , μ y , σ x , σ y integrieren . Nun bereiten wir uns auf die Integration vor und "vervollständigen das Quadrat" ∑ i Q $s_x^2,y,\overline{x},N$$\rho$$\mu_x,\mu_y,\sigma_x,\sigma_y$

$$\frac{\sum_{i}Q_i}{1-\rho^2}=N\left[\frac{\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{\sigma_y^2(1-\rho^{2})}+\frac{s_x^2}{\sigma_{x}^{2}(1-\rho^{2})} + \frac{(\overline{x}-\mu_x)^2}{\sigma_x^2}\right]$$

Jetzt sollten wir auf Nummer sicher gehen und eine richtig normalisierte Wahrscheinlichkeit sicherstellen. Auf diese Weise können wir keinen Ärger bekommen. Eine solche Option besteht darin, einen schwach informativen Prior zu verwenden, der lediglich die Reichweite jedes einzelnen einschränkt. Wir haben also für das Mittel mit dem flachen Prior und L σ < σ x , σ y < U σ für die Standardabweichungen mit jeffreys prior. Diese Grenzen können leicht mit ein wenig "gesundem Menschenverstand" festgelegt werden, der über das Problem nachdenkt. Ich werde einen nicht näher bezeichneten Prior für $L_{\mu}<\mu_x,\mu_y<U_{\mu}$$L_{\sigma}<\sigma_x,\sigma_y<U_{\sigma}$$\rho$, und so bekommen wir (Uniform sollte funktionieren, wenn nicht die Singularität bei abgeschnitten ):$\pm 1$

$$p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)=\frac{p(\rho)}{A\sigma_x\sigma_y}$$

$A=2(U_{\mu}-L_{\mu})^{2}[log(U_{\sigma})-log(L_{\sigma})]^{2}$

$$p(\rho|D)=\int p(\rho,\mu_x,\mu_y,\sigma_x,\sigma_y)p(D|\mu_x,\mu_y,\sigma_x,\sigma_y,\rho)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

$$=\frac{p(\rho)}{A[2\pi(1-\rho^2)]^{\frac{N}{2}}}\int_{L_{\sigma}}^{U_{\sigma}}\int_{L_{\sigma}}^{U_{\sigma}}\left(\sigma_x\sigma_y\right)^{-N-1}exp\left(-\frac{N s_x^2}{2\sigma_{x}^{2}(1-\rho^{2})}\right) \times$$ $$\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N(\overline{x}-\mu_x)^2}{2\sigma_x^2}\right)\int_{L_{\mu}}^{U_{\mu}}exp\left(-\frac{N\left(\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]\right)^2}{2\sigma_y^2(1-\rho^{2})}\right)d\mu_y d\mu_x d\sigma_x d\sigma_y$$

Now the first integration over $\mu_y$ can be done by making a change of variables $z=\sqrt{N}\frac{\mu_y-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\sigma_y\sqrt{1-\rho^{2}}}\implies dz=\frac{\sqrt{N}}{\sigma_y\sqrt{1-\rho^{2}}}d\mu_y$ and the first integral over $\mu_y$ becomes:

$$\frac{\sigma_y\sqrt{2\pi(1-\rho^{2})}}{\sqrt{N}}\left[\Phi\left( \frac{U_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)-\Phi\left( \frac{L_{\mu}-\left[y-(\overline{x}-\mu_x)\frac{\rho\sigma_y}{\sigma_x}\right]}{\frac{\sigma_y}{\sqrt{N}}\sqrt{1-\rho^{2}}} \right)\right]$$

And you can see from here, no analytic solutions are possible. However, it is also worthwhile to note that the value $\rho$ has not dropped out of the equations. This means that the data and prior information still have something to say about the true correlation. If the data said nothing about the correlation, then we would be simply left with $p(\rho)$ as the only function of $\rho$ in these equations.

It also shows how that passing to the limit of infinite bounds for $\mu_y$ "throws away" some of the information about $\rho$, which is contained in the complicated looking normal CDF function $\Phi(.)$. Now if you have a lot of data, then passing to the limit is fine, you don't loose much, but if you have very scarce information, such as in your case - it is important keep every scrap you have. It means ugly maths, but this example is not too hard to do numerically. So we can evaluate the integrated likelihood for $\rho$ at values of say $-0.99,-0.98,\dots,0.98,0.99$ fairly easily. Just replace the integrals by summations over a small enough intervals - so you have a triple summation

I agree with sesqu that the correlation is undefined in this case. Depending on your type of application you could e.g. calculate the Gower Similarity between both vectors, which is: $gower(v1,v2)=\frac{\sum_{i=1}^{n}\delta(v1_i,v2_i)}{n}$ where $\delta$ represents the kronecker-delta, applied as function on $v1,v2$.

So for instance if all values are equal, gower(.,.)=1. If on the other hand they differ only in one dimension, gower(.,.)=0.9. If they differ in every dimension, gower(.,.)=0 and so on.

Of course this is no measure for correlation, but it allows you to calculate how close the vector with s>0 is to the one with s=0. Of course you can apply other metrics,too, if they serve your purpose better.

The correlation is undefined in that case. If you must define it, I would define it as 0, but consider a simple mean absolute difference instead.

This question is coming from programmers, so I'd suggest plugging in zero. There's no evidence of a correlation, and the null hypothesis would be zero (no correlation). There might be other context knowledge that would provide a "typical" correlation in one context, but the code might be re-used in another context.