Wie kann ich Distanz (Euklidisch) in Ähnlichkeit umwandeln?

13

Ich benutze $k$ bedeutet Clustering, um Lautsprecherstimmen zu gruppieren. Wenn ich eine Äußerung mit gruppierten Sprecherdaten vergleiche, erhalte ich eine (euklidische entfernungsbasierte) durchschnittliche Verzerrung. Dieser Abstand kann im Bereich von . Ich möchte diesen Abstand in einen Ähnlichkeitswert umrechnen . Bitte leiten Sie mich, wie ich dies erreichen kann. $[0,\infty]$ $[0,1]$

— Muhammad
quelle

15

Wenn $d(p_1,p_2)$ den euklidischen Abstand von Punkt $p_1$ zu Punkt $p_2$ ,

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

wird häufig verwendet.

— TrynnaDoStat
quelle

Bitte korrigieren Sie mich , wenn ich falsch bin, wenn wir

X = (x_{1}, x_{2}, x_{3}, . . ., x_{t})

$X = (x_1,x_2,x_3,...,x_t)$ und

Y = (Y_{1}, Y_{2}, Y_{3}, . . ., Y_{n})

$Y = (Y_1,Y_2,Y_3,...,Y_n)$ wobei jedes

x

$x$ und

y

$y$ Dimension

D

$D$ . Dann können wir Ähnlichkeiten definieren, wie z. B.

.

S i m i l a r i t y = \frac{1}{t} \sum_{i = 1}^{t} \frac{1}{1 + m i n D i s t a n c e (x_{i}, Y)}

$Similarity = \frac{1}{t} \sum\limits_{i=1}^t \frac{1}{ 1+ minDistance(x_i, Y)}$

— Muhammad

Ich verstehe, dass das Plus 1 im Nenner ist, um Division durch Null Fehler zu vermeiden. Ich habe jedoch festgestellt, dass der Wert plus eins d (p1, p2) -Werte, die größer als 1 sind, überproportional beeinflusst und letztendlich die Ähnlichkeitsbewertung signifikant verringert. Gibt es eine andere Möglichkeit, dies zu tun? Vielleicht s = 1-d (p1, p2)

— aamir23

9

Sie könnten auch verwenden: , woSiegewünschte Abstandsfunktion ist. $\frac{1}{e^{dist}}$ dist

— Unbehandelte Ausnahme
quelle

Können Sie bitte ein Nachschlagewerk / eine Dokumentation zu dieser Gleichung angeben, in der Sie sie gefunden haben? @Dougal

— Justlife

@AnimeshKumarPaul Ich habe diese Antwort nicht geschrieben, sondern nur die Formatierung verbessert. Es wird jedoch häufig als Version eines "generalisierten RBF-Kernels" verwendet. siehe zB hier . Diese Frage betrifft, ob es sich bei der Ausgabe um einen positiv definierten Kernel handelt. Wenn Ihnen das egal ist, befriedigt es zumindest eine intuitive Vorstellung von Ähnlichkeit, dass weiter entfernte Punkte weniger ähnlich sind.

— Dougal

@ Justlife: Google für diese eine "Enzyklopädie der Entfernungen" und wählen Sie das Ergebnis mit dem PDF-Dokument.

— Unbehandelte Ausnahme

6

Es hört sich so an, als ob Sie eine Ähnlichkeit mit dem Kosinus wünschen, was selbst eine Ähnlichkeitsbewertung im Einheitsintervall ist. Tatsächlich besteht eine direkte Beziehung zwischen euklidischer Distanz und Kosinusähnlichkeit!

Beachten Sie, dass

| | x - x^{'} | |^{2} = (x - x^{'})^{T} (x - x^{'}) = | | x | | + | | x^{'} | | - 2 | | x - x^{'} | | .

$||x-x^\prime||^2=(x-x^\prime)^T(x-x^\prime)=||x||+||x^\prime||-2||x-x^\prime||.$

Während die Cosinusähnlichkeit wobeider Winkel zwischenund.

f (x, x^{'}) = \frac{x^{T} x^{'}}{| | x | | | | x^{'} | |} = \cos (θ)

$f(x,x^\prime)=\frac{x^T x^\prime}{||x||||x^\prime||}=\cos(\theta)$

θ

$\theta$

x

$x$

x^{'}

$x^\prime$

Wann wir haben und $||x||=||x^\prime||=1,$

| | x - x^{'} | |^{2} = 2 (1 - f (x, x^{'}))

$||x-x^\prime||^2=2(1-f(x,x^\prime))$

f (x, x^{'}) = x^{T} x^{'},

$f(x,x^\prime)=x^T x^\prime,$

so

in diesem Spezialfall.

1 - \frac{| | x - x^{'} | |^{2}}{2} = f (x, x^{'}) = \cos (θ)

$1-\frac{||x-x^\prime||^2}{2}=f(x,x^\prime)=\cos(\theta)$

Aus rechnerischer Sicht kann es effizienter sein, statt der euklidischen Distanz nur den Kosinus zu berechnen und dann die Transformation durchzuführen.

— Sycorax sagt Reinstate Monica
quelle

‖ x, x^{'} ‖^{2}

$\lVert x, x' \rVert^2$

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$

‖ x ‖

$\lVert x \rVert$

‖ x^{'} ‖

$\lVert x' \rVert$

⟨ x, x^{'} ⟩

$\langle x, x' \rangle$

x^{T} x^{'} / (‖ x ‖ ‖ x^{'} ‖)

$x^T x' / (\lVert x \rVert \lVert x' \rVert)$

1 - \frac{2}{π} \frac{x^{T} x^{'}}{‖ x ‖ ‖ x^{'} ‖}

$1 - \frac2\pi \frac{x^T x'}{\lVert x \rVert \lVert x' \rVert}$ is also sometimes called that.

— Dougal

@Dougal Blah. Correct. I've revised to make it intelligible.

— Sycorax says Reinstate Monica

Cool. Note though that since the OP said distances are unbounded, it seems like we don't have

‖ x ‖ = 1

$\lVert x \rVert = 1$ . Also, your expansion of

‖ x - x^{'} ‖^{2}

$\lVert x - x' \rVert^2$ is mistaken; it should be

‖ x ‖^{2} + ‖ x^{'} ‖^{2} - 2 x^{T} x^{'}

$\lVert x \rVert^2 + \lVert x' \rVert^2 - 2 x^T x'$ , though the rest of your post handles it correctly. :)

— Dougal

3

How about a Gaussian kernel ?

$K(x, x') = \exp\left( -\frac{\| x - x' \|^2}{2\sigma^2} \right)$

The distance $\|x - x'\|$ is used in the exponent. The kernel value is in the range $[0, 1]$ . There is one tuning parameter $\sigma$ . Basically if $\sigma$ is high, $K(x, x')$ will be close to 1 for any $x, x'$ . If $\sigma$ is low, a slight distance from $x$ to $x'$ will lead to $K(x,x')$ being close to 0.

— wij
quelle

1

Note that this answer and @Unhandled exception's are very related: this is

\exp (- γ d (x, x^{'})^{2})

$\exp\left( - \gamma d(x, x')^2 \right)$ , where that one [introducing a scaling factor] is

\exp (- γ d (x, x^{'}))

$\exp\left( - \gamma d(x, x') \right)$ , a Gaussian kernel with

\sqrt{d}

$\sqrt{d}$ as the metric. This will still be a valid kernel, though the OP doesn't necessarily care about that.

— Dougal

0

If you are using a distance metric that is naturally between 0 and 1, like Hellinger distance. Then you can use 1 - distance to obtain similarity.

— Brad
quelle