Odległość Mahalanobisa

Odległość Mahalanobisa jest odległością między dwoma punktami w n-wymiarowej przestrzeni, która różnicuje wkład poszczególnych składowych oraz wykorzystuje korelacje między nimi. Znajduje ona zastosowanie w statystyce, przy wyznaczaniu podobieństwa między nieznanym wektorem losowym a wektorem ze znanego zbioru.

Definicja

Dane mamy 2 wektory losowe $\bold{x}=[x_1,x_2,\ldots,x_n]$, $\bold{y}=[y_1,y_2,\ldots,y_n]$ w przestrzeni $\mathbb{R}^n$, oraz pewną symetryczną, dodatnio określoną macierz $C\,$. Odległość Mahalanobisa zdefiniowana jest jako:

$d_{m}(\bold{x},\bold{y}):=\sqrt{(\bold{x}-\bold{y})C^{-1}(\bold{x}-\bold{y})^T}$

Interpretacja

Odległość Mahalanobisa stosuje się najczęściej w analizie skupień. Mając dany zbiór punktów tworzących pewną klasę, możemy wyznaczyć dla niego wektor średni $\boldsymbol{\mu}=[\mu_1,\mu_2,\ldots,\mu_n]$ oraz macierz kowariancji $C\,$, które odzwierciedlają pewien charakter tej klasy. Badając przynależność nieznanego wektora losowego $\bold{x}$ do danej klasy, mierzy się jego podobieństwo do wektora $\boldsymbol{\mu}\,$, uwzględniając przy tym informację o wariancjach poszczególnych składowych oraz korelacjach między nimi. Miarą takiego podobieństwa jest odległość Mahalanobisa, nazywana ważoną odległością euklidesową, przy czym macierzą wag jest $C^{-1}\,$.

Rozważmy trzy przypadki różnych zbiorów danych:

Przypadek 1

Poszczególne składowe w zbiorze mają równe wariancje (można przyjąć że są one równe 1) i nie są skorelowane. Wówczas macierz kowariancji $C\,$ jest macierzą jednostkową, a odległość Mahalanobisa jest równa odległości euklidesowej:

$\begin{align}d_{m}(\bold{x},\boldsymbol{\mu}) & = \sqrt{ (x_1-\mu_1)^2 + \ldots + (x_n-\mu_n)^2} \\ & = \sqrt{(\bold{x}-\boldsymbol{\mu})\mathbb{I}^{-1}(\bold{x}-\boldsymbol{\mu})^T}\end{align}$

Punkty o identycznej odległości od pewnego danego punktu centralnego tworzą na płaszczyźnie okrąg, a w przestrzeni o trzech lub więcej wymiarach odpowiednio sferę i hipersferę.

Przypadek 2

Składowe $x_1, x_2, \ldots, x_n$ wektora losowego $\bold{x}$ nie są skorelowane, lecz mają różne wariancje: $\sigma_1^2, \sigma_2^2, \ldots, \sigma_n^2$. Aby znormalizować poszczególne składowe należy je podzielić przez odpowiadające im wariancje:

$\begin{align}d_{m}(\bold{x},\boldsymbol{\mu}) & = \sqrt{ \frac{(x_1-\mu_1)^2}{\sigma_1^2} + \ldots + \frac{(x_n-\mu_n)^2}{\sigma_n^2}} \\ & = \sqrt{(\bold{x}-\boldsymbol{\mu})D^{-1}(\bold{x}-\boldsymbol{\mu})^T}\end{align}$

gdzie $D\,$ jest macierzą diagonalną $\mathrm{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_n^2)$.

Punkty o identycznej odległości tworzą na płaszczyźnie elipsę, a w przestrzeni trójwymiarowej elipsoidę, przy czym osie utworzonej figury są równoległe do osi układu współrzędnych.

Przypadek 3

Składowe mają różne wariancje i są skorelowane: $\sigma_{ij}^2 > 0,\ \ 1 \leqslant i,j\leqslant n$. Odpowiada to pełnej macierzy kowariancji $C\,$, a utworzona przez punkty o tej samej odległości elipsa jest obrócona o pewien kąt względem osi układu współrzędnych. Obrót ten jest dany przez macierz wektorów własnych macierzy $C\,$, zaś długości osi elipsy odpowiadają pierwiastkom kwadratowym jej wartości własnych $\lambda_1^2, \ldots, \lambda_n^2\,$.

Zastosowania

• Kwadrat odległości Mahalanobisa występuje w wykładniku wielowymiarowego rozkładu Gaussa.
• W zagadnieniach grupowania danych, np. klasteryzacji rozmytej, odległość Mahalanobisa wykorzystana jest do określania kształtu grupy (klastra). Przykładem jest algorytm GK (Gustaffsona-Kessela).