Funkcja charakterystyczna (teoria prawdopodobieństwa)

Definicja intuicyjna:
Odpowiednik transformaty Fouriera dla miar probabilistycznych, rozkładów prawdopodobieństwa i zmiennych losowych.

Funkcją charakterystyczną rozkładu prawdopodobieństwa $\mu\;$ nazywa się funkcję $\varphi: \mathbb R \to \mathbb C$ zadaną wzorem

$\varphi(t) = \int\limits_{\mathbb R} e^{its} \mu(ds)$.

Jeżeli $X:\Omega \to \mathbb R$ jest zmienną losową, a $\mu_X\;$ jest jej rozkładem, to jej funkcja charakterystyczna może być zapisana jako

$\varphi_X(t) = \int\limits_{\mathbb R} e^{its} \mu_X(ds) = \mathbb Ee^{itX}$

gdzie $\mathbb E$ to wartość oczekiwana.

Funkcja charakterystyczna, podobnie jak dystrybuanta, koduje pełną informację o rozkładzie. Jest ona dobrze określona (istnieje dla każdego rozkładu). Dla rozkładów ciągłych jest to transformata Fouriera funkcji gęstości prawdopodobieństwa:

$\varphi_X(t) = \int\limits_{-\infty}^\infty e^{itx}f(x)dx\;$

stąd można ją uznać za uogólnienie transformaty Fouriera na dowolne rozkłady.

Dla rozkładów dyskretnych o masie prawdopodobieństwa skupionej w punktach $x_1,x_2,\dots,x_n$:

$\varphi_X(t)=\sum\limits_{i=1}^n \operatorname{pmf}(x_i)e^{itx_i}$

Własności

• $\varphi_X(0) = 1$,
• $|\varphi_X(t)| \leqslant 1$,
• $\varphi_X(t) = \overline{\varphi_X(-t)}$,
• $\varphi_X$ jest dodatnio określona,
• $\varphi_X(t)$ jest jednostajnie ciągła,
• $\varphi_X$ jest funkcją rzeczywistą wtedy i tylko wtedy, gdy rozkład jest symetryczny,
• $\lim\limits_{|t|\to\infty}\varphi_X(t)\to 0$ dla rozkładów ciągłych (twierdzenie Riemanna-Lebesgue'a).

Funkcja charakterystyczna funkcji liniowej $aX + b\;$ zmiennej losowej $X\;$ wyraża się za pomocą funkcji charakterystycznej zmiennej losowej $X\;$ wg następującego wzoru:

$\varphi_{aX + b}(t) = \varphi_X(at) e^{itb}$.

Przykłady

Niżej podano funkcje charakterystyczne $\varphi_X(t)$ znanych rozkładów $\mu_X$. Zawsze $n, k \in \mathbb N$, $a, b, m, p, t, x, \lambda, \sigma \in \mathbb R$, przy czym $p, \lambda > 0$ oraz $A \subseteq \mathbb R$. Symbol $\mathbf 1_{A}(x)$ oznacza indykator zbioru $A$.

Nazwa	Oznaczenie	Rozkład	Funkcja charakterystyczna
jednopunktowy	$\delta_{a}$	$\operatorname{pmf}(a) = 1$	$e^{ait}$
dwupunktowy		$\operatorname{pmf}(a) = p = 1 - \operatorname{pmf}(b)$	$pe^{ait} + (1-p)e^{bit}$
Poissona	$\mathrm{Pois}(\lambda)$	$\operatorname{pmf}(k) = \tfrac{\lambda^k}{k!} e^{-\lambda}$	$e^{\lambda(e^{it} - 1)}$
dwumianowy	$\mathrm{Binom}(n, p)$	$\operatorname{pmf}(k) = \tbinom{n}{k} p^k (1-p)^{n-k}$	$(1-p + pe^{it})^n \!$
geometryczny	$\mathrm{Geom}(n, p)$	$\operatorname{pmf}(k) = p(1-p)^{n - 1}$	$\tfrac{pe^{it}}{1-(1-p)e^{it}}$
jednostajny (na odcinku)	$\mathrm{U}(a, b)$	$f(x) = \tfrac{1}{b - a} \mathbf 1_{[a, b]}(x)$	$\tfrac{e^{itb} - e^{ita}}{it(b-a)}$
wykładniczy	$\mathrm{Exp}(\lambda)$	$f(x) = \lambda e^{-\lambda x}\;$	$\tfrac{\lambda}{\lambda - it}$
normalny standardowy	$\mathrm{N}(0, 1)$	$f(x) = \tfrac{1}{\sqrt{2\pi}} e^{-\tfrac{x^2}{2}}$	$e^{-\tfrac{t^2}{2}}$
normalny	$\mathrm{N}(m, \sigma^2)$	$f_X(x) = \tfrac{1}{\sigma \sqrt{2\pi}} e^{-\tfrac{(x - m)^2}{2\sigma^2}}$	$e^{mit - \tfrac{(\sigma t)^2}{2}}$

Momenty

Z funkcji charakterystycznej $\varphi_X$ da się wyznaczyć momenty zmiennej losowej $X$. Istnieje też częściowe odwrócenie tego twierdzenia dla momentów parzystych.

Twierdzenie 

Jeżeli istnieje n-ty moment zmiennej losowej $X$, tzn. $\mathbb E|X|^n < \infty$, to istnieje również n-ta pochodna funkcji charakterystycznej $\varphi_X$, co więcej jest ona jednostajnie ciągła, oraz zachodzi

$i^n{\mathbb E}X^n = \varphi_X^{(n)}(0)$.

Dzięki temu wzór Taylora funkcji charakterystycznej wygląda następująco: jeżeli $\mathbb E|X|^n < \infty$, to

$\varphi_X(t) = \sum_{k=0}^{n} \tfrac{(it)^{k}}{k!} \mathbb{E}X^{k} + \mathrm{o}(t^{n})$.

Twierdzenie 

Jeżeli istnieje n-ta pochodna funkcji charakterystycznej zmiennej losowej, gdzie $n = 2k$ oraz $k \in {\mathbb Z}$, to istnieje n-ty moment tej zmiennej losowej.

Rozkłady

Kryterium określającego kiedy funkcja $\varphi: \mathbb R \to \mathbb C$ jest funkcją charakterystyczną pewnego rozkładu prawdopodobieństwa dostarcza twierdzenie Bochnera. Innym jest kryterium Pólya.

Funkcja charakterystyczna determinuje rozkład, tzn. jeśli $\mu, \nu$ są rozkładami prawdopodobieństwa na $\mathbb{R}$, to jeśli mają one równe funkcje charakterystyczne, czyli $\varphi_\mu(t) = \varphi_\nu(t) \quad \forall_{t \in \mathbb{R}}$, to $\mu = \nu$.

Ponieważ ciąg $(X_n)_{n \in {\mathbb N}}$ jest zbieżny wg rozkładu, jeżeli

${\mathbb E}f(X_n) \to {\mathbb E}f(X)$, dla dowolnej funkcji $f$ ciągłej i ograniczonej,

w szczególności dla $f(x) = e^{itx}$ (ciągłej i ograniczonej co do modułu przez 1), to

${\mathbb E}e^{itX_n} \to {\mathbb E}e^{itX} \iff \varphi_{X_n}(t) \to \varphi_X(t) \quad \forall_{t \in {\mathbb R}}$,

a więc zbieżność wg rozkładu zmiennych losowych pociąga zbieżność punktową ich funkcji charakterystycznych. Twierdzenie Lévy'ego-Craméra jest nietrywialnym odwróceniem tego wyniku.

Dystrybuanta i gęstość

Z tożsamości Parsevala wynika wzór na dystrybuantę $F$ rozkładu o funkcji charakterystycznej $\varphi$. Jeżeli punkt $u$ jest punktem ciągłości, to

$F(u) = \lim_{a \to \infty} \int\limits_{-\infty}^{u} \left(\frac{1}{2\pi} \int\limits_{-\infty}^{\infty} e^{-ist} \varphi(s) e^{-s^2/2a^2} ds\right) dt$.

Odwrotna transformacja Fouriera umożliwia wyznaczenie gęstości: jeżeli $\varphi$ jest całkowalna, to rozkład ten ma ograniczoną i ciągłą gęstość $f$ daną wzorem

$f(x) = \frac{1}{2\pi} \int\limits_{-\infty}^{\infty} e^{-isx} \varphi(s) ds$.

Tożsamość Plancherela mówi, iż jeżeli rozkład ma gęstość $f$ i funkcję charakterystyczną $\varphi$, to $|\varphi|^2$ jest całkowalna wtedy i tylko wtedy, gdy $f^2$ jest całkowalna. Wtedy też

$\int\limits_{-\infty}^{\infty} f(x)^2 dx = \frac{1}{2\pi} \int\limits_{-\infty}^{\infty} |\varphi(t)|^2 dt$.

Niezależne zmienne losowe

Funkcje charakterystyczne są szczególnie użyteczne do badania zmiennych będących funkcjami niezależnych zmiennych losowych. Jeżeli $X_1, \dots, X_n$ jest ciągiem niezależnych zmiennych losowych, a

$S_n = a_1 X_1 + \dots + a_n X_n$,

gdzie $a_i \in {\mathbb C}$, to funkcja charakterystyczna $S_n$ dana jest wzorem

$\varphi_{S_n}(t) = \varphi_{X_1}(a_1 t) \dots \varphi_{X_n}(a_n t)$.

W szczególności $\varphi_{X+Y}(t) = \varphi_X(t) \varphi_Y(t)$, co wynika wprost z definicji funkcji charakterystycznych (pierwsza i czwarta równość), własności funkcji wykładniczej (druga równość) i niezależności zmiennych losowych (trzecia równość):

$\varphi_{X+Y}(t) = {\mathbb E}e^{it(X+Y)} = {\mathbb E}\left(e^{itX}e^{itY}\right) = {\mathbb E}e^{itX} {\mathbb E}e^{itY} = \varphi_X(t) \varphi_Y(t)$.

Rozkłady wielowymiarowe

Jeżeli $\mathbf t = (t_1, t_2, \dots, t_n)^\top \in \mathbb{R}^n$, zaś $\mathbf X = (X_1, X_2, \dots, X_n)^\top \in \mathbb{R}^n$ jest wektorem losowym, a przez $\mathbf{tX}$ rozumie się ich iloczyn skalarny, to funkcję charakterystyczną wektora $\mathbf X$ definiuje się analogicznie wzorem

$\varphi_{\mathbf X}(\mathbf t) = \mathbb Ee^{i\mathbf{tX}}$.

lub w zapisie macierzowym

$\varphi_{\mathbf X}(\mathbf t) = \mathbb Ee^{i{\mathbf t}^\top \mathbf{X}}$,

gdzie ${}^\top$ oznacza transpozycję (oba wektory są kolumnowe).

Funkcja charakterystyczna przekształcenia afinicznego $\mathbf{AX} + \mathbf{b}$ wyraża się przez $\varphi_{\mathbf X}$ wzorem postaci:

$\varphi_{\mathbf{AX} + \mathbf{b}}(\mathbf{t}) = \varphi_X(\mathbf{A^\top t}) e^{i\mathbf{t^\top b}}$,

gdzie $\mathbf{A}$ jest przekształceniem liniowym (macierzą), zaś $\mathbf{b} \in \mathbb{R}^n$.

Zmienne losowe $X_1, \dots, X_n$ są niezależne wtedy i tylko wtedy, gdy

$\varphi_{\mathbf X}(\mathbf t) = \varphi_{X_1}(t_1) \dots \varphi_{X_n}(t_n)$.

Zgodnie z twierdzeniem Craméra-Wolda ciąg wektorów losowych $\mathbf{X}_1, \mathbf{X}_2, \dots$ zbiega wg rozkładu do wektora $\mathbf{X}$ wtedy i tylko wtedy, gdy $\mathbf{tX}_n$ zbiega wg rozkładu do $\mathbf{tX}$ dla każdego $\mathbf{t} \in \mathbb{R}^n$.

Zobacz też

• funkcja charakterystyczna (transformata Fouriera)
• funkcja tworząca momenty (transformata Laplace'a)
• funkcja tworząca prawdopodobieństwa (transformata Laurenta lub Z-transformata)
• kumulanta

Bibliografia

• J. Jakubowski, R. Sztencel: Wstęp do teorii prawdopodobieństwa. Wyd. III. s. 190-210. ISBN 83-89716-01-1.