Asymptotické vlastnosti náhodných veličin¶

Čebyševova věta¶

Věta(Bienaymé-Čebyšev). Nechť (X) je nezáporná náhodná veličina a nechť (\varepsilon > 0). Potom platí nerovnost: \begin{equation}\label{eq: Bienaymé} P(\{X \ge \varepsilon\}) \le \frac{EX}{\varepsilon} \end{equation}

Důkaz. V případě, kdy je n.v. (X) absoltně spojitá lze postupovat následovně.

$$ EX = \int_{-\infty}^{\infty} xf_X(x)dx = \int_{0}^{\infty}xf_X(x)dx. $$

Zde podle předpokladu je $X\ge 0$ a tudíž $f_X = 0, x < 0.$ Dále platí:

$$ EX \ge \int_{\varepsilon}^{\infty} xf_X(x)dx $$

pro (\varepsilon>0.) Je-li $x\ge \varepsilon,$ pak platí:

$$ \int_{\varepsilon}^{\infty} xf_X(x)dx \ge \int_{\varepsilon}^{\infty}\varepsilon f_X(x)dx = \varepsilon P(\{X\ge\varepsilon\}). $$

Obecněji lze důkaz vést následovně. Položme $A_{\varepsilon}=\{X\ge \varepsilon\}.$ Potom platí $X \ge X\cdot I_{A_{\varepsilon}}.$ Odtud dostáváme $EX \ge E(X\cdot I_{A_{\varepsilon}}).$ Dále $X\cdot I_{A_{\varepsilon}}\ge \varepsilon\cdot I_{A_{\varepsilon}}$. Pak máme:

$$ EX \ge E(X\cdot I_{A_{\varepsilon}})\ge E(\varepsilon\cdot I_{A_{\varepsilon}}) = \varepsilon\cdot E(I_{A_{\varepsilon}})= \varepsilon P(A_{\varepsilon}). $$

Odtud máme $P(A_{\varepsilon})\le EX/\varepsilon,$ což jsme chtěli dokázat. (\Box)

V předchozím důkazu jsme využili následujících vlastností střední hodnoty:

$E(I_A) = P(A).$
$X\ge Y\implies EX \ge EY.$
$E(c\cdot X) = c\cdot EX.$

Věta(Čebyšev). Nechť (X) je náhodná veličina a (\varepsilon > 0.) Pak platí: \begin{equation}\label{eq: 1} P(|X -EX|\ge \varepsilon)\le\frac{DX}{\varepsilon^2}. \end{equation} Tuto nerovnost pak nazýváme Čebyševovou nerovností.

Následující nerovnost je snadným důsledkem předchozí Čebyševovy věty: $$ P(|X -EX| < \varepsilon) \ge 1 - \frac{DX}{\varepsilon^2}. $$

Důkaz. Uvažujme n.v. (Y = |X - EX|^2). Pak z předchozí věty plyne: [ P(|X - EX|\ge\varepsilon) = P(|X - EX|^2\ge\varepsilon^2) = P(Y\ge\varepsilon^2)\le \frac{EY}{\varepsilon^2} = \frac{DX}{\varepsilon^2} ] (\Box)

Poznámka. Pokud položíme v Čebyševově nerovnosti (\ref{eq: 1}) (\varepsilon = 3\sigma,) dostaneme odhad: \begin{equation}\label{eq: Cebysev89} P(|X - EX| < 3\sigma)\ge 1 - \frac{DX}{(3\sigma)^2}= \frac{8}{9}. \end{equation} Například, má-li náhodná proměnná normální rozdělení pravděpodobností, pak je pravděpodobnost dokonce ještě vyšší než 8/9, totiž 0.997. Dále v důsledku Čebyševovy nerovnosti platí pravidlo: pokud neznáme rozdělení náhodné veličiny (X), ale pokud známe střední hodnotu (EX) a disperzi (DX), lze považovat interval ((EX - 3\sigma,EX + 3\sigma)) za interval prakticky možných hodnot náhodné veličiny (X).

Konvergence podle pravděpodobnosti¶

Definice. Nechť $\{X_n\}$ je posloupnost náhodných veličin. Říkáme, že tato posloupnost konverguje podle pravděpodobnosti (P) k nějaké konstantě (c), jestliže pro libovolné číslo (\varepsilon > 0) platí: \begin{equation}\label{eq:} \lim_{n\to\infty} P(\{|X_n - c| < \varepsilon\}) = 1. \end{equation} Tuto skutečnost zapíšeme symbolicky $X_n \stackrel{P}{\longrightarrow}c$ pro $n\to\infty.$

Zákon velkých čísel¶

Věta (Slabý zákon velkých čísel) Nechť pro každé (n = 1,2,\ldots) jsou n.v (X_1,X_2,\ldots,X_n) jsou nezávislé n.v. definované na daném pravděpodobnostním prostoru a každá nechť má konečnou střední hodnotu a disperzi. Předpokládejme dále, že exituje kladná konstanta (M) taková, že pro každé (i) je (DX_i\le M.) Je-li (Sn = \sum{i=1}^n X_i.) potom pro každé (\varepsilon>0), [ P\left(\left{\left|\frac{S_n - ES_n}{n}\right|\ge\varepsilon\right}\right) \to 0\ \ \ \text{pro}\ \ \ n\to\infty.
] {}

Důkaz. Věta je vlastně důsledkem Čebyševovy nerovnosti. Z ní vyplývá, že \begin{eqnarray*} P(\{|\frac{1}{n} (\sum_{i=1}^n X_i - E(\sum_{i=1}^n X_i) )|\ge\varepsilon\}) = P( \{ | \sum_{i=1}^n X_i - E(\sum_{i=1}^n X_i) )| \ge n\varepsilon\}) \le\\ \le \frac{D( \sum_{i=1}^n X_i )}{n^2 \varepsilon^2} = \frac{\sum_{i=1}^n DX_i}{n^2\varepsilon^2}\le \frac{nM}{n^2\varepsilon^2} = \frac{M}{n\varepsilon^2}\to 0, \end{eqnarray*} pro $n\to\infty.$ (\Box)

Poznámka. V důkazu jsme využili předpoklad, že $X_1,\ldots,X_n$ jsou nezávislými veličinami a tudíž platí: $$ D(\sum_{i=1}^n X_i)= \sum_{i=1}^n DX_i. $$

Příklady¶

(a)¶

(a) Předpokládejme, že (EX_i = m) pro všechna (i) a (DX_i = \sigma^2) pro všechna (i). Potom máme: \begin{eqnarray*} ES_n &=& \sum_{i=1}^n EX_i = nm\\ \frac{S_n - ES_n}{n} &=& \frac{S_n}{n} - m = \frac{X_1 + \ldots X_n}{n} - m \end{eqnarray*} Tedy pro libovolné (\varepsilon > 0) je pro dostatečně velké (n) vysoká pravděpodobnost, že aritmetický průměr liší od střední hodnoty (m) o méně než (\varepsilon).

(b)¶

(b) Uvažujme serii n Bernoulliho pokusů a nechť (Xi = I{A_i}) kde (A_i = {\text{ úspěch v i-tém pokusu }}.) Pak ((X_1 +\ldots + X_n)/n) vyjadřuje relativní frekvenci úspěšných pokusů mezi celkem (n) pokusy. Nyní (EX_i = P(A_i) = p =)"pravděpodobnost úspěchu v i-tém pokusu. Pak pro dostatečně velké (n) se relativní frekvence liší od (p) o méně než (\varepsilon).

(c)¶

(c) Nechť (X) je n.v. se střední hodnotou (EX = 8) a disperzí (DX = 5.) Odhadněte poté zdola hodnotu pravděpodobnosti (P(5 < X < 11).)

Řešení. \begin{equation*} P(5 < X < 11) = P(5 - 8 < X - 8 < 11 - 8) = P(-3 < X - 8 < 3) = P(|X - 8| < 3) \ge 1 - \frac{5}{3^2}. \end{equation*}

(d)¶

Z balíčku 32 karet čtyř barev opakovaně vytahujeme jednu kartu a poté kartu vracíme zpět do balíčku.

(i) Můžeme s pravděpodobností větší než 0.8 tvrdit, že četnost vytažení esa v 1000 pokusech bude v mezích od 100 do 150?

(ii) Kolik tahů musíme provést, abychom s pravděpodobností alespoň 0.9 mohli očekávat, že relativní četnost vytažení esa vyhovuje nerovnostím: [ 0.065 \le \frac{m}{n} \le 0.185. ]

Řešení.

(i) Nechť (X) repreznetuje četnost vytažení esa v n nezávislých pokusech. Jedná se tedy o diskrétní n.v. s konečně mnoha možnými funkčními hodnotami s binomickým rozložení pravděpodobností s parametry n = 1000, p = 1/8 a q = 7/8. Jak víme, platí pro každé (k = 0,1,2,\ldots), [ P(X = k) = \binom{n}{k}p^kq^{n-k}. ] Dále (EX = np) a (DX = npq.) Tedy (EX = 1000\cdot 1/8 = 125,) (DX = 1000\cdot 1/8\cdot 7/8 = 109.375.) Dále pak platí: \begin{equation*} P(100 < X < 150) = P(|X - 125| < 25). \end{equation*} Z Čebyševovy nerovnosti vyplývá, že \begin{equation*} P(|X - 125| < 25) \ge 1 - \frac{109.375}{25^2} = 0.825 > 0.8. \end{equation*}

(ii) Uvažujme nyní n.v. (Y = \frac{X}{n}) vyjadřující relativní četnost vytažení esa mezi n nezávislými pokusy. Potom lze spočítat střední hodnotu a disperzi n.v. (Y).

\begin{equation*} EY = E(\frac{X}{n}) = \frac{1}{n}EX = \frac{1}{n}np = p = 1/8. \end{equation*}\begin{equation*} DY = D(\frac{X}{n}) = \frac{1}{n^2}DX = \frac{1}{n^2}npq = \frac{pq}{n} = \frac{7}{n\cdot 8^2}. \end{equation*}

Z Čebyševovy nerovnosti nyní vyplývá, že:

\begin{equation*} P(|(X/n) - E(X/n)| < 0.06) = P(|Y - EY| < 0.06) \ge 1 - \frac{DY}{0.06^2} = 1 - \frac{7}{64n\cdot 0.0036} = 1 - \frac{7}{0.2304n}. \end{equation*}

Nyní stačí řešit nerovnici:

from sympy import *
n = symbols("n")
solve(1 - (7)/(0.2304 * n) > 0.9)

Odtud je vidět, že po zaokrouhlení lze vzít za n číslo 304.