Ley de los grandes números

La ley de los grandes números es un teorema en probabilidades que describe el comportamiento del promedio de una sucesión de variables aleatorias según el número total de variables aumenta. El teorema describe hipótesis suficientes para afirmar que dicho promedio converge (en los sentidos explicados abajo) al promedio de las esperanzas de las variables aleatorias involucradas. En particular, si todas las variables son idénticamente distribuidas e independientes, el promedio tiende al valor de la esperanza individual. Las leyes de los grandes números implican que el promedio de una muestra al azar de una población de gran tamaño tenderá a estar cerca de la media de la población completa. Varias formulaciones de la ley de los grandes números (y sus condiciones asociadas) especifican la convergencia de formas distintas.

Cuando las variables aleatorias tienen una varianza finita, el teorema central del límite extiende nuestro entendimiento de la convergencia de su promedio describiendo la distribución de diferencias estandarizadas entre la suma de variables aleatorias y el valor esperado de esta suma. Sin importar la distribución subyacente de las variables aleatorias, esta diferencia estandarizada converge a una variable aleatoria normal estándar.

La frase "ley de los grandes números" es también usada ocasionalmente para referirse al principio de que la probabilidad de que cualquier evento posible (incluso uno improbable) ocurra al menos una vez en una serie, incrementa con el número de eventos en la serie. Por ejemplo, la probabilidad de que un individuo gane la lotería es bastante baja; sin embargo, la probabilidad de que alguien gane la lotería es bastante alta, suponiendo que suficientes personas comprasen boletos de lotería.

Ley débil

La ley débil de los grandes números establece si X₁, X₂, X₃, ... es una secuencia infinita de variables aleatorias, donde todas las variables aleatorias tiene el mismo valor esperado μ y varianza σ²; y son independientes, entonces el promedio de una muestra

${\overline {X}}_{n}=(X_{1}+\cdots +X_{n})/n$

converge en probabilidad a μ. En otras palabras: para cualquier número positivo ε, sin importar cuan pequeño, se tiene

$\lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1.$

Ley fuerte

La ley fuerte de los grandes números establece que si X₁, X₂, X₃, ... es una secuencia infinita de variables aleatorias que son independientes e idénticamente distribuidas con E(|X_i|) < ∞   (y donde el valor esperado es μ), entonces

$\operatorname {P} \left(\lim _{n\rightarrow \infty }{\overline {X}}_{n}=\mu \right)=1,$

es decir, el promedio de las variables aleatorias converge a μ casi seguramente (en un conjunto de probabilidad 1).

Esta ley justifica la interpretación intuitiva de que el valor esperado de una variable aleatoria como el "promedio a largo plazo al hacer un muestreo repetitivo".

Demostración (resultado preliminar)

Demostraremos el siguiente resultado: Sea ${X_{i}}\,$ una sucesión de variables aleatorias independientes e integrables con $\mathbb {P} X_{n}=0\,$ (esperanza 0) y $\sum _{i}{\frac {\mathbb {P} X_{i}^{2}}{i^{2}}}<\infty \,$; entonces, el promedio ${\frac {1}{n}}\sum _{i=1}^{n}X_{i}\rightarrow 0$ casi seguramente cuando $n\rightarrow \infty \,$. Este teorema no asume que las variables aleatorias son idénticamente distribuidas pero controla el crecimiento de las varianzas.

Para demostrar el teorema haremos uso del siguiente lema:

Desigualdad Maximal. Sean $Z_{1},...,Z_{N}\,$ variables aleatorias independientes y sean $\epsilon _{1},\,\,\epsilon _{2}$ y $\beta \,\!$ constantes positivas que cumplen $\mathbb {P} \{|Z_{i}+Z_{i+1}+...+Z_{N}|\leq \epsilon _{2}\}\geq 1/\beta$ para cada i. Luego

$\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}\leq \beta \mathbb {P} \{|Z_{1}+...+Z_{N}|>\epsilon _{1}\}$

Demostración del lema: Sean $S_{i}:=Z_{1}+...+Z_{i}\,$ y $T_{i}:=S_{N}-S_{i}\,$. Definamos asimismo la variable aleatoria

$\tau =\left\{{\begin{matrix}{\text{primer i para el cual }}|S_{i}|>\epsilon _{1}+\epsilon _{2}\\N\,\,{\text{si }}|S_{i}|\leq \epsilon _{1}+\epsilon _{2}\,\,{\text{para todo }}i\end{matrix}}\right.$

Tenemos entonces:

${\begin{array}{rcl}\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}&=&\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}{\text{ para algun i}}\}\\&=&\sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}\}\quad {\text{pues son eventos disjuntos}}\\&=&\sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2}\}\beta \mathbb {P} \{|T_{i}|\leq \epsilon _{2}\}\quad {\text{hipotesis del lema}}\\&=&\beta \sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}+\epsilon _{2},|T_{i}|\leq \epsilon _{2}\}\quad {\text{por independencia entre los }}S_{i}{\text{ y los }}T_{i}\end{array}}$

Ahora bien, si $|S_{i}|>\epsilon _{1}+\epsilon _{2}\,$ y $|T_{i}|\leq \epsilon _{2}$ entonces implica que $|S_{i}|>\epsilon _{1}\,$ por ende:

$\mathbb {P} \{max_{i\leq N}|Z_{1}+...+Z_{i}|>\epsilon _{1}+\epsilon _{2}\}\leq \beta \sum _{i=1}^{N}\mathbb {P} \{\tau =i,|S_{i}|>\epsilon _{1}\}=\beta \mathbb {P} \{|Z_{1}+...+Z_{N}|>\epsilon _{1}\}$

con lo que se concluye el lema. (Fin demostración del lema)

Sigamos con la demostración del teorema: Definamos

${\begin{array}{rcl}S_{i}&:=&X_{1}+...+X_{i}\\\sigma _{i}^{2}&:=&\mathbb {P} X_{i}^{2}\,;\quad V_{i}:=\sigma _{1}^{2}+...+\sigma _{i}^{2}=\mathbb {P} S_{i}^{2}\\B_{k}&:=&{n:n_{k}<n\leq n_{k+1}}\quad {\text{donde }}n_{k}:=2^{k},\,\,k=1,2,3,...\end{array}}$

Tenemos entonces que la serie $\sum _{k}V(n_{k})/n_{k}^{2}$ es convergente pues:

$\sum _{k=1}^{\infty }V(n_{k})/n_{k}^{2}=\sum _{k=1}^{\infty }\sum _{j=1}^{\infty }\sigma _{j}^{2}\chi _{\{j\leq 2^{k}\}}4^{-k}=\sum _{j=1}^{\infty }\sigma _{j}^{2}\sum _{k=1}^{\infty }\chi _{\{j\leq 2^{k}\}}4^{-k}=\sum _{j=1}^{\infty }\sigma _{j}^{2}4^{-([\log _{2}j]+1)}{\frac {4}{3}}\leq {\frac {4}{3}}\sum _{j=1}^{\infty }\sigma _{j}^{2}/j^{2}<\infty$

La convergencia c.t.p. que asegura el teorema es equivalente a:

$\max _{n}{\frac {|S_{n}|}{n}}\rightarrow 0\quad {\text{cuando }}k\rightarrow \infty$

Por el lema de Borel-Cantelli, es suficiente demostrar que, para todo $\epsilon >0\,\!$

( 1)$\sum _{k}\mathbb {P} \left\{\max _{n\in B_{k}}{\frac {|S_{n}|}{n}}>\epsilon \right\}<\infty$

Cada probabilidad en la suma anterior puede ser acotada por:

$\mathbb {P} \left\{\max _{n\leq n_{k+1}}|S_{n}|>\epsilon n_{k}\right\}$

Ahora se aplica la desigualdad maximal:

$\mathbb {P} \left\{\max _{n\leq n_{k+1}}|S_{n}|>\epsilon n_{k}\right\}\leq \beta _{k}\mathbb {P} \{|S_{n_{k+1}}|>{\frac {\epsilon }{2}}\,n_{k}\}\leq \beta _{k}4V(n_{k+1})/(\epsilon n_{k})^{2}$

La última desigualdad de la línea anterior se justifica por la desigualdad de Chebyshev. Una nueva aplicación de esta misma desigualdad nos permite acotar los $\beta _{k}\,$:

${\begin{array}{rcl}\beta _{k}^{-1}&=&\min _{n\leq n_{k+1}}\mathbb {P} \{|S_{n_{k+1}}-S_{n}|\leq {\frac {\epsilon }{2}}n_{k}\}\\&\geq &1-\max _{n\leq n_{k+1}}{\frac {4\mathbb {P} (S_{n_{k+1}}-S_{n})^{2}}{\epsilon ^{2}n_{k}^{2}}}\\&\geq &1-{\frac {16\,V(n_{n_{k}+1})}{\epsilon ^{2}n_{k}^{2}}}\rightarrow 1\qquad {\text{cuando }}k\rightarrow \infty \end{array}}$

Es decir, hemos logrado acotar cada sumando de la (1) por una constante por los términos de una sumatoria que sabemos convergente, demostrando la convergencia de dicha sumatoria y concluyendo via Borel-Cantelli la convergencia fuerte del teorema.

(Fin de la demostración)$\blacksquare$

Demostración de la ley fuerte de los grandes números (Kolmogorov)

Sea ${X_{i}}\,$ una sucesión de variables aleatorias independientes, integrables e idénticamente distribuidas con $\mathbb {P} X_{n}=0\,$ (esperanza 0), entonces, el promedio ${\frac {1}{n}}\sum _{i=1}^{n}X_{i}\rightarrow 0$ casi seguramente cuando $n\rightarrow \infty \,$.

Definamos $Y_{i}=X_{i}\chi _{\{|X_{i}|\leq i\}}\,$ y $\mu _{i}=\mathbb {P} Y_{i}\,$. Tenemos que $0=\mathbb {P} X_{i}=\mu _{i}+\mathbb {P} X_{i}\chi _{\{|X_{i}|>i\}}$. Además, usando la hipótesis de distribuciones idénticas, podemos en general reemplazar (no siempre) una distribución $X_{i}\,$ genérica por un representante, digamos $X_{1}\,$. Tenemos entonces:

(1)$\left|{\frac {1}{n}}\sum _{i\leq n}\mu _{i}\right|\leq \mathbb {P} {\frac {1}{n}}\sum _{i\leq n}|X_{1}|\chi _{\{|X_{1}|>i\}}\leq \mathbb {P} \left\{|X_{1}|\min \left(1,{\frac {|X_{1}|}{n}}\right)\right\}\rightarrow 0$

La última convergencia a cero viene dada por la convergencia puntual más convergencia dominada por $\,|X_{1}|$ . También tenemos que:

(2)${\begin{array}{rcl}\sum _{i=1}^{\infty }\mathbb {P} \{X_{i}\neq Y_{i}\}&=&\sum _{i=1}^{\infty }\mathbb {P} \{|X_{i}|>i\}\\&=&\sum _{i=1}^{\infty }\mathbb {P} \{|X_{1}|>i\}\\&=&\sum _{i=1}^{\infty }i\,\mathbb {P} {\{|X_{1}|>i,|X_{1}|\leq i+1\}}\\&\leq &\mathbb {P} |X_{1}|<\infty \end{array}}$

La tercera igualdad viene de que para cualquier variable aleatoria se cumple que:

$\sum _{i\geq 1}\chi _{\{X>i\}}=\sum _{i\geq 1}i\,\chi _{\{X>i,x\leq i+1\}}$

La (2) implica, por Borel-Canteli, que el conjunto $\{X_{i}\neq Y_{i}\,,{\text{para infinitos i}}\}$ tiene probabilidad cero. Por lo tanto, en un conjunto de probabilidad 1 se cumple:

(3)$\left|{\frac {1}{n}}\sum _{i\leq n}X_{i}-{\frac {1}{n}}\sum _{i\leq n}Y_{i}\right|\rightarrow 0$

De la desigualdad $\mathbb {P} (Y_{i}-\mu _{i})^{2}\leq \mathbb {P} Y_{i}^{2}=\mathbb {P} (X_{1}^{2}\chi _{\{|X_{1}|\leq i\}})\,$ podemos deducir que:

$\sum _{i=1}^{\infty }{\frac {\mathbb {P} (Y_{i}-\mu _{i})^{2}}{i^{2}}}\leq \sum _{i=1}^{\infty }{\frac {\mathbb {P} (X_{1}^{2}\chi _{\{|X_{1}|\leq i\}})}{i^{2}}}=\mathbb {P} \left\{\sum _{i=1}^{\infty }{\frac {X_{1}^{2}\chi _{\{|X_{1}|\leq i\}}}{i^{2}}}\right\}\leq C\mathbb {P} |X_{1}|<\infty$

Por el teorema anteriormente demostrado tenemos:

(4)${\frac {1}{n}}\sum _{i\leq n}(Y_{i}-\mu _{i})\rightarrow 0$

casi seguramente. Como además tenemos que:

$\left|{\frac {1}{n}}\sum _{i\leq n}X_{i}\right|\leq \left|{\frac {1}{n}}\sum _{i\leq n}(X_{i}-Y_{i})\right|+\left|{\frac {1}{n}}\sum _{i\leq n}(Y_{i}-\mu _{i})\right|+\left|{\frac {1}{n}}\sum _{i\leq n}\mu _{i}\right|$

Entonces, de las ecuaciones (1), (3) y (4) se deduce que $\left|{\frac {1}{n}}\sum _{i\leq n}X_{i}\right|\rightarrow 0\,$ en casi en todos los puntos, concluyendo el teorema.

(Fin de la demostración)$\blacksquare$

Véase también

• Teorema central del límite
• Falacia del jugador
• Andréi Kolmogórov

Referencias

• David Pollard, A user´s guide to measure theoretic probability, Cambridge University Press (2003).