Teoría del aprendizaje estadístico

La teoría del aprendizaje estadístico es un marco para el aprendizaje automático basado en los campos de la estadística y el análisis funcional.​​​ La teoría del aprendizaje estadístico aborda el problema de la inferencia estadística para encontrar una función predictiva basada en datos. La teoría del aprendizaje estadístico ha dado lugar a aplicaciones de éxito en campos como la visión por computadora, el reconocimiento del habla y la bioinformática.

Introducción

Los objetivos del aprendizaje son la comprensión y la predicción. El aprendizaje se divide en muchas categorías: aprendizaje supervisado, aprendizaje no supervisado, aprendizaje online y aprendizaje por refuerzo. Desde el punto de vista de la teoría del aprendizaje estadístico, el aprendizaje supervisado es el que mejor se entiende.​ Cada punto del entrenamiento es un par de entrada-salida, en el que la entrada se asigna a una salida. El problema de aprendizaje consiste en inferir la función que relaciona la entrada y la salida, de forma que la función aprendida pueda utilizarse para predecir la salida a partir de entradas futuras.

Dependiendo del tipo de salida, los problemas de aprendizaje supervisado son problemas de regresión o problemas de clasificación. Si la salida toma un rango continuo de valores, se trata de un problema de regresión. Utilizando la ley de Ohm​ como ejemplo, se podría realizar una regresión con el voltaje como entrada y la corriente como salida. La regresión encontraría que la relación funcional entre el voltaje y la corriente es $R$. de forma que:

$V=IR$

Los problemas de clasificación son aquellos para los que la salida será un elemento de un conjunto discreto de etiquetas. La clasificación es muy común en las aplicaciones de aprendizaje automático.​ En el reconocimiento facial, por ejemplo, una imagen de la cara de una persona sería la entrada, y la etiqueta de salida sería el nombre de esa persona. La entrada estaría representada por un gran vector multidimensional cuyos elementos representan píxeles de la imagen.

Después de aprender una función basada en los datos del conjunto de entrenamiento, esa función se valida en un conjunto de datos de prueba, datos que no aparecían en el conjunto de entrenamiento.

Descripción formal

Tomemos $X$ como el espacio vectorial de todas las entradas posibles, e $Y$ el espacio vectorial de todos los resultados posibles. La teoría del aprendizaje estadístico adopta la perspectiva de que existe una distribución de probabilidad desconocida sobre el espacio producto $Z=X\times Y$, es decir, existe algún $p(z)=p(\mathbf {x} ,y)$ desconocido. El conjunto de entrenamiento está formado por $n$ muestras de esta distribución de probabilidad, y se anota como sigue:

$S=\{(\mathbf {x} _{1},y_{1}),\dots ,(\mathbf {x} _{n},y_{n})\}=\{\mathbf {z} _{1},\dots ,\mathbf {z} _{n}\}$

Cada $\mathbf {x} _{i}$ es un vector de entrada de los datos de entrenamiento, y $y_{i}$ es la salida que le corresponde.

En este formalismo, el problema de inferencia consiste en encontrar una función $f:X\to Y$ de forma que $f(\mathbf {x} )\sim y$. Dejemos que ${\mathcal {H}}$ sea un espacio de funciones $f:X\to Y$ llamado espacio de hipótesis. El espacio de hipótesis es el espacio de funciones en el que buscará el algoritmo. Que $V(f(\mathbf {x} ),y)$ sea la función de pérdida, una métrica de la diferencia entre el valor previsto $f(\mathbf {x} )$ y el valor real de $y$. El riesgo esperado se define como:

$I[f]=\int _{X\times Y}V(f(\mathbf {x} ),y)\,p(\mathbf {x} ,y)\,d\mathbf {x} \,dy$

La función objetivo, la mejor función posible de $f$ que se puede elegir, viene dada por $f$ que cumple con:

$f=\mathop {\operatorname {argmin} } _{h\in {\mathcal {H}}}I[h]$

Dado que la distribución de probabilidad $p(\mathbf {x} ,y)$ es desconocida, debe utilizarse una medida aproximada del riesgo esperado. Esta medida se basa en el conjunto de entrenamiento, una muestra de esta distribución de probabilidad desconocida. Riesgo empírico se denomina de la siguiente forma:

$I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f(\mathbf {x} _{i}),y_{i})$

Un algoritmo de aprendizaje que elige la función $f_{S}$ que minimiza el riesgo empírico se denomina minimización empírica del riesgo.

Funciones de pérdida

La elección de la función de pérdida es un factor determinante de la función $f_{S}$ que elegirá el algoritmo de aprendizaje. La función de pérdida también afecta a la tasa de convergencia de un algoritmo. Es importante que la función de pérdida sea convexa.​

Se utilizan diferentes funciones de pérdida según se trate de un problema de regresión o de clasificación.

Regresión

La función de pérdida más común para la regresión es la función de pérdida cuadrada (también conocida como norma L2). Esta conocida función de pérdida se utiliza en la regresión por mínimos cuadrados ordinarios. La forma es:

$V(f(\mathbf {x} ),y)=(y-f(\mathbf {x} ))^{2}$

A veces también se utiliza la pérdida de valor absoluto (también conocida como norma L1):

$V(f(\mathbf {x} ),y)=|y-f(\mathbf {x} )|$

Clasificación

En cierto sentido, la función indicadora 0-1 es la función de pérdida más natural para la clasificación. Toma el valor 0 si la salida predicha es la misma que la salida real, y toma el valor 1 si la salida predicha es diferente de la salida real. Para la clasificación binaria con $Y=\{-1,1\}$, se usa la siguiente fórmula:

$V(f(\mathbf {x} ),y)=\theta (-yf(\mathbf {x} ))$

Donde $\theta$ es la función escalón de Heaviside.

Regularización

Esta imagen representa un ejemplo de sobreajuste en el aprendizaje automático. Los puntos rojos representan los datos del conjunto de entrenamiento. La línea verde representa la verdadera relación funcional, mientras que la línea azul muestra la función aprendida, que se ha sobreajustado a los datos del conjunto de entrenamiento.

En los problemas de aprendizaje automático, uno de los principales problemas que surgen es el del sobreajuste. Dado que el aprendizaje es un problema de predicción, el objetivo no es encontrar una función que se ajuste lo más posible a los datos (previamente observados), sino encontrar una que prediga con la mayor exactitud la salida a partir de la entrada futura. La minimización empírica del riesgo corre este riesgo de sobreajuste: encontrar una función que se ajuste exactamente a los datos pero que no prediga bien el resultado futuro.

El sobreajuste es síntoma de soluciones inestables; una pequeña perturbación en los datos del conjunto de entrenamiento provocaría una gran variación en la función aprendida. Se puede demostrar que si se puede garantizar la estabilidad de la solución, también se garantizan la generalización y la coherencia.​​ La regularización puede resolver el problema del sobreajuste y dar estabilidad al problema.

La regularización puede lograrse restringiendo el espacio de hipótesis ${\mathcal {H}}$. Un ejemplo común sería restringir ${\mathcal {H}}$ a funciones lineales: esto puede verse como una reducción al problema estándar de la regresión lineal. ${\mathcal {H}}$ también podría restringirse a polinomios de grado $p$, exponenciales o funciones acotadas en L1. La restricción del espacio de hipótesis evita el sobreajuste porque la forma de las funciones potenciales es limitada y, por tanto, no permite elegir una función que dé un riesgo empírico arbitrariamente cercano a cero.

Un ejemplo de regularización es la regularización de Tíjonov. Consiste en minimizar:

${\frac {1}{n}}\sum _{i=1}^{n}V(f(\mathbf {x} _{i}),y_{i})+\gamma \left\|f\right\|_{\mathcal {H}}^{2}$

Donde $\gamma$ es un parámetro fijo y positivo, el parámetro de regularización. La regularización de Tíjonov garantiza la existencia, unicidad y estabilidad de la solución.​

Limitación del riesgo empírico

Si consideramos un clasificador binario $f:{\mathcal {X}}\to \{0,1\}$, podemos aplicar la desigualdad de Hoeffding para limitar la probabilidad de que el riesgo empírico se desvíe del riesgo real a una distribución subgaussiana.

$\mathbb {P} (|{\hat {R}}(f)-R(f)|\geq \epsilon )\leq 2e^{-2n\epsilon ^{2}}$

Pero, por lo general, cuando hacemos minimización empírica del riesgo, no se nos da un clasificador; debemos elegirlo. Por lo tanto, un resultado más útil es acotar la probabilidad del sumo de la diferencia sobre toda la clase.

$\mathbb {P} {\bigg (}\sup _{f\in {\mathcal {F}}}|{\hat {R}}(f)-R(f)|\geq \epsilon {\bigg )}\leq 2S({\mathcal {F}},n)e^{-n\epsilon ^{2}/8}\approx n^{d}e^{-n\epsilon ^{2}/8}$

Donde $S({\mathcal {F}},n)$ es el número de fragmentación y $n$ es el número de muestras del conjunto de datos. El término exponencial procede de Hoeffding, pero hay un coste adicional por tomar el supremo sobre toda la clase, que es el número de fragmentación.

Véase también

• Núcleo definido positivo
• Distribución de Rademacher
• Dimensión VC
• Dilema sesgo-varianza

Referencias

• Datos: Q7604400