divergence

En geometría de la información, una divergencia es un tipo de distancia estadística: una función binaria que establece la separación de una distribución de probabilidad a otra en una variedad estadística. La divergencia más simple es la distancia euclidiana al cuadrado (SED), y las divergencias pueden considerarse generalizaciones de SED. La otra divergencia más importante es la entropía relativa (también llamada divergencia de Kullback–Leibler), que es central en la teoría de la información. Existen numerosas otras divergencias específicas y clases de divergencias, en particular las f-divergencias y las divergencias de Bregman (véase ). Definición Dado una variedad diferenciable de dimensión , una divergencia en es una -función que satisface: para todo (no negatividad), si y solo si (positividad), En todo punto , es una forma cuadrática definida positiva para desplazamientos infinitesimales desde . En aplicaciones a la estadística, la variedad es típicamente el espacio de parámetros de una familia paramétrica de distribuciones de probabilidad. La condición 3 significa que define un producto interno en el espacio tangente para cada . Dado que es en , esto define una métrica de Riemann en .