perplexity

En teoría de la información, la perplejidad es una medida de qué tan bien una distribución de probabilidad o un modelo de probabilidad predice una muestra. Puede usarse para comparar modelos de probabilidad. Una perplejidad baja indica que la distribución de probabilidad es buena para predecir la muestra. La perplejidad fue introducida originalmente en 1977 en el contexto del reconocimiento de voz por Frederick Jelinek, Robert Leroy Mercer, Lalit R. Bahl y James K. Baker. Perplejidad de una Distribución de Probabilidad La perplejidad PP de una distribución de probabilidad discreta p es un concepto ampliamente usado en teoría de la información, aprendizaje automático y modelado estadístico. Se define como where H(p) es la entropía (en bits) de la distribución, y x abarca los eventos. La base del logaritmo no necesita ser 2: La perplejidad es independiente de la base, siempre que la entropía y la exponenciación usen la misma base. En algunos contextos, esta medida también se conoce como la diversidad (verdadera de orden 1).