lunes, 9 de febrero de 2015

DEFINICIÓN DE LA DIVERENCIA DE KL

Para distribuciones de probabilidad P y Q de una variable aleatoria discreta su divergencia KL se define como
D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \ln \frac{P(i)}{Q(i)}. \!
En palabras, es el promedio ponderado de la diferencia logarítmica entre las probabilidades P and Q, donde el promedio se toma usando las probabilidades P. La divergencia KL solamente se define si P y Q suman 1 y si Q(i)>0 para cualquier i tal que P(i)>0. Si la cantidad 0 \ln 0 aparece en la fórmula, se interpreta como cero.
Para distribuciones P y Q de una variable aleatoria continua, la divergencia KL se define como la integral:4
D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^\infty p(x) \ln \frac{p(x)}{q(x)} \, {\rm d}x, \!
donde p y q representan las densidades de P y Q.
Más generalmente, si P y Q son medidas de probabilidad sobre un conjunto X, y Q es absolutamente continua con respecto a P, entonces la divergencia Kullback–Leibler de P a Q se define como
D_{\mathrm{KL}}(P\|Q) = -\int_X \ln \frac{{\rm d}Q}{{\rm d}P} \,{\rm d}P, \!
donde \frac{{\rm d}Q}{{\rm d}P} es la derivada de Radon-Nikodym de Q con respecto a P, y dado que la expresión al lado derecho existe.
De la misma manera, si P es absolutamente continua con respecto a Q, entonces
D_{\mathrm{KL}}(P\|Q) = \int_X \ln \frac{{\rm d}P}{{\rm d}Q} \,{\rm d}P = \int_X \frac{{\rm d}P}{{\rm d}Q} \ln\frac{{\rm d}P}{{\rm d}Q}\,{\rm d}Q,
lo cual se conoce como la entropia de P relativa a Q.
Continuando en este caso, si \mu es cualquier medida en X para la cual p = \frac{{\rm d}P}{{\rm d}\mu} and q = \frac{{\rm d}Q}{{\rm d}\mu} existe, entonces la divergencia Kullback–Leibler de P a Q está dada por
D_{\mathrm{KL}}(P\|Q) = \int_X p \ln \frac{p}{q} \,{\rm d}\mu. \!
Los logaritmos en estas fórmulas se toman como en base 2 si la información se mide en unidades de bits, o en base e si la información se mide en nats. La mayoría de fórmulas relacionadas con la divergencia KL se mantienen independiente de la base logarítmica.
Nos referiremos a la divergencia de P a Q, aunque algunos autores la llaman la divergencia "de Q a P" y otros la divergencia "entre P y Q" (aunque note que no es simétrica). Se debe tener cuidado debido a la falta de estandarización en la terminología.
Publicado por en

No hay comentarios:

Publicar un comentario

Suscribirse a: Enviar comentarios (Atom)