Kullback-Leibler odległość danych spektralnych

1. Czy Kullback-Leibler jest odległość?
2. Jaki jest zakres rozbieżności KL?
3. Czy rozbieżność Kl można zastosować jako miarę odległości?
4. Jak obliczany jest Kullback-Leibler?

Czy Kullback-Leibler jest odległość?

Rozbieżność Kullback-Leibler między dwoma rozkładami prawdopodobieństwa jest miarą tego, jak różne są dwa rozkłady. Czasami nazywa się to dystansem, ale nie jest to odległość w zwykłym sensie, ponieważ nie jest symetryczna.

Jaki jest zakres rozbieżności KL?

Jeśli dwa rozkłady idealnie pasują, D_ Kl (P || Q) = 0 W przeciwnym razie może to wziąć wartości między 0 a ∞. Obniżyć wartość rozbieżności KL, tym lepiej dopasowaliśmy prawdziwy rozkład do naszego przybliżenia.

Czy rozbieżność Kl można zastosować jako miarę odległości?

Chociaż rozbieżność KL mierzy „odległość” między dwoma dystrybucjami, nie jest to miara odległości. Jest tak, ponieważ rozbieżność KL nie jest miarą metryczną. Nie jest symetryczne: KL od P (x) do Q (x) na ogół nie jest tym samym jak Kl z Q (x) do p (x).

Jak obliczany jest Kullback-Leibler?

Rozbieżność KL można obliczyć jako ujemną sumę prawdopodobieństwa każdego zdarzenia w p pomnożonym przez logarogo prawdopodobieństwa zdarzenia w Q przez prawdopodobieństwo zdarzenia w p. Wartość w sumie jest rozbieżnością dla danego zdarzenia.