Dlaczego wzajemne informacje są symetryczne, ale warunkowe entropia nie jest?

1. To warunkowe wzajemne informacje symetryczne?
2. Dlaczego wzajemne informacje są symetryczne?
3. Kiedy wzajemne informacje są równe entropii?
4. Co to jest entropia warunkowa w teorii informacji?

To warunkowe wzajemne informacje symetryczne?

Informacje wzajemne to symetryczne (x; y) = i (y; x) \ . Wynika to bezpośrednio z definicji, równania.

Dlaczego wzajemne informacje są symetryczne?

Informacje wzajemne (MI) między dwiema zmiennymi losowymi rejestruje, ile entropii informacji jest uzyskiwane o jednej zmiennej losowej poprzez obserwowanie drugiej. Ponieważ definicja ta nie określa, która jest obserwowaną zmienną losową, możemy podejrzewać, że jest to wielkość symetryczna.

Kiedy wzajemne informacje są równe entropii?

Robią to tylko wtedy, gdy są stałe.. Rzeczywiście, jeśli są w pełni identyczne, ich wzajemne informacje będą równe entropii któregokolwiek z dwóch: i (x, x) = h (x). Ta entropia jest tylko zerowa w przypadku stałych danych, w przeciwnym razie może mieć inne wartości.

Co to jest entropia warunkowa w teorii informacji?

W teorii informacji warunkowa entropia określa ilość informacji potrzebnych do opisania wyniku zmiennej losowej, biorąc pod uwagę, że wartość innej zmiennej losowej jest znana.