Howtosignalprocessing
- Co to jest wzajemne informacje w Pythonie?
- Co to jest wzajemna matryca informacji?
- Jak obliczyć wzajemne informacje?
- Jak interpretować wzajemny wynik informacyjny?
Co to jest wzajemne informacje w Pythonie?
Informacje wzajemne (MI) [1] między dwiema zmiennymi losowymi jest nieujemną wartością, która mierzy zależność między zmiennymi. Jest równe zero, jeśli i tylko wtedy, gdy dwie zmienne losowe są niezależne, a wyższe wartości oznaczają wyższą zależność.
Co to jest wzajemna matryca informacji?
Informacje wzajemne są wskaźnikiem teorii informacji, która kwantyfikuje nieliniowe współzależności między parą zmiennych losowych. Po rozszerzeniu na więcej niż jednej pary można skonstruować wzajemną matrycę informacyjną, podobnie jak macierz korelacji.
Jak obliczyć wzajemne informacje?
Wzajemne informacje można również obliczyć jako rozbieżność KL między wspólnym rozkładem prawdopodobieństwa a produktem marginalnych prawdopodobieństw dla każdej zmiennej. - Strona 57, rozpoznawanie wzorów i uczenie maszynowe, 2006. Można to podać formalnie w następujący sposób: i (x; y) = kl (p (x, y) || p (x) * p (y))
Jak interpretować wzajemny wynik informacyjny?
Wynik MI spadnie w zakresie od 0 do ∞. Im wyższa wartość, im bliższe połączenie między tą funkcją a celem, co sugeruje, że powinniśmy umieścić tę funkcję w zestawie danych szkoleniowych. Jeśli wynik MI wynosi 0 lub bardzo niski jak 0.01. Niski wynik sugeruje słaby związek między tą funkcją a celem.
