Masz rozkład? Sprawdź kolejny krok
Entropia najczęściej łączy się z udziałami, prawdopodobieństwem i porównywaniem rozkładów. Wybierz narzędzie, którego potrzebujesz dalej.
Co to jest entropia Shannona?
Entropia Shannona mierzy przeciętną niepewność rozkładu prawdopodobieństwa. Jeżeli jeden wynik jest niemal pewny, entropia jest niska. Jeżeli wiele wyników jest podobnie prawdopodobnych, entropia jest wysoka.
Przy logarytmie o podstawie 2 wynik podaje się w bitach. Dla dwóch równych możliwości entropia wynosi 1 bit, a dla czterech równych możliwości 2 bity.
Kalkulator może pracować na gotowych udziałach albo na liczebnościach, które sam przelicza na proporcje.
Wzór na entropię informacyjną
Podstawa logarytmu decyduje o jednostce: 2 daje bity, e daje naty, a 10 daje hartleye.
Składnik dla pᵢ = 0 przyjmuje się jako 0, dlatego zero nie powoduje błędu w sumie.
| Podstawa | Jednostka | Przykład użycia |
|---|---|---|
| 2 | bity | kodowanie i informacja |
| e | naty | matematyka i statystyka |
| 10 | hartleye | skala dziesiętna |
Hmax, H/Hmax i efektywna liczba wyników
Dla n zadeklarowanych możliwych wyników największa możliwa entropia występuje wtedy, gdy wszystkie są równie prawdopodobne. Wtedy Hmax = log(n).
H/Hmax pokazuje, jak blisko analizowany rozkład jest maksymalnej entropii dla tej liczby możliwych wyników. Wartość bliska 1 oznacza bardzo równy rozkład.
Efektywna liczba wyników to liczba równoprawdopodobnych wyników dających taki sam poziom niepewności. Dla wybranej podstawy b jest równa bH.
Jak liczyć entropię z liczebności?
Jeżeli masz liczebności, np. 50, 25, 15 i 10, najpierw dzielisz każdą z nich przez sumę. W tym przykładzie powstają udziały 0,50, 0,25, 0,15 i 0,10.
Po wybraniu trybu liczebności kalkulator wykonuje to przeliczenie automatycznie. Liczebności muszą być nieujemnymi liczbami całkowitymi.
Entropia w danych i klasyfikacji
Entropia pozwala ocenić, czy rozkład kategorii jest równy, czy zdominowany przez kilka wyników. Dwie klasy po 50% dają większą entropię niż podział 95% i 5%.
Nie jest to to samo co wariancja. Wariancja opisuje rozrzut wartości liczbowych, a entropia opisuje niepewność rozkładu prawdopodobieństw.
Entropia a kodowanie
W teorii informacji entropia określa dolną granicę przeciętnej liczby jednostek informacji potrzebnych do zakodowania wyników przy znanym rozkładzie.
Entropia nie jest gotowym sposobem kompresji. Pokazuje jedynie, jak duża jest przeciętna niepewność rozkładu.
Przykład krok po kroku
Dla rozkładu 0,5; 0,25; 0,125; 0,125 entropia w bitach wynosi:
Składniki wynoszą 0,5; 0,5; 0,375 i 0,375, więc razem otrzymujemy 1,75 bita.
Dla czterech równych wyników Hmax wynosi 2 bity, więc H/Hmax = 0,875. Efektywna liczba wyników wynosi około 3,36.
Ćwiczenia
Chcesz przećwiczyć samodzielne rozwiązywanie zadań? Skorzystaj z działu zadań.
Najczęstsze pomyłki
- Procenty zamiast udziałów. 25% wpisz jako 0,25 albo użyj liczebności.
- Mylenie entropii z wariancją. To dwie różne miary.
- Pomijanie podstawy logarytmu. Ta sama sytuacja ma inną wartość w bitach, natach i hartleyach.
- Obawa przed zerem. Dla p = 0 składnik w sumie przyjmuje wartość 0.
- Porównywanie samego H przy różnej liczbie wyników. Wtedy warto spojrzeć również na H/Hmax.
Wskazówka od KalkulatorXXL
Przy porównywaniu kilku rozkładów patrz na H, H/Hmax i efektywną liczbę wyników razem. Sam wynik H może być trudny do porównania, gdy rozkłady mają różną liczbę niezerowych kategorii.
Więcej narzędzi: Statystyka, prawdopodobieństwo i rozkłady – akademia obliczeń.
FAQ - entropia Shannona
Ostatnia aktualizacja: 20.10.2026