Do czego służą MAE, MSE i RMSE?
MAE, MSE i RMSE to popularne miary błędu prognozy. Porównują wartości rzeczywiste z wartościami przewidywanymi przez model, wzór, prognozę albo regresję. Dzięki nim można ocenić, jak bardzo prognozy różnią się od rzeczywistości.
MAE pokazuje przeciętny błąd bezwzględny. RMSE również opisuje typowy błąd, ale mocniej karze duże pomyłki. MSE jest średnią kwadratów błędów i często pojawia się w statystyce oraz uczeniu maszynowym, choć jego jednostka jest mniej intuicyjna.
Kalkulator przyda się przy analizie modeli, regresji, prognoz sprzedaży, zapotrzebowania, kosztów, wyników pomiarów i danych eksperymentalnych. Dobrze łączy się z odchyleniem standardowym i wariancją, współczynnikiem zmienności oraz korelacją Pearsona.
Wzory na MAE, MSE i RMSE
Dla wartości rzeczywistych y i prognoz ŷ błąd pojedynczej obserwacji można zapisać jako e = y - ŷ. Na tej podstawie liczone są miary:
MAE = średnia z |e| MSE = średnia z e² RMSE = √MSE
MAE jest łatwe do interpretacji, bo mówi: przeciętnie mylimy się o tyle jednostek. RMSE też jest w jednostce danych, ale większe błędy mają w nim większą wagę. Jeśli RMSE jest dużo większe od MAE, oznacza to zwykle, że w danych występują pojedyncze duże pomyłki.
MAE czy RMSE - którą miarę wybrać?
Wybór miary zależy od celu analizy. Jeśli każda pomyłka ma podobny koszt, często wygodniejsze jest MAE. Jest odpornejsze na pojedyncze bardzo duże błędy i łatwo je wyjaśnić osobie, która nie zajmuje się statystyką.
RMSE jest lepsze, gdy duże błędy są szczególnie niepożądane. Przykład: w prognozowaniu zapotrzebowania magazynowego jedna ogromna pomyłka może być bardziej kosztowna niż kilka małych. Wtedy RMSE mocniej pokaże problem niż MAE.
W raportach warto podawać obie miary. MAE daje intuicyjną skalę typowego błędu, a RMSE ostrzega przed dużymi odchyleniami. Różnica między nimi sama w sobie jest informacją o stabilności modelu.
MAPE i bias, czyli procent błędu oraz kierunek pomyłek
Kalkulator pokazuje również MAPE, czyli średni bezwzględny błąd procentowy. Ta miara mówi, o ile procent przeciętnie myli się prognoza względem wartości rzeczywistych. Jest wygodna, gdy dane mają naturalną skalę dodatnią, np. sprzedaż, ruch, koszty lub zużycie.
Trzeba jednak uważać, gdy wartości rzeczywiste są zerowe albo bardzo bliskie zera. Wtedy procent błędu może eksplodować i stać się mylący. Dlatego kalkulator pomija wartości równe zero przy liczeniu MAPE i pokazuje wynik tylko dla obserwacji, dla których procent ma sens.
Bias, czyli średni błąd ze znakiem, pokazuje kierunek pomyłek. Dodatni bias oznacza, że wartości rzeczywiste są przeciętnie wyższe od prognoz, więc model zaniża. Ujemny bias oznacza, że model przeciętnie zawyża.
Jak interpretować wynik w praktyce?
Nie ma jednej uniwersalnej granicy dobrego MAE czy RMSE. Błąd trzeba odnieść do skali danych i celu. RMSE równe 5 może być świetnym wynikiem dla cen w tysiącach złotych, ale bardzo złym dla pomiaru, gdzie tolerancja wynosi 0,2.
Dlatego kalkulator pokazuje RMSE jako procent średniej wartości rzeczywistej. To prosty wskaźnik skali błędu. Jeśli średnia wartość rzeczywista wynosi 100, a RMSE 10, błąd ma około 10% skali średniej. Nie zastępuje to analizy branżowej, ale pomaga szybko ocenić proporcje.
Warto też obejrzeć tabelę pojedynczych błędów. Czasem ogólna miara wygląda dobrze, ale jeden wiersz ma bardzo dużą pomyłkę. Taki przypadek może wymagać osobnego sprawdzenia, podobnie jak wartości odstające.
Przykład krok po kroku
Dane rzeczywiste: 100, 120, 90, 150, 130. Prognozy: 105, 115, 95, 140, 128. Błędy y-ŷ wynoszą -5, 5, -5, 10 i 2. Po wzięciu wartości bezwzględnych dostajemy 5, 5, 5, 10 i 2.
MAE to średnia tych wartości, czyli przeciętny bezwzględny błąd. MSE liczymy jako średnią kwadratów błędów, a RMSE jako pierwiastek z MSE. W tym przykładzie większy błąd 10 wpływa na RMSE mocniej niż na MAE.
Jeżeli model ma niskie MAE, ale wyraźnie wyższe RMSE, sprawdź największe błędy w tabeli. Być może prognoza działa dobrze w typowych przypadkach, ale słabo radzi sobie z nietypowymi obserwacjami.
Zadania przykładowe
Dla błędów 2, -2, 4 oblicz MAE.
Dla błędów 2 i 4 oblicz MSE.
Jeśli MSE=25, ile wynosi RMSE?
Co oznacza ujemny bias?
Kiedy RMSE rośnie mocniej niż MAE?
Dlaczego MAPE jest problematyczne przy y=0?
Najczęstsze błędy
- Porównywanie MAE z MSE bez jednostek - MSE jest w jednostce kwadratowej, więc nie interpretuje się go tak samo jak MAE.
- Ignorowanie dużych błędów - RMSE może ujawnić problem, którego MAE nie pokazuje tak mocno.
- Liczenie MAPE przy zerach - procentowy błąd przy y=0 nie jest określony.
- Ocena modelu jedną liczbą - warto zobaczyć też tabelę błędów i bias.
- Mylenie znaku błędu - przyjęcie e=y-ŷ oznacza, że dodatni bias wskazuje zaniżanie prognoz.
- Brak porównania ze skalą danych - błąd 5 może być mały albo duży zależnie od kontekstu.
Sprawdź także
Do analizy jakości prognoz i modeli sprawdź również korelację Pearsona, współczynnik zmienności, wartości odstające oraz odchylenie standardowe i wariancję.
Wskazówka od KalkulatorXXL
W raporcie najlepiej pokazać MAE, RMSE i bias razem. MAE daje prostą skalę typowego błędu, RMSE ostrzega przed dużymi pomyłkami, a bias pokazuje, czy model systematycznie zawyża lub zaniża prognozy.
Cały pakiet statystyki i rozkładów
Ten kalkulator jest częścią większego pakietu narzędzi do statystyki, prawdopodobieństwa, rozkładów i analizy danych. Jeśli chcesz przejść od pojedynczego wyniku do szerszego zestawu metod, sprawdź Statystyka, prawdopodobieństwo i rozkłady - akademia obliczeń. Znajdziesz tam ścieżki do rozkładów dyskretnych i ciągłych, testów statystycznych, z-score, wartości odstających, ANOVA oraz narzędzi do oceny modeli.