Co to są wartości odstające?
Wartości odstające to obserwacje, które wyraźnie różnią się od większości danych. Mogą być bardzo wysokie, bardzo niskie albo po prostu nietypowe względem typowego zakresu zmienności. W danych sprzedażowych może to być wyjątkowo duże zamówienie, w pomiarach technicznych błąd czujnika, a w wynikach testu bardzo nietypowy rezultat.
Najważniejsze jest to, że wartość odstająca nie oznacza automatycznie błędu. Czasem jest prawdziwą, ważną informacją. Jeżeli usuniesz ją bez sprawdzenia, możesz zafałszować analizę. Kalkulator ma więc pomagać w wykryciu podejrzanych obserwacji, ale decyzję o ich korekcie, opisaniu albo pozostawieniu trzeba podjąć na podstawie kontekstu.
Do pełnej analizy danych warto połączyć ten kalkulator z percentylami, kwartylami i IQR, standaryzacją z-score oraz odchyleniem standardowym i wariancją.
Metoda IQR - najczęściej używana granica odstających
Metoda IQR opiera się na kwartylach. Najpierw wyznacza się pierwszy kwartyl Q1 i trzeci kwartyl Q3. Różnica między nimi to rozstęp międzykwartylowy:
IQR = Q3 - Q1
Następnie liczy się dolną i górną granicę:
dolna granica = Q1 - 1,5·IQR górna granica = Q3 + 1,5·IQR
Wartości poniżej dolnej granicy albo powyżej górnej granicy są oznaczane jako odstające. Ta metoda jest odporna na skrajne wyniki, bo bazuje na kwartylach, a nie na średniej. Dlatego często lepiej działa dla danych skośnych niż proste kryterium odchyleń standardowych.
Silne wartości odstające i granica 3×IQR
Oprócz klasycznej granicy 1,5×IQR używa się czasem granicy 3×IQR. Jest ona ostrzejsza i oznacza obserwacje bardziej skrajne. W praktyce wynik poza 1,5×IQR warto sprawdzić, a wynik poza 3×IQR zwykle wymaga szczególnie uważnej weryfikacji.
Granica 3×IQR pomaga odróżnić obserwacje lekko nietypowe od bardzo nietypowych. Przykładowo w danych o czasie wykonania zadania pojedynczy dłuższy czas może być normalny, ale czas kilkanaście razy dłuższy od pozostałych może oznaczać przerwę, błąd pomiaru albo zupełnie inną sytuację.
Kalkulator pozwala wybrać metodę 1,5×IQR, 3×IQR albo zestawić ją z z-score. Dzięki temu możesz szybko porównać, czy ta sama obserwacja jest podejrzana w kilku podejściach.
Metoda z-score - odległość od średniej
Metoda z-score sprawdza, ile odchyleń standardowych dana wartość leży od średniej. Wzór jest następujący:
z = (x - średnia) / odchylenie standardowe
Często przyjmuje się, że wartości o |z| większym niż 3 są potencjalnie odstające. Przy danych zbliżonych do rozkładu normalnego takie obserwacje są rzadkie, więc warto je sprawdzić. Metoda z-score jest czytelna, ale ma słabość: sama średnia i odchylenie standardowe mogą zostać mocno przesunięte przez wartości skrajne.
Dlatego z-score najlepiej traktować jako uzupełnienie IQR. Jeśli obie metody wskazują tę samą obserwację, sygnał jest silniejszy. Jeśli wskazania się różnią, warto sprawdzić rozkład danych, histogram i sens merytoryczny obserwacji.
Kiedy nie usuwać wartości odstających?
Usuwanie wartości odstających tylko dlatego, że „psują średnią”, jest częstym błędem. Wartość skrajna może być prawdziwą informacją o zjawisku. W finansach może oznaczać duże zamówienie, w produkcji awarię, w sporcie wyjątkowy wynik, a w pomiarach medycznych sytuację wymagającą uwagi.
Wartość odstającą warto usunąć lub poprawić dopiero wtedy, gdy masz powód: błąd wpisu, literówka, błędna jednostka, awaria czujnika, duplikat albo obserwacja spoza badanej populacji. Jeśli obserwacja jest prawdziwa, często lepiej ją opisać, użyć odpornych miar albo przeanalizować dane w dwóch wariantach: z nią i bez niej.
Do odpornych miar należą mediana, kwartyle i IQR. Dlatego w analizie z wartościami odstającymi często lepiej raportować medianę niż samą średnią.
Przykład krok po kroku
Dane: 12, 13, 14, 15, 16, 17, 18, 19, 20, 45. Większość wartości mieści się między 12 a 20, ale 45 wyraźnie odstaje. Metoda IQR wyznacza kwartyle, oblicza IQR, a następnie tworzy dolną i górną granicę.
Jeżeli górna granica wyjdzie poniżej 45, kalkulator oznaczy 45 jako wartość odstającą. To nie oznacza jeszcze, że liczba jest błędna. Może być prawdziwym przypadkiem, np. wyjątkowo dużym zamówieniem lub nietypowo długim czasem.
W kolejnym kroku można sprawdzić z-score. Jeśli 45 ma bardzo wysoki z-score, jest daleko od średniej. Jeśli jednocześnie przekracza granicę IQR, mamy dwa niezależne sygnały, że obserwacja wymaga sprawdzenia.
Zadania przykładowe
Co oznacza wartość powyżej Q3 + 1,5·IQR?
Czy każdą wartość odstającą trzeba usunąć?
Co oznacza |z| większe niż 3?
Dlaczego IQR jest odporny na skrajne wartości?
Jaka granica oznacza silniejsze wartości odstające?
Kiedy z-score może być mylący?
Najczęstsze błędy
- Automatyczne usuwanie outlierów - wartość odstająca może być prawdziwą i ważną informacją.
- Użycie tylko jednej metody - IQR i z-score patrzą na dane z różnych stron.
- Brak sprawdzenia jednostek - częstą przyczyną odstających wartości jest pomyłka w jednostce.
- Mylenie wartości rzadkiej z błędną - rzadkie zdarzenie nadal może być poprawne.
- Analiza samej średniej - przy outlierach warto sprawdzić medianę i kwartyle.
- Ignorowanie kształtu rozkładu - dane skośne naturalnie mają więcej skrajnych obserwacji po jednej stronie.
Sprawdź także
Przy wartościach odstających szczególnie przydadzą się percentyle, kwartyle i IQR, standaryzacja z-score, odchylenie standardowe i wariancja oraz współczynnik zmienności.
Jeżeli chcesz zobaczyć rozkład danych w przedziałach, sprawdź także histogram i klasy przedziałowe.
Wskazówka od KalkulatorXXL
Najlepsza praktyka to nie usuwać wartości odstającej od razu. Najpierw oznacz ją, sprawdź źródło, porównaj wynik z IQR i z-score, a dopiero potem zdecyduj, czy zostaje, czy wymaga korekty.
Cały pakiet statystyki i rozkładów
Ten kalkulator jest częścią większego pakietu narzędzi do statystyki, prawdopodobieństwa, rozkładów i analizy danych. Jeśli chcesz przejść od pojedynczego wyniku do szerszego zestawu metod, sprawdź Statystyka, prawdopodobieństwo i rozkłady - akademia obliczeń. Znajdziesz tam ścieżki do rozkładów dyskretnych i ciągłych, testów statystycznych, z-score, wartości odstających, ANOVA oraz narzędzi do oceny modeli.