niedziela, 19 października 2014

Jak manipulują nami statystycy? Siedem najpopularniejszych kłamstw w statystyce

Popularny żart mówi, że 87% ludzi uznaje informacje wykorzystujące dane statystyczne za bardziej wiarygodne, mimo iż 72,2% z nich jest zmyślonych. Statystyka umożliwia nam badanie i opisywanie populacji zbyt dużych, by zbadać każdego ich członka z osobna. Często jednak okazuje się, że dane statystyczne opisują świat, który po prostu nie istnieje. Z tego artykułu dowiecie się jak my – statystycy - robimy Was wszystkich w bambuko.


1. Manipulowanie „próbą reprezentatywną”

Każdy autor badania twierdzi, że przeprowadził badanie na grupie reprezentatywnej. Przepytał tysiąc osób i wie wszystko o zwyczajach i poglądach Polaków. Dzięki niezachwianej wierze w pełną reprezentatywność grupy reprezentatywnej możemy Wam na przykład powiedzieć, że czterdzieści tysięcy Polaków fantazjuje o seksie na szczycie Mount Blanc z ubraną w lateks ośmioletnią kozą przy akompaniamencie marokańskiej muzyki ludowej. Gdy TVN24 zaprosi już do studia połowę polskich seksuologów i innych mądrych głów, nie zapomnijcie zwrócić uwagi na fakt, że takiej odpowiedzi udzieliła tylko jedna osoba.

2. Segmentacja – picie dużej ilości coli świadczy o skłonnościach pedofilskich

Segmentacja polega na wydzielaniu z grupy respondentów podgrup, np. wydzieleniu z grupy „Polacy” podgrupy „młodzież”. Zapytaj grupę reprezentatywną tysiąca Polaków ile litrów jakich napojów piją oni w ciągu tygodnia oraz czy są pedofilami. Powiedzmy, że 20% Polaków pije colę raz w tygodniu. Co dziesiąty (2%) z nich pije ją codziennie. Co dziesiąty z nich (0,2%) pije więcej niż dwa litry dziennie. Zostały nam dwie osoby, z których jedna niech będzie pedofilem. Wniosek – 50% Polaków pijących więcej niż dwa litry coli dziennie to pedofile. Załóżmy, że w całym badaniu trzy osoby zadeklarowały swoje skłonności pedofilskie. Wniosek – 33% polskich pedofili pije więcej niż dwa litry coli dziennie.

W raporcie można zamienić informacje ilościowe na opisowe, np. uznać, że szklanka coli dziennie to „mało”, a dwa litry coli dziennie to „dużo”. Gazeta.pl z przyjemnością zaprezentuje nagłówek „[SZOK] PICIE COLI ŚWIADCZY O UTAJONEJ PEDOFILII!!!”. A wszystko dzięki odpowiedzi jednego respondenta.

3. Jeszcze raz segmentacja – młodzież kradnie/gwałci/nie chce głosować na PO

Kolejną popularną metodą wyolbrzymiania wyników badań jest dokonywanie segmentacji wedle kryteriów wiekowych, płciowych lub poglądowych. Zapytaj o coś reprezentatywną grupę tysiąca Polaków, a potem wydziel z nich młodzież, feministki albo osoby o poglądach faszystowskich, a na pewno znajdziesz coś wartego publikacji. „Ależ uczciwi badacze tak nie robią!” – Serio?

Trzy lata temu w wakacje media zelektryzowała wieść, że młodzież odwraca się od PO. Okazało się, że w zaledwie dwa miesiące liczba zwolenników PO wśród młodzieży zmalała aż o osiem procent. Politycy PO i politolodzy przez miesiąc opowiadali co musi zrobić Platforma, by młodzież znów jej zaufała. Jeżeli spotkasz się z takim newsem, szukaj informacji o metodologii. Okazało się, że „młodzież” to respondenci w wieku 18 lat. Stanowili oni 25 osób spośród tysiąca zapytanych Polaków. Dziesiątki reportaży, setki godzin telewizyjnej paplaniny i niezliczone artykuły wzięły się stąd, że PO uzyskała wynik o dwie osoby niższy niż poprzednio.

4. Wskaźniki demograficzne – Polki w Wielkiej Brytanii chętnie rodzą, a w Polsce nie!!11oneone

Wskaźniki demograficzne powstały po to, by porównywać populacje różnych rozmiarów. Informacja, że w Polsce na drogach umiera x osób rocznie, a w Czechach y, nic nam nie mówi o skali zjawiska. Dlatego stosuje się wskaźniki demograficzne: śmiertelność niemowląt na tysiąc urodzeń, liczba śmiertelnych wypadków na tysiąc kilometrów dróg, liczba lekarzy na sto tysięcy mieszkańców i tak dalej.

Jednym z wskaźników jest wskaźnik dzietności kobiet. Mówi on ile dzieci w danej populacji urodziły kobiety w wieku 18-45 lat. O wskaźniku dzietności zrobiło się głośno, gdy okazało się, że wśród Polek w Wielkiej Brytanii jest on znacząco wyższy niż wśród Polek, które pozostały z kraju. Wyciągnięto z tego oczywisty wniosek – trzeba zwiększać nakłady na politykę prorodzinną, gdyż Polki wsparte przez brytyjski system socjalny są gotowe rodzić dzieci. Ja bym jednak proponował popatrzeć na liczby i odrobinę pomyśleć.

Kto wyjeżdża na Wyspy? Głównie ludzie młodzi. Kto raczej nie wyjeżdża? Głównie ludzie powyżej czterdziestki. Kto raczej planuje dziecko, dwudziestolatka czy czterdziestolatka? Wytłumaczenie różnicy między wskaźnikami dzietności jest bardzo proste. Wśród Polek w Wielkiej Brytanii dominują kobiety młode, w wieku wysokiej zdolności reprodukcyjnej. Jest tam dużo kobiet, które chcą i mogą rodzić oraz prawie nie ma tam Polek, które już nie mogą mieć dzieci. Sprawia to, że z jednej strony rodzi się dużo dzieci, a z drugiej – ze względu na różnice w strukturze wiekowej kobiet – jest proporcjonalnie mniej kobiet. Gdy podzieli się liczbę urodzonych dzieci przez liczbę kobiet, to wskaźnik dzietności faktycznie wychodzi wysoki. W Polsce sytuacja jest dokładnie odwrotna – wyjeżdżają młode, zdolne do reprodukcji kobiety, a zostają starsze, niezdolne do reprodukcji. Liczba urodzeń zmalała nieproporcjonalnie bardziej niż liczba kobiet, stąd współczynnik dzietności musiał znacząco spaść. Jeżeli spojrzy się na współczynniki cząstkowe, obliczane dla konkretnych roczników, to różnica między dzietnością Polek w Polsce a dzietnością Polek w Wielkiej Brytanii jest nieistotna statystycznie.

5. Wyciąganie wniosków z skali Likerta

Skala Likerta jest pięciostopniową (Zdecydowanie nie – Nie – Ani tak, ani nie – Tak – Zdecydowanie tak) metodą oceny preferencji. Dzięki jej prostocie można ją stosować w przeróżnych badaniach. Problem pojawia się wtedy, gdy chce się ocenić wyniki.

Poprośmy respondenta o ocenę wartości, wśród których będą rodzina, zdrowie, dzieci, pieniądze, spełnienie, szacunek itd. Po pierwsze okaże się, że rodzina, zdrowie i inne kluczowe w naszej kulturze wartości będą miały średnią odpowiedzi około 4,9. Mówienie, że rodzina (4,92) jest dla Polaków ważniejsza niż zdrowie (4,90) jest po prostu absurdalne, gdyż nie jest to zróżnicowanie, na podstawie którego da się cokolwiek powiedzieć. Podobnie manipulują nagłówki typu „Polacy znów cenią wartości rodzinne”, opierające się na wzroście średniej odpowiedzi dla rodziny z 4,90 do 4,92.

Drugim problemem związanym z skalą Likerta jest niewspółmierność odpowiedzi. Twoja deklaracja „ważności” czegoś i moja deklaracja „bardzo ważności” tej samej wartości może towarzyszyć odwrotnie proporcjonalnym zachowaniom. Na przykład zadeklarowałeś, że zdrowie jest dla Ciebie „ważne” i podjąłeś taką decyzję, gdyż codziennie biegasz dla zachowania formy. Ja zadeklarowałem, że zdrowie jest „bardzo ważne”, bo nie jem czipsów bekonowych. Istnieje również zróżnicowanie międzykulturowe – Włosi znacznie częściej mówią że coś jest „bardzo ważne” lub „zupełnie nieważne”, gdy na przykład Azjaci znacznie częściej wybierają odpowiedzi „raczej nieważne” lub „raczej ważne”.

6. Ekstrapolowanie wniosków z grup niereprezentatywnych

Jedno z moich ulubionych badań „statystycznych”, badanie kosztów ponoszonych przez kierowców stojących w korkach, zasłużyło sobie aż na dwa podpunkty. Po pierwsze kompletnie zakłamuje ono obraz rzekomo badanej grupy. Dane statystyczne pochodzą z aplikacji instalowanej głównie przez zawodowych kierowców, co czyni badanie niereprezentatywnym w stopniu oczywistym. Zawodowy kierowca jeździ po prostu zupełnie inaczej niż przeciętny kierowca.


7. Czynienie ukrytych, a głupich założeń

Wracamy do raportu Deloitte. „Analitycy” policzyli sobie, że Polacy tracą w korkach 3,5 miliarda złotych. Jak? Wzięli tę swoją „grupę reprezentatywną”, ekstrapolowali wynik na wszystkich kierowców i… przemnożyli go razy średnią płacę godzinową. Jest to tak głupie, że aż trudno to komentować. Przyjmowanie założenia, że godzina mojego czasu jest warta tyle, ile płaci mi mój pracodawca jest absurdalne. Równie dobrze można powiedzieć, że stres wynikający z stania w korku przez godzinę może rozładować tylko pół godziny masażu tajskiego, więc każda godzina stania w korku kosztuje mnie tyle, co pół godziny takiego masażu. Albo guma balonowa. Albo banan. Albo płyta chodnikowa.

2 komentarze:

  1. Zdna nowość w tym artykule

    OdpowiedzUsuń
  2. Zniknal moj comment? Pytalem czy moze pan przedstawic nam swoja wersje sytuacji gospodarczej w Rosji.

    OdpowiedzUsuń

Nie obrażaj innych uczestników dyskusji. Autora możesz, jeżeli czujesz taką potrzebę :-)