Dziel zbiór danych na podgrupę po podgrupie, aż los wskaże Ci p < 0,05 — a następnie obejrzyj świeżą próbkę, która zadecyduje, czy Twoje odkrycie było prawdziwe, czy też było dziełem przypadku.
Leczenie nie daje żadnego rzeczywistego efektu, więc jakiekolwiek znaczenie, jakie znajdziesz, to hałas. Filtruj dane na podgrupy i powtarzaj test tyle razy, ile potrzeba, aby natknąć się na wartość p poniżej 0,05, a następnie przedstaw swoje „odkrycie” sędziemu. Twist: kontrola replikacji pobiera świeżą niezależną próbkę i ponownie sprawdza Twoje dokładne twierdzenie. Prawdziwe efekty przetrwają; p-hacki znikają — i ta luka jest całą lekcją.
Cherry Picker dotyczy p-hakowania, wielokrotnych porównań i tego, dlaczego replikacja ma znaczenie – integralności statystyk.
Filtrowanie do podgrup i ponowne uruchamianie testu, aż coś okaże się istotne, to drążenie danych — p-hacking: przeprowadzanie wielu testów i raportowanie tylko tych, które wychodzą istotne.
Oryginalne założenie projektu polega na tym, że interwencja nie ma żadnego rzeczywistego efektu, więc każdy znaleziony wynik jest z założenia szumem.
To jedyny uczciwy sposób nauczania tego. Opisany abstrakcyjnie p-hacking brzmi jak oszustwo, którego staranny człowiek nigdy by nie popełnił; wykonanie go na danych, które z gwarancją są puste, pokazuje, jak łatwo pojawia się istotność, a to jest problem wielokrotnych porównań, a nie wada charakteru.
Cherry Picker to gra statystyczna o p-hackowaniu, wielokrotnych porównaniach i o tym, dlaczego replikacja ma znaczenie. To oryginalna darmowa gra przeglądarkowa stworzona dla PlayPendium.