Źródło: aier.org
Tłumaczenie: Mateusz Czyżniewski
Żyjemy w świecie zalewanym i kształtowanym przez zbiory danych. Są one gromadzone (lub generowane), przetwarzane, przechowywane i często stosowane ponownie, samodzielnie lub w połączeniu z innymi zbiorami danych, jako środki niezbędne do podejmowania decyzji oraz jako podstawa działania wyjątkowo złożonych modeli. Akceptujemy je takimi, jakie są. Powstaje więc, pytanie, co jeszcze możemy z nimi zrobić?
A jednak badania ilościowe, pomimo ich nominalnej dokładności, zawierają błędy popełniane przez osoby i organizacje, które je generują, gromadzą i finalnie aplikują. Dotyczy to takich sfer jak opieka zdrowotna, media, sport, finanse, ekonomia, gry komputerowe i nie tylko.
Aby zrozumieć nieścisłości związane z przetwarzaniem danych i ich dalsze implikacje, rozważmy przypadek baseballu. Yogi Berra mógłby powiedzieć: „Jak na dość prostą grę, baseball jest dość skomplikowany”.
I miałby on rację: baseball jest zwodniczo prostą grą, opartą o niewielką ilość pozycji, które można wykorzystać do celów opracowania szerokiej gamy strategii, a także podejściami do oceny zawodników: archaicznym i analitycznym. Na poziomie profesjonalnym, nagrody dla zawodników, drużyn czy miast, które je goszczą, są wysokie. Natomiast dla mistrzów sezonu (a nawet prawie mistrzów), te i tak już wysokie nagrody są jeszcze wyższe.
Z tych oraz innych niewymienionych powodów, zawsze istnieje pokusa, by oszukiwać. Najnowsze oskarżenia (wydaje się, że pojawiają się one niemal co roku) dotyczą rzekomych działań ze strony Houston Astros, tj. nielegalnego nasłuchu sygnałów stosowanych pomiędzy przeciwnymi łapaczami i miotaczami oraz przekazywania ich pałkarzom, które miały miejsce w 2017 roku (jest moment, który zbiega się z ich nagłym osiągnięciem wysokich miejsc w niektórych rankingach). Ponadto istnieją podejrzenia, że domniemana działalność trwała do niedawna. Choć Astros zostali ostatecznie pokonani przez Washington Nationals w tegorocznych rozgrywkach World Series, przez ostatnie pół dekady byli jedną z najlepszych drużyn baseballu.
Oskarżenia, choć wciąż niepotwierdzone, podają w wątpliwość również osiągnięcia Astros z poprzedniego sezonu. A to, jak zespół wypada w odniesieniu do wartości bardziej ezoterycznych wskaźników, jest szczerze mówiąc zdumiewające. (Aby zapoznać się z działaniami, które rzekomo niesprawiedliwie nadały im przywileje, obejrzyj te filmy. Uwaga: jest tam trochę wulgaryzmów).
To prawda, że oszukiwanie w baseballu nie jest niczym nowym. (Moim „ulubionym” epizodem był ten).
Ale choć może się wydawać nieszkodliwe, oszustwa mają swoje konsekwencje. Przechodząc przez łańcuch przyczynowo skutkowy, zwiększenie skuteczności pałkarzy natychmiast wpływa na OBP (ang. on-base percentage) zarówno indywidualnie, jak i w odniesieniu do całej drużyny. (Niezależnie od tego, czy domniemane oszustwo miało wpływ na wyniki, Houston Astros mieli najwyższy poziom OBP w tym roku). Drużyna z Houston osiągnęłą również najwyższy wskaźnik BA (ang. batting average), SLG (ang. slugging percentage), OPS (ang. on base plus slugging), a także znalazła się w pierwszej trójce pod względem ilości biegów, ogólnej liczby trafień, asów, łącznej liczby zdobytych baz i wskaźnika RBI (ang. run batted in).
I odwrotnie, uprzywilejowani pałkarze negatywnie wpływają na statystyki miotaczy, przeciw którym grają. Dzieje się to na kilka sposobów: dla około 1200 profesjonalnych graczy baseballu i kolejnymi 5000-6000 grającymi w niższych ligach, kilka złych gier może całkowicie zmienić przbieg ich karier. A wszystko totylko w wyniku oszustwa. Szersza kwestia nieścisłości i błędów obecnych w baseballu została w ostatnich latach poddana analizie za sprawą jednego z najbardziej powszechnych obecnie środków: nowoczesnej technologii.
Według jednego z badań sędziowie popełniają prawie 35 000 błędów w jednym sezonie (średnio 14 błędów na mecz), które, podobnie jak rzekome oszustwa omówione wcześniej, oddziaływają błyskawicznie na statystyki dotyczące wydajności, wypaczając i wpływając na wyniki gier, kariery graczy, doświadczenia fanów, wyniki zakładów i prawie każdy inny aspekt gry. (Jak można się spodziewać, związek zawodowy sędziów, który sam niekiedy był poddawany kontroli, nie jest szczególnie przychylny sędziom-robotom).
Te same badania pokazują również, że przy pewnych ilościach piłek/uderzeń sędziowie mają tendencję do faworyzowania miotaczy nad pałkarzami. Ponadto, istnieją miejsca w strefach atakowania, w odniesieniu do których sędziowie mają częstszą tendencję do orzekania faulu (w latach 2008-2018 boiska w prawej i lewej górnej części strefy ataku były nieprawidłowo nazywane w 27% przypadków). A co dziwniejsze, młodsi, mniej doświadczeni sędziowie dokonują lepszych decyzji niż starsi, bardziej doświadczeni. Według innych danych, sędziowie często podejmują decyzje, które są zdecydowanie stronnicze na korzyść drużyny gospodarzy.
Na tym jednak nie koniec. Poza zarobkami drużyn i perspektywami kariery zawodników, negatywny wpływ sabermetrii na decyzje łowców talentów (ang. scouts) i miliony graczy obstawiających zakłady sportowe warte miliardy dolarów w grach realnych i symulowanych również odczują negatywne skutki. Agenci sportowi, charakter umów promocyjnych i sprzedawcy, wszyscy odczują, w takim czy innym stopniu, negatywne skutki nieuczciwych podstaw stojących za generowaniem błędnych danych.
Z pewnością nowatorskie podejście Moneyball jest aktualnie sposobem na prowadzenie biznesu baseballowego:
W 2003 roku było może cztery do pięciu klubów, które miały na swojej liście płac osoby zajmujące się analityką. Zazwyczaj pracowały one w biurze na korytarzu, zajmując się rekomendacjami dla ludzi, którzy mogą, ale nie muszą zwracać na nie uwagi. Dziś zmieniło się to, jak sądzę, że każdy dyrektor generalny ma jakieś doświadczenie lub zainteresowanie w odniesieniu do analizy danych, a typowa wielkość grupy w biurze zarządu to prawdopodobnie od 12 do 15 osób pracujących na pełen etat mających stopnie naukowe, niezależnie od tego, czy jest to informatyka, fizyka, matematyka, czy inna dyscyplina. Oprócz tego w organizacjach istnieją działy zajmujące się przetwarzaniem danych. Większość organizacji ma obecnie na liście płac pracowników zajmujących się bazami danych i naukowców zajmujących się danymi, którzy pomagają im nie tylko przechowywać informacje i odpowiednio je organizować, ale także oceniać ich znaczenie.
Z tego powodu złe dane — niezależnie od tego, czy wynikają z oszustwa, błędnego ich zebrania czy subiektywnych ocen badaczy — mają zarówno krótko-, jak i długoterminowe konsekwencje o charakterze systemowym. Nie jest przesadzone sugerowanie, że w jakimś miejscu w Stanach, każdego roku, garstka (lub więcej) świetnych graczy, którzy mogli zostać zaproszeni do drużyn lub przenieść się ze szkół podstawowych do wyższych, jest pomijana z powodu bezpośrednich lub pośrednich skutków niedokładnych danych lub błędnych ich analiz. Fala błędnych oraz niewidocznych konsekwencji rozprzestrzenia się przez wiele lat w ten sposób w całym ekosystemie baseballowym, a błędy utrwalały się w historycznych bazach danych i umysłach decydentów.
A teraz: czy ktokolwiek wątpi, że gospodarka USA, a właściwie każda gospodarka (nawet wirtualna), jest znacznie bardziej złożona niż baseball?
W 1963 r. Oskar Morgenstern opublikował On the Accuracy of Economic Observations (drugie wydanie znacznie rozszerzone w stosunku do tego z 1950 r.), w którym podjął się zadania krytyki rosnącego samozadowolenia wśród ekonomistów. Jego argumenty odnosiły się do tego, jak dane ekonomiczne, w szczególności te, które są zbierane, kompilowane, analizowane i publikowane przez rządy, były na każdym etapie przetwarzane z coraz większymi błędami. Zauważając, że rozwój informatyki i rozprzestrzenianie się ekonometrii szybko nadały fizykalistyczny polot nauce w istocie społecznej, nakreślił zarówno powszechne problemy ze statystykami ekonomicznymi (celowe przeinaczenia danych, błędy pomiarowe, brak definicji, problemy z klasyfikacją zjawisk, niezdolność do projektowania eksperymentów, tendencyjne interpretacje na zamówienie, nieodpowiednie agregacje danych i tak dalej), oraz to, jak przejawiają się one w kilku konkretnych obszarach: handlu zagranicznym, statystykach cen, poziomu bezrobocia, dochodzie narodowym czy stopach wzrostu.
Morgenstern doszedł do wniosku, że przynajmniej to, co można i należy zrobić, to (co może wydawać się nieco ironicznie) naśladować nauki ścisłe choć w jednym z ich zdecydowanie mniej zauważalnych aspektów: widocznym prezentowaniu szacunków błędów w odniesieniu do publikowania danych ekonomicznych.
Być może największym krokiem naprzód, jaki można zrobić choćby w krótkim czasie, to naleganie, aby statystyki ekonomiczne były publikowane tylko wraz z szacunkami odnoszących się do związanych z nimi błędów. Nawet przy przybliżonych szacunkach przyniosłoby to odpowiedni efekt. Zarówno osoby tworzące dane, jak i użytkownicy danych ekonomicznych muszą powstrzymać się od wysuwania twierdzeń i żądań, których nie można poprzeć naukowo. Publikacja estymat błędów miałaby głęboki wpływ na całą sytuację (...) [Ekonomiści i studenci] muszą być wychowywani w atmosferze zdrowej nieufności wobec przedstawianych im „faktów”. Muszą również nauczyć się, jak strasznie trudno jest uzyskać dobre dane i dowiedzieć się, co tak naprawdę jest „faktem”.
Duże zbiory danych i związane z nimi metody analityczne z pewnością znalazły zastosowanie w planowaniu i projektach Systemu Rezerwy Federalnej, Departamentu Skarbu Stanów Zjednoczonych, Biura Pracy i Statystyki oraz innych repozytoriów statystyk gospodarczych. I chociaż estyma, jaką daży się ekspertyzy państwowe, często daje organowi raportującemu „korzyść z istniejącej wątpliwości” w odniesieniu do integralności i jakości danych, należy w tym aspekcie zachować nieco więcej sceptycyzmu. Istnieje wiele powodów, aby wątpić w jakość danych rządowych, niezależnie od tego, czy są one autorstwa rządu, skompilowane ze źródeł zewnętrznych, czy też są po prostu źle przetwarzane.
Weźmy pod uwagę, że w grudniu 2018 r. Rezerwa Federalna podniosła docelowy zakres stopy referencyjnej (Fed Funds) z 2,25% do 2,50%.
31 lipca Rezerwa Federalna obniżyła stopę funduszy federalnych o 25 punktów bazowych do przedziału od 2% do 2.25% i ogłosiła, że natychmiast zakończyła „zacieśnianie ilościowe”, dwa miesiące przed jego uprzednio planowanym końcem. FOMC podał niewyraźne wskazówki dotyczące przyszłych cięć stóp, co wywołuje niepewność na rynku akcji (...) Fed pod kierownictwem przewodniczącego Fed Jerome'a Powella wciąż zmieniał zdanie, co podważyło niezależność i przejrzystość FOMC.
Od ostatniego czasu, wedle deklaracji prezydenta, dyskusje obejmowały wątek ujemnych stóp procentowych. Jeśli Fed ze swoimi ogromnymi zbiorami danych ekonomicznych i finansowych, niewyobrażalnymi mocami obliczeniowymi i istnymi legionami doktorów ekonomii, statystyki i informatyki, znajdzie powód, by całkowicie zmienić kierunek działań — niezależnie od tego, czy jest to oparte o analizę danych, czy realizowane wbrew niej — wszyscy obserwatorzy lub użytkownicy tych informacji powinni się chwilę się zastanowić.
Oskar Morgenstern podsumował swoje badania w sposób następujący: „Problemy o charakterze statystycznym obecne w naukach społecznych nie mogą być mniej złożone niż te w naukach przyrodniczych, [a zatem] sytuacja jest znacznie bardziej skomplikowana i stąd wymaga bardziej szczegółowej analizy”.
Pewna doza pokory jest czymś odpowiednim. Moglibyśmy bowiem postąpić gorzej niż zalecał Yogi Berra, mówiąc: „Jeśli zapytasz mnie o coś, czego nie wiem, nie odpowiem”.
Źródło ilustracji: Pixabay
"estyma, jaką daży się ekspertyzy państwowe" --> "estyma, jaką darzy się ekspertyzy państwowe"
Odpowiedz