Porażka indeksu OPI? (aktualizacja)

W listopadzie ubiegłego roku furorę wśród miłośników zimy zrobiły włoskie prognozy oparte o tzw. indeks OPI, ściśle związany z indeksem, AO mającym panować w ciągu nadchodzących miesięcy zimowych (DJF).

Przy okazji wyszło na to, że wiara w różne tajemnicze indeksy jest w nas silna. Wg listopadowego wpisu na stronie „Łowców śnieżyc” mogliśmy przeczytać m.in.:

Podczas gdy w Polsce wszystkie blogi i portale pogodowe wieszczą na podstawie słabo sprawdzających się prognoz modeli długoterminowych CFS kolejną bardzo ciepłą zimę, na zachodzie toczy się burzliwa dyskusja na temat nowego bardzo kontrowersyjnego wzorca opracowanego przez Włoskich naukowców. Nie byłoby w tym nic szczególnego gdyby nie fakt że wzorzec opiera się na bardzo twardych danych, które mają potwierdzenie w przebiegu zim w poprzednich latach. Włoch Riccardo Valente wraz z kolegami opracował wzorzec październikowy dzięki któremu możliwe jest przewidywanie z dokładnością do 90% przebiegu Artktycznej Oscylacji AO w miesiącach zimowych.

Rzeczywiście, dynamiczne modele sezonowe najczęściej nie bardzo sobie radzą z określeniem charakteru pogody na okres dłuższy, niż miesiąc. Ujawnił się tu jednak inny problem, związany z zrozumieniem przekazanych danych. W istocie bowiem indeks OPI nie „przewiduje AO w 90%”, a jedynie korelacja OPI z AO osiąga wartości około 0.90.

Dalej czytamy m.in.:

Włosi swoją pracę oceniają jako przełom w kontekście prognozowania zimy i mogą z dumą o tym mówić ,gdyż już teraz mogą się pochwalić sukcesem kiedy to przed ostatnim sezonem TNG software wyliczył nadzwyczajnie ciepłą zimę poprzez wygenerowanie dodatniej wartości końcowej na poziomie 1.64. Poniżej obraz TNG z poprzedniego sezonu.

No i tu zaczynają się chyba problemy i naciąganie wyników. Musimy zadać sobie podstawowe pytanie: co prognozuje indeks OPI: wartości Oscylacji Arktycznej, czy to, jaka będzie zima? Oczywiście prognozuje wartości AO, a dopiero AO jest w pewien sposób skorelowana z wartościami temperatury w Polsce. Nie powinniśmy więc oceniać indeksu OPI po tym, jaka była zima, tylko po tym, jakie w istocie wystąpiły wartości Oscylacji Arktycznej. W rzeczywistości zresztą korelacja indeksu OPI z zimową anomalią temperatury w Polsce jest znacznie słabsza i wynosi ok. 0.6.

Na podstawie wyników Oscylacji Arktycznej z zimy 2013/14 trzeba powiedzieć, że prognoza indeksu OPI była… słaba. Indeks ten prognozował, jak czytamy wyżej, +1.64. W istocie w okresie DJF 2013/14 było to zaledwie 0.2. Mało brakowało, a w połowie stycznia prawdziwa zima ogarnęłaby znacznie większą część kontynentu i zapewne została na dłużej. Nawet sami włosi w komentarzach na forach przyznają, że zeszłoroczny wynik był słaby – zamiast silnie dodatniego AO otrzymaliśmy w rzeczywistości AO w zasadzie neutralne.

Oczekiwania były spore:

Jedno jest pewne, tegoroczny wynik końcowy OPI jest bardzo zaskakujący. Wartość na poziomie -2,16  może wskazywać na jedną z najchłodniejszych zim w Europie w ciągu ostatnich 38 lat badań. Niższa wartość OPI zanotowana została jedynie w 2010 roku kiedy w wielu miejscach padały historyczne rekordy temperatury. Możliwe jest zatem że tegorocznej zimy zarówno mieszkańcy USA jak i Europejczycy będą zmagać się z prawdziwą zimą.

Jak widzimy przekaz jest jasny: wartości indeksu OPI są jedne z najniższych. Należy się przygotować na ostrą, śnieżną zimę. Szczerze mówiąc, w pewnej chwili sam zwątpiłem w swoje przypuszczenia co do zimy raczej ciepłej, szczególnie w chwili, gdy J. Cohen również doszedł do raczej chłodnej konkluzji na podstawie indeksu SAI. Mimo to pozostałem sceptyczny – wadą różnego rodzaju indeksów wyliczanych na podstawie niezbyt długiego (30-40 letniego) ciągu pomiarowego jest fakt, że całkiem przypadkiem możemy odkryć związki pozorne, lub będące prawdziwe tylko dla pewnego okresu.

W istocie listopadowa prognoza oparta o indeks OPI odniosła chyba najbardziej spektakularną porażkę. Nie chodzi nawet o to, że zamiast zimy ocierającej się o rekordy, mieliśmy zimę ciepłą i w wielu miejscach kraju jak do tej pory niemal bezśnieżną, ale o sam fakt, że indeks AO za miesiące grudzień i styczeń wyszedł dodatni: w grudniu 2014 było to +0.40, w styczniu +1.05. Suma wartości AO osiągnęła więc już niemal +1.5, a aby średnia dla DJF zbliżyła się chociaż do -2, suma ta powinna spaść chociaż do -5. Wiemy już, że jest to niemożliwe, bowiem lutowa wartość AO musiałaby wtedy spaść do -6 – a tak niskiego miesięcznego indeksu Oscylacji Arktycznej nie obserwowaliśmy nigdy.

Co więcej, obecne prognozy sugerują, że po ujemnym początku, w dalszej części miesiąca indeks AO przyjmie wartości dodatnie.

Co oznacza, że w najbardziej skrajnym przypadku można oczekiwać lutowego AO na poziomie -1. To zaś oznacza, że powstanie olbrzymia przepaść pomiędzy prognozą, a rzeczywistością. Co najbardziej istotne, jeśli AO dla miesięcy zimowych wyniesie ostatecznie w okolicy 0.2 (zakładając skrajną końcówkę lutego), będzie podobne, jak w roku ubiegłym, kiedy indeks OPI wskazywał aż +1.6. To zaś powoduje, że indeks ten niestety traci na wiarygodności.

Wygląda to nawet dość zaskakująco na wykresach:

Powyżej: indeks OPI i odpowiadające mu wartości AO w okresie 1976-2012. W tym czasie współczynnik korelacji tych wartości wynosi 0.9.

Powyżej: wskaźnik OPI i odpowiadające mu wartości AO w latach 2000-2012. Tu mamy dopasowanie wręcz idealne. Nie trudno się domyśleć, skąd taka eksplozja popularności tego indeksu. W tym przypadku współczynnik korelacji sięga 0.97 i jest aż podejrzanie wysoki. Tym bardzie zadziwiające jest to, co się stało w ostatnich dwóch latach (założyłem AO DJF 2014/15 na poziomie 0.2):

Współczynnik korelacji spada nagle z 0.97 w latach 2000-2012 do 0.80 w latach 2000-2014. W całym okresie 1976-2014 spada z 0.90 (1976-2012) do 0.83.

Powyżej mamy ilustrację błędu oszacowania wartości indeksu AO. Jak widać zarówno w 2013, jak i w 2014 wartości błędów były rekordowe na tle całej serii (stąd trudno mi było za „łowcami śnieżyc” uznać prognozę z 2013 za udaną, mimo że akurat zima w Polsce była ciepła). O ile błąd z 2013, mimo że jak na ten czas rekordowy, nie był jeszcze skrajnie niezwykły, o tyle zanosi się, że wartość błędu z 2014 będzie niemal dwukrotnie wyższa, niż największy błąd z lat 1976-2012. W zasadzie moim zdaniem przyczyny takiego stanu rzeczy mogą być dwie. Albo mamy do czynienia z przypadkiem, a po krótkim okresie większych błędów sytuacja wróci do normy, albo problem jest w metodzie wyznaczania indeksu OPI (której dokładnie nie znamy,  albowiem żaden artykuł na ten temat się jak do tej pory nie ukazał). Okres 2001-2012, w którym indeks OPI święci największe tryumfy, mógł być okresem dla którego był „kalibrowany”. Przed 2000 jest nieźle (szczególnie w latach 1990-1994), ale całościowo nieco gorzej. Tu problemem może być niedoskonałość reanaliz. Nie można wykluczyć, że zupełnie niezamierzenie wyniki te były również nieco „podrasowane”, aby lepiej pasowały. W takim wypadku, w sposób zupełnie naturalny, metoda tak dopasowana do danego okresu, zupełnie się rozsypuje poza nim. Istnieje jednak bardzo prosty sposób na rozwiązanie tego, co w istocie stało się z indeksem OPI – mianowicie wystarczy go obserwować przez najbliższe kilka lat. Przydałby się również dokładny algorytm, który w wyznaczaniu tego indeksu jest stosowany.

Co prawda można sobie jeszcze wyobrazić, że w przypadku wystąpienia bardzo zimnego marca, będą próby podciągnięcia go pod tą prognozę. Będzie to jednak wyjątkowo słabe tłumaczenie, jako że autorzy od początku wskazują na fakt, że prognoza dotyczy miesięcy od grudnia do lutego (DJF), o czym możemy przeczytać choćby tutaj.

 Aktualizacja:

Zapomniałem dodać, że eksperymentalna prognoza przebiegu AO, wyznaczona na podstawie kolejnego tajemniczego indeksu IZO (stworzonego rzekomo przez Carlo Colarieti Tosti) jest równie zła.

Mam nadzieję, że przed kolejną zimą większość wyciągnie wnioski z tego, co się dzieje obecnie. Chociaż nie sądzę, że tak się stanie.