Wizualizacja danych

Aktualności: Prosimy o dodawanie na końcu wiadomości tagów w nawiasach kwadratowych, które pozwolą na szybsze wyszukiwanie interesującej treści.
Przykłady tagów: [2016] [pogoda] [burza] [prognoza] [grad]

Autor Wątek: Wizualizacja danych  (Przeczytany 2402 razy)

0 użytkowników i 1 Gość przegląda ten wątek.

Offline bczernecki

  • Zastrzeżona
  • Junior Member
  • *
  • Wiadomości: 145
  • Miejsce pobytu: Świdnica/Poznań/Warszawa
  • Reputacja: 16
Wizualizacja danych
« dnia: Grudzień 15, 2011, 02:49:15 am »
Witam,

W ostatnim czasie trochę więcej czasu spędziłem nad postprocessingiem i nieco większymi outputami z WRFa. Czasem zdarza się tak, że plik GRIB dla GrADSa ma >2gb i nie zawsze jest możliwość jego poprawnego otwarcia nie wspominając o eksporcie danych do ASCII.
Po kilkudniowych zabawach pare wniosków odnośnie pierwszych refleksji:

- do obróbki nieprzetworzonych danych z WRFa do dyspozycji zostają 2 sensowne programy płatne (MATLAB, IDL) i 3 opensourcowe (GDL, R, NCL)
- ze względu na jakość map do celów nienaukowych z bezpłatnych rzeczy najlepiej wychodzi NCL, jest też (chyba) najszybszy (bazuje na C i FORTRANie); poza tym mnóstwo gotowych szablonów do WRFa; niestety jakość idzie wraz ze stopniem komplikacji i jeśli mocno chcemy coś modyfikować to czasem trzeba się nieco napocić...
- nieznacznie gorzej wychodzi R, ale operacyjnie też może się nadawać (kwestia późniejszego sprawdzenia); na plus można zaliczyć dobrej jakości wszelkiego rodzaju outputy, które nie są mapami;być może jest to kwestia poszukania odpowiednich bibliotek do tego celu. Jest jednak kilka zasadniczych plusów:
* możliwość pracy z shape'ami
* obróbka danych jak w matlabie
* możliwość modyfikacji i zapisu NetCDFa
* szybszy niż w GrADSie eksport danych
* Matlabowy schemat pracy
* oszczędność czasu na postprocessing do GRIBów, który zwykle chodzi tylko na 1 rdzeniu (jak symulacja jest rzędu kilkudziesięciu gb to czasem jest czas porównywalny z czasem samego runu modelu)

Przykładowy output poniżej


Porównanie komend gdyby ktoś był zainteresowany m.in. tutaj:
https://wiki.c2sm.ethz.ch/Wiki/VisNCLDictionary

Ps. Dopiero teraz zauważyłem, że wątek jest w niewłaściwym miejscu. Jeśli jest możliwość przeniesienia do:
Pogoda i Klimat » Meteorologia/Klimatologia » Modele Numeryczne » WRF » Ustawienia modeli - to bardzo bym prosił
Ps2. Jeśli udało by się to wprowadzić R do pracy operacyjnej to oczywiście info będzie wrzucone.

Pozdrawiam,
Bartek
« Ostatnia zmiana: Grudzień 15, 2011, 02:55:49 am wysłana przez bczernecki »



Offline pdjakow

  • Administrator
  • Ojciec Dyktator
  • *****
  • Wiadomości: 2757
  • Age: 43
  • Miejsce pobytu: Wrocław
  • Reputacja: 197
  • Płeć: Mężczyzna
    • http://meteomodel.pl
Odp: Wizualizacja danych
« Odpowiedź #1 dnia: Grudzień 15, 2011, 11:26:07 am »
Mapka super, jakby się dało opracować skrypt automagiczny, to można by pogrzebać.
Modele Numeryczne GFS/WRF
http://meteomodel.pl


Offline bczernecki

  • Zastrzeżona
  • Junior Member
  • *
  • Wiadomości: 145
  • Miejsce pobytu: Świdnica/Poznań/Warszawa
  • Reputacja: 16
Odp: Wizualizacja danych
« Odpowiedź #2 dnia: Grudzień 15, 2011, 12:02:00 pm »
Jeśli chodzi o crona to nie powinno być problemów. Będę musiał jeszcze sprawdzić czy wszystkie formaty graficzne wchodzą w grę przy braku obsługi X-ów, ale to już pewnie po świętach. Jak coś sensownego będę mieć to się podzielę, ale póki co to bardziej myślę nad MOS-em (model output statistics), bo do tego pierwotnie chciałem "R" wykorzystać.

Offline pdjakow

  • Administrator
  • Ojciec Dyktator
  • *****
  • Wiadomości: 2757
  • Age: 43
  • Miejsce pobytu: Wrocław
  • Reputacja: 197
  • Płeć: Mężczyzna
    • http://meteomodel.pl
Odp: Wizualizacja danych
« Odpowiedź #3 dnia: Grudzień 15, 2011, 17:08:56 pm »
Jeśli chodzi o crona to nie powinno być problemów. Będę musiał jeszcze sprawdzić czy wszystkie formaty graficzne wchodzą w grę przy braku obsługi X-ów, ale to już pewnie po świętach. Jak coś sensownego będę mieć to się podzielę, ale póki co to bardziej myślę nad MOS-em (model output statistics), bo do tego pierwotnie chciałem "R" wykorzystać.

Chodzą bez X-ów.  Wykres pokrywy lodowej przez R robię.
Modele Numeryczne GFS/WRF
http://meteomodel.pl

Offline bczernecki

  • Zastrzeżona
  • Junior Member
  • *
  • Wiadomości: 145
  • Miejsce pobytu: Świdnica/Poznań/Warszawa
  • Reputacja: 16
Odp: Wizualizacja danych
« Odpowiedź #4 dnia: Grudzień 15, 2011, 20:17:06 pm »
Nie wiem czy właśnie każda biblioteka chodzi bez Xów w R... Dla wykresów wiązkowych, które robię bodajże za pomocą biblioteki ggplot2 (www.klimat2010.amu.edu.pl/gfs) tylko wersja w PDFach obsługiwała mi te czcionki, które chciałem. Poza tym jest kwestia instalacji paczki 'ncdf4' z którą od 2 dni się męcze na Vortexie, chociaż akurat to jest kwestia mojej lamerskiej znajomości Linuxa, prawdopodobnie dla kogoś ogarniętego do zrobienia za pomocą 2-3 komend ustawiających poprawnie zmienne środowiskowe i flagi...

pzdr,
bartek