Исследование возможностей языка программирования R для обработки больших данных; Десятая Сибирская конференция по параллельным и высокопроизводительным вычислениям
| Parent link: | Десятая Сибирская конференция по параллельным и высокопроизводительным вычислениям.— 2021.— С. 37-46 |
|---|---|
| Glavni avtor: | |
| Drugi avtorji: | , |
| Izvleček: | Заглавие с экрана Рассматривается использование пакетов языка программирования R для параллельного построения штрафных регрессионных моделей для больших наборов данных с ультразвуковых метеостанций, которые не могут быть сразу загружены в оперативную память компьютера. Файлы с наблюдениями хранятся на дисковом накопителе и считываются в память только во время подгонки модели. Матрицей ввода данных является big.matrix-объект. Создается функцией as.big.matrix из пакета bigmemory. Для распараллеливания вычислений используется стандарт OpenMP - программирование многопоточных приложений на многопроцессорных системах с общей памятью. Количество потоков для параллельных вычислений задается параметрически, исходя из имеющейся вычислительной мощности. Исследуемый инструментарий больше подходит для «широких» данных (с большим числом переменных-предикторов), чем для «длинных» данных (с большим количеством рядов наблюдений) Текстовый файл |
| Jezik: | ruščina |
| Izdano: |
2021
|
| Teme: | |
| Online dostop: | https://www.elibrary.ru/item.asp?id=47451194 |
| Format: | Elektronski Book Chapter |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=679994 |
| Izvleček: | Заглавие с экрана Рассматривается использование пакетов языка программирования R для параллельного построения штрафных регрессионных моделей для больших наборов данных с ультразвуковых метеостанций, которые не могут быть сразу загружены в оперативную память компьютера. Файлы с наблюдениями хранятся на дисковом накопителе и считываются в память только во время подгонки модели. Матрицей ввода данных является big.matrix-объект. Создается функцией as.big.matrix из пакета bigmemory. Для распараллеливания вычислений используется стандарт OpenMP - программирование многопоточных приложений на многопроцессорных системах с общей памятью. Количество потоков для параллельных вычислений задается параметрически, исходя из имеющейся вычислительной мощности. Исследуемый инструментарий больше подходит для «широких» данных (с большим числом переменных-предикторов), чем для «длинных» данных (с большим количеством рядов наблюдений) Текстовый файл |
|---|