Исследование возможностей языка программирования R для обработки больших данных
| Parent link: | Десятая Сибирская конференция по параллельным и высокопроизводительным вычислениям.— 2021.— С. 37-46 |
|---|---|
| Main Author: | |
| Other Authors: | , |
| Summary: | Заглавие с экрана Рассматривается использование пакетов языка программирования R для параллельного построения штрафных регрессионных моделей для больших наборов данных с ультразвуковых метеостанций, которые не могут быть сразу загружены в оперативную память компьютера. Файлы с наблюдениями хранятся на дисковом накопителе и считываются в память только во время подгонки модели. Матрицей ввода данных является big.matrix-объект. Создается функцией as.big.matrix из пакета bigmemory. Для распараллеливания вычислений используется стандарт OpenMP - программирование многопоточных приложений на многопроцессорных системах с общей памятью. Количество потоков для параллельных вычислений задается параметрически, исходя из имеющейся вычислительной мощности. Исследуемый инструментарий больше подходит для «широких» данных (с большим числом переменных-предикторов), чем для «длинных» данных (с большим количеством рядов наблюдений) Текстовый файл |
| Language: | Russian |
| Published: |
2021
|
| Subjects: | |
| Online Access: | https://www.elibrary.ru/item.asp?id=47451194 |
| Format: | Electronic Book Chapter |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=679994 |