Исследование возможностей языка программирования R для обработки больших данных
| Parent link: | Десятая Сибирская конференция по параллельным и высокопроизводительным вычислениям: сборник статей, Томск, 5-7 октября 2021 г./ Национальный исследовательский Томский государственный университет ; ред. А. В. Старченко. С. 37-46.— .— Томск: НТЛ, 2021.— 978-5-89503-652-5 |
|---|---|
| Main Author: | |
| Other Authors: | , |
| Summary: | Заглавие с экрана Рассматривается использование пакетов языка программирования R для параллельного построения штрафных регрессионных моделей для больших наборов данных с ультразвуковых метеостанций, которые не могут быть сразу загружены в оперативную память компьютера. Файлы с наблюдениями хранятся на дисковом накопителе и считываются в память только во время подгонки модели. Матрицей ввода данных является big.matrix-объект. Создается функцией as.big.matrix из пакета bigmemory. Для распараллеливания вычислений используется стандарт OpenMP - программирование многопоточных приложений на многопроцессорных системах с общей памятью. Количество потоков для параллельных вычислений задается параметрически, исходя из имеющейся вычислительной мощности. Исследуемый инструментарий больше подходит для «широких» данных (с большим числом переменных-предикторов), чем для «длинных» данных (с большим количеством рядов наблюдений) Текстовый файл |
| Published: |
2021
|
| Subjects: | |
| Online Access: | https://www.elibrary.ru/item.asp?id=47451194 |
| Format: | Electronic Book Chapter |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=679994 |