Потоковая асинхронная передача данных между модулями в ETL-конвейере под управлением распределенного брокера сообщений APACHE KAFKA
| Parent link: | Молодежь и современные информационные технологии: сборник трудов XXI Международной научно-практической конференции студентов, аспирантов и молодых ученых, 15–18 апреля 2024 г., Томск/ ред. кол. А. С. Фадеев, Н. Г. Марков, В. Г. Спицын [и др.]. С. 472-475.— .— Томск: Изд-во ТПУ, 2024.— conference_tpu-2024-C04.pdf |
|---|---|
| Main Author: | Кузьменко Д. Е. |
| Other Authors: | Кайда А. Ю. Анастасия Юрьевна |
| Summary: | В статье рассматривается проблема, препятствующая эффективной асинхронной передаче данных, а также предложено решение, позволяющее избежать поэтапного режима передачи. Описано использование асинхронной передачи данных между модулями в ETL-конвейере с применением распределенного брокера сообщений Apache Kafka. Представлена схема модулей ETL-конвейера и описаны полученные результаты их работы Текстовый файл |
| Published: |
2024
|
| Series: | Прикладные программные приложения и разработки |
| Subjects: | |
| Online Access: | http://earchive.tpu.ru/handle/11683/84878 |
| Format: | Electronic Book Chapter |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=675913 |
Similar Items
ETL конвейер для потоковой обработки текстовых данных под управлением распределенного брокера сообщений Apache Kafka
by: Кузьменко Д. Е.
Published: (2023)
by: Кузьменко Д. Е.
Published: (2023)
Kafka в действии
by: Скотт Д.
Published: (Москва, ДМК Пресс, 2022)
by: Скотт Д.
Published: (Москва, ДМК Пресс, 2022)
Реализация ETL технологии в проекте создания хранилища данных средствами SQL Server Integration Services 2008
by: Толдыкина Е. В. Елизавета Викторовна
Published: (2009)
by: Толдыкина Е. В. Елизавета Викторовна
Published: (2009)
Интерпретация данных системы контроля и управления доступом
by: Киселев К. И.
Published: (2024)
by: Киселев К. И.
Published: (2024)
Анализ данных учеб. пособие
by: Вольфсон М. Б.
Published: (Санкт-Петербург, СПбГУТ им. М.А. Бонч-Бруевича, 2015)
by: Вольфсон М. Б.
Published: (Санкт-Петербург, СПбГУТ им. М.А. Бонч-Бруевича, 2015)
Потоковая обработка данных с Apache Flink
by: Уэске Ф.
Published: (Москва, ДМК Пресс, 2021)
by: Уэске Ф.
Published: (Москва, ДМК Пресс, 2021)
Основы построения прецизионных систем земледелия
by: Лопачёв Н. А.
Published: (Санкт-Петербург, Лань, 2022)
by: Лопачёв Н. А.
Published: (Санкт-Петербург, Лань, 2022)
Расчет механизмов транспортирующих машин методическое пособие для магистрантов инженерно – технологического института направления подготовки: 35.04.06 агроинженерия
by: Никитин В. В.
Published: (Брянск, Брянский ГАУ, 2021)
by: Никитин В. В.
Published: (Брянск, Брянский ГАУ, 2021)
Машины и оборудование непрерывного транспорта учебно-методическое пособие
by: Шарапов Р. Р.
Published: (Москва, МИСИ – МГСУ, 2022)
by: Шарапов Р. Р.
Published: (Москва, МИСИ – МГСУ, 2022)
Подъемно-транспортные машины
by: Павленко Т. Г.
Published: (Орел, ОрелГАУ, 2018)
by: Павленко Т. Г.
Published: (Орел, ОрелГАУ, 2018)
Автоматизация расчетов при планировании строительного производств учебно-методическое пособие
by: Кузина О. Н.
Published: (Москва, МИСИ – МГСУ, 2019)
by: Кузина О. Н.
Published: (Москва, МИСИ – МГСУ, 2019)
Разработка метода распараллеливания потокового множественного доступа к общей базе данных в условиях недопущения взаимного искажения данных
by: Варламов О. О.
Published: (2003)
by: Варламов О. О.
Published: (2003)
Чип-карты. Устройство и применение в практических конструкциях.
by: Гёлль П.
Published: (Москва, ДМК Пресс, 2009)
by: Гёлль П.
Published: (Москва, ДМК Пресс, 2009)
Потоковая обработка данных. Конвейер реального времени
by: Пселтис Э. Д.
Published: (Москва, ДМК Пресс, 2018)
by: Пселтис Э. Д.
Published: (Москва, ДМК Пресс, 2018)
Организация и технология строительного производства учебное пособие
by: Зильберова И. Ю.
Published: (Ростов-на-Дону, Донской ГТУ, 2017)
by: Зильберова И. Ю.
Published: (Ростов-на-Дону, Донской ГТУ, 2017)
Цифровые инструментальные средства менеджера и экономиста учебное пособие
by: Назаров Д. М.
Published: (Екатеринбург, УрГЭУ, 2021)
by: Назаров Д. М.
Published: (Екатеринбург, УрГЭУ, 2021)
Кормопроизводство: зеленый конвейер учебное пособие для вузов
by: Байкалова Л. П.
Published: (Санкт-Петербург, Лань, 2025)
by: Байкалова Л. П.
Published: (Санкт-Петербург, Лань, 2025)
Электрические машины учебник для вузов
by: Ванурин В. Н.
Published: (Санкт-Петербург, Лань, 2022)
by: Ванурин В. Н.
Published: (Санкт-Петербург, Лань, 2022)
Адресно-кодовая коммутация каналов связи
by: Халин Ф. М. Федор Михайлович
Published: (Москва, Связь, 1979)
by: Халин Ф. М. Федор Михайлович
Published: (Москва, Связь, 1979)
Параллельные процессы в вычислительных системах. Планирование и организация.
by: Барский А. Б. Аркадий Бенционович
Published: (Москва, Радио и связь, 1990)
by: Барский А. Б. Аркадий Бенционович
Published: (Москва, Радио и связь, 1990)
Аппаратная поддержка защищённых вычислений и мультизадачность при асинхронной загрузке массивов
by: Буров А. С.
Published: (2004)
by: Буров А. С.
Published: (2004)
Интернет-технологии. Часть 2 Учебное пособие
by: Гостин А. М.
Published: (Рязань, РГРТУ, 2017)
by: Гостин А. М.
Published: (Рязань, РГРТУ, 2017)
Электрические машины: практикум
by: Зубова Р. А.
Published: (Красноярск, КрасГАУ, 2014)
by: Зубова Р. А.
Published: (Красноярск, КрасГАУ, 2014)
Виртуальные лаборатории полупроводниковых систем в среде Matlab-Simulink учебник для вузов
by: Герман-Галкин С. Г.
Published: (Санкт-Петербург, Лань, 2025)
by: Герман-Галкин С. Г.
Published: (Санкт-Петербург, Лань, 2025)
Проектирование конвейера автоматизированного извлечения нарративов из текстовых данных на примере открытых источников Telegram-каналов
by: Пройдаков М. К.
Published: (2024)
by: Пройдаков М. К.
Published: (2024)
Расчет основных характеристик ленточного конвейера для транспортирования штучных грузов учебно-методическое пособие
by: Бословяк П. В.
Published: (Москва, МГТУ им. Н.Э. Баумана, 2019)
by: Бословяк П. В.
Published: (Москва, МГТУ им. Н.Э. Баумана, 2019)
Шаблоны и практика глубокого обучения
by: Ферлитш Э.
Published: (Москва, ДМК Пресс, 2022)
by: Ферлитш Э.
Published: (Москва, ДМК Пресс, 2022)
Перспективы использования рекуррентных последовательностей в современной телекоммуникационной среде монография
by: Кукунин Д. С.
Published: (Санкт-Петербург, СПбГУТ им. М.А. Бонч-Бруевича, 2023)
by: Кукунин Д. С.
Published: (Санкт-Петербург, СПбГУТ им. М.А. Бонч-Бруевича, 2023)
Конвейер обработки данных научных публикаций для построения графа семантического сходства
by: Ушаков С. Н.
Published: (2024)
by: Ушаков С. Н.
Published: (2024)
Экспериментальные исследования сварного шва барабана ленточного конвейера. Горный информационно-аналитический бюллетень (научно-технический журнал) №1 специальный выпуск 2
by: Соловых Д. Я.
Published: (Москва, Горная книга, 2018)
by: Соловых Д. Я.
Published: (Москва, Горная книга, 2018)
Моделирование на ЭВМ напряженного состояния приводного барабана ленточного конвейера для оценки долговечности сварных швов: Горный информационно-аналитический бюллетень (научно-технический журнал)
by: Соловых Д. Я.
Published: (Москва, Горная книга, 2015)
by: Соловых Д. Я.
Published: (Москва, Горная книга, 2015)
Подъемно-транспортные машины и механизмы практикум
by: сост. М. А.
Published: (Кемерово, Кузбасский ГАУ, 2024)
by: сост. М. А.
Published: (Кемерово, Кузбасский ГАУ, 2024)
Система автоматической стабилизации тягового фактора ленточного конвейера в условиях неравномерной загрузки. Горный информационно-аналитический бюллетень (научно-технический журнал) № 12 (специальный выпуск 31)
by: Каунг П. А.
Published: (Москва, Горная книга, 2017)
by: Каунг П. А.
Published: (Москва, Горная книга, 2017)
Автоматизированный электропривод тракта шихтоподачи доменной печи
by: Краснов И. Ю. Иван Юрьевич
Published: (2012)
by: Краснов И. Ю. Иван Юрьевич
Published: (2012)
Формирование вектора напряжения на шинах автономной электростанции
by: Хижняков Ю. Н.
Published: (2009)
by: Хижняков Ю. Н.
Published: (2009)
Послеуборочная обработка зерна и семян в условиях регионов повышенного увлажнения монография
by: Смелик В. А.
Published: (Санкт-Петербург, СПбГАУ, 2023)
by: Смелик В. А.
Published: (Санкт-Петербург, СПбГАУ, 2023)
Подборщик просыпи: конструкция, назначение и перспективы применения в промышленности
by: Кривошеев Д. Ю.
Published: (2024)
by: Кривошеев Д. Ю.
Published: (2024)
Распределенный брокер сообщений Kafka для высокоскоростной передачи и агрегации данных
by: Радишевский В. Л.
Published: (2018)
by: Радишевский В. Л.
Published: (2018)
Kafka Troubleshooting in Production Stabilizing Kafka Clusters in the Cloud and On-premises /
by: Eldor, Elad
Published: (2023)
by: Eldor, Elad
Published: (2023)
Исследование прочностных и деформационных свойств резинотканевых лент учебно-методическое пособие
by: Бословяк П. В.
Published: (Москва, МГТУ им. Н.Э. Баумана, 2019)
by: Бословяк П. В.
Published: (Москва, МГТУ им. Н.Э. Баумана, 2019)
Similar Items
-
ETL конвейер для потоковой обработки текстовых данных под управлением распределенного брокера сообщений Apache Kafka
by: Кузьменко Д. Е.
Published: (2023) -
Kafka в действии
by: Скотт Д.
Published: (Москва, ДМК Пресс, 2022) -
Реализация ETL технологии в проекте создания хранилища данных средствами SQL Server Integration Services 2008
by: Толдыкина Е. В. Елизавета Викторовна
Published: (2009) -
Интерпретация данных системы контроля и управления доступом
by: Киселев К. И.
Published: (2024) -
Анализ данных учеб. пособие
by: Вольфсон М. Б.
Published: (Санкт-Петербург, СПбГУТ им. М.А. Бонч-Бруевича, 2015)