Доклад конференции
Методология и алгоритм повышения надежности пакетной репликации данных в распределенных аналитических системах
В. В. Фомин,
Д. С. Решетников
2026
Рассматривается проблема обеспечения целостности данных при пакетной передаче между разнородными компонентами распределенных аналитических систем. Предложена методика, основанная на прогностической модели оценки отказов и применении криптографически контролируемых контрольных точек. Разработанный алгоритм гарантирует семантику выполнения «точно один раз» при нестабильной работе сервисов метаданных. Экспериментальная проверка подтвердила отсутствие потерь и дублирования данных, сокращение времени выполнения на 30-36% и снижение нагрузки на вычислительные ресурсы на 20-25%.
Цитирование
Список литературы
1. Юдин И. А., Решетников Д. С. Создание ETL-движка для репликации данных из Apache Hive в Clickhouse // Санкт-Петербург, 17 октября 2024 года. - СанктПетербург: Санкт-Петербургский государственный университет аэрокосмического приборостроения, С. 371-372.
2. Soma V. Data Pipeline Orchestration in Google Cloud Using Apache Airflow // Journal of Artificial Intelligence, Machine Learning and Data Science. - 2024. - Vol. 1, No. 3. - P. 1064-1068.
3. КоробкинД.М.,ФоменковС.А.,КозинаС.А.,ГолованчиковА.Б.Анализпатентного массива с использованием связки ClickHouse и HDFS // Математические методы в технологиях и технике. - 2023. - No 3. - С. 94-99.
4. Kolesnikova V., Korobkin D., Fomenkov S. [et al.]. The Analysis of Technology Development Trends Based on the Network Semantic Structure “Subject-Action-Object” // Studies in Systems, Decision and Control. - 2022. - Vol. 417. - P. 43-53.
5. Потапов В. П., Попов С. Е., Костылев М. А. Информационно-вычислительная система массивно-параллельной обработки радарных данных в среде Apache Spark // Вычислительные технологии. - 2018. - Т. 23, No 4. - С. 110-123.
6. Chunduri R. K., Cherukuri A. K. Scalable algorithm for generation of attribute implication base using FP-growth and spark // Soft Computing - A Fusion of Foundations, Methodologies and Applications. - 2021. - Vol. 25, No. 14. - P. 92198-9240.