Оценка технологий Data Lake и Apache Spark для планирования и управления городской инфраструктурой

Авторы

  • Г. Бектемысова Международный университет информационных технологий, Казахстан
  • С. Қалназар Международный университет информационных технологий, Казахстан

DOI:

https://doi.org/10.51301/ce.2024.i1.05

Ключевые слова:

городская инфраструктура, Data Lake, Apache Spark, аналитика больших данных, масштабируемость, автоматиза-ция, качество данных, планирование умного города

Аннотация

Данное исследование анализирует использование технологий Data Lake и Apache Spark в управлении городской инфраструктурой. Рассмотрены их возможности для обработки структурированных, полуструктурированных и неструктурированных данных, подчеркивая их потенциал в оптимизации рабочих процессов обработки данных. Система была развернута в Yandex Cloud с использованием распределенных вычислений и горизонтальной масштабируемости для эффективного хранения данных, аналитики в реальном времени и отказоустойчивости. Реализованы процессы автоматизации и контроля качества данных для упрощения загрузки, преобразования и проверки данных. Результаты показывают значительное улучшение эффективности обработки данных, масштабируемости и оптимизации ресурсов, предлагая надежную платформу для планирования и оценки инфраструктуры умных городов.

Загрузки

Опубликован

2024-03-31

Как цитировать

Bektemisova, G. ., & Kalnazar, S. . (2024). Оценка технологий Data Lake и Apache Spark для планирования и управления городской инфраструктурой. Computing &Amp; Engineering, 2(1), 25–31. https://doi.org/10.51301/ce.2024.i1.05

Выпуск

Том 2 № 1 (2024): Computing & Engineering

Раздел

Автоматизация, роботизация и интеллектуальные системы

Лицензия

Copyright (c) 2024 Computing & Engineering

Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.

<div class="pkpfooter-son">
<a rel="license" href="http://creativecommons.org/licenses/by-nc/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-nc/4.0/80x15.png"></a><br>This work is licensed under a <a rel="license" href="http://creativecommons.org/licenses/by-nc/4.0/">Creative Commons Attribution-NonCommercial 4.0 International License</a>.
</div>