Қалалық инфрақұрылымды жоспарлау және басқару үшін Data Lake және Apache Spark технологияларын бағалау

Авторы

  • Г. Бектемысова Халықаралық ақпараттық технологиялар университеті, Қазақстан
  • С. Қалназар Халықаралық ақпараттық технологиялар университеті, Қазақстан

##plugins.pubIds.doi.readerDisplayName##:

https://doi.org/10.51301/ce.2024.i1.05

Ключевые слова:

қалалық инфрақұрылым, Data Lake, Apache Spark, үлкен деректер аналитикасы, масштабталу, автоматтандыру, деректер сапасы, ақылды қаланы жоспарлау

Аннотация

Бұл зерттеуде Data Lake және Apache Spark технологияларын қалалық инфрақұрылымды басқару саласында пайдалану талданады. Құрылымдалған, жартылай құрылымдалған және құрылымдалмаған деректерді өңдеу мүмкіндіктері қарастырылып, олардың деректерді өңдеу жұмыс ағындарын оңтайландырудағы әлеуеті көрсетілген. Жүйе Yandex Cloud платформасында деректерді тиімді сақтау, нақты уақыттағы аналитика және ақауға төзімділік үшін бөлінген есептеулер мен көлденең масштабталуды қолдана отырып енгізілді. Деректерді жүктеу, түрлендіру және тексеру процестерін жеңілдету үшін автоматтандыру мен сапаны бақылау механизмдері енгізілді. Нәтижелер деректерді өңдеу тиімділігін, масштабталуын және ресурстарды оңтайландыруды айтарлықтай жақсартуды көрсетеді, бұл ақылды қалалардың инфрақұрылымын жоспарлау мен бағалауға арналған сенімді негіз ұсынады.

Загрузки

Опубликован

2024-03-31

Как цитировать

Bektemisova, G. ., & Kalnazar, S. . (2024). Қалалық инфрақұрылымды жоспарлау және басқару үшін Data Lake және Apache Spark технологияларын бағалау. Computing &Amp; Engineering, 2(1), 25–31. https://doi.org/10.51301/ce.2024.i1.05

Выпуск

Том 2 № 1 (2024): Computing & Engineering

Раздел

Автоматтандыру, роботтандыру және интеллектуалды жүйелер

Лицензия

Copyright (c) 2024 Engineering Journal of Satbayev University

Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.

<div class="pkpfooter-son">
<a rel="license" href="http://creativecommons.org/licenses/by-nc/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-nc/4.0/80x15.png"></a><br>This work is licensed under a <a rel="license" href="http://creativecommons.org/licenses/by-nc/4.0/">Creative Commons Attribution-NonCommercial 4.0 International License</a>.
</div>