Загальне
В цьому розділі будуть зазначені терміни виконання кожного виду робіт
В цьому розділі будуть зазначені терміни виконання кожного виду робіт
Борисовська Юлія Олександрівна
epfk.borysovska@gmail.com
Zoom:
Идентификатор конференции: 522 952 8738
Код доступа: 1284725
Базовий підручник
Зінченко О.В., Іщеряков С.М., Прокопов С.В., Сєрих С.О., Василенко В.В. Хмарні технології. Навчальний посібник
Рекомендована література (основна та додаткова) та електроні ресурси
В цьому розділі представлено лекційний та презентаційни матеріал
Мета роботи: дослідити джерела відкритих даних за допомогою Open Government Partnership та вебсайтів, які надають відкриті дані, можливості збереження та візуалізації даних, використовуючи вебсайти www.knoema.com та www.gapminder.org, дослідити право власності на персональні дані, коли ці дані не зберігаються локально та обмеження електронних таблиць при завантаженні даних.
Мета роботи: продемонструвати свої знання про життєвий цикл аналізу даних, використовуючи заданий набір даних та вказані інструменти Python.
Мета роботи: продемонструвати практичні навички кореляційного аналізу даних, використовуючи заданий набір даних та вказані інструменти Python.
Мета роботи: ознайомитись з поняттями лінійної регресії та роботи з даними для прогнозування в Python, проаналізувати запропоновані дані про продажі та побудувати лінійну регресію для прогнозування річного чистого обсягу продажів
Мета роботи: ознайомитись з можливостями мови програмування R для аналізу та візуалізації даних, використати бібліотеку R dplyr для очищення та трансформації даних та бібліотеку ggplot2 для візуалізації даних.
Мета роботи: встановити Spark на локальній машині, виконати розподілені обчислення для набору даних з використанням Spark-кластера у середовищі R.
Архітектурні моделі інженерії Big Data. Центри обробки даних та хмарні обчислення. Технології віртуалізації. Шари абстракції. Гіпервізори. Контейнерна технологія виконання програмного коду на сервері. Інжиніринг даних.
Масштабованість за допомогою великих даних. Зберігання та оброблення даних в розподілених файлових системах. Розподілені бази даних. Розподілена файлова система Hadoop (HDFS).
Проблема прийому даних. Розподілена потокова платформа Kafka. Переваги Cassandra.
Проблема обчислювальної функції. Технологія Spark. Порівняння Spark та MapReduce. Spark і sparklyr для роботи з великими даними в R.
Lambda - архітектура. Переваги і недоліки Lambda -архітектури. Kappa - архітектура. Переваги і недоліки Kappa-архітектури.