Курс: Введення до теорії хмарних обчислень(Вибіркова дисципліна)

Структура за темами

Загальне
- Новини Форум
  В цьому розділі будуть зазначені терміни виконання кожного виду робіт:
  
  06.09.2024 Практична №1. Дослідження джерел відкритих даних. завантаження датасету та збереження даних в форматі csv
  11.09.2024 Практична №2. Аналіз та візуалізація даних у Python
  13.09.2024 - Лекція 1.
  18.09.2024, 25.09.2024 Практична №3. Кореляційний аналіз у Python
  27.09.2024 - Лекція 2, лекція 3
  02.09.2024 - Тест Модульний контроль №1
  
  09.10.2024 - Практична №4. Побудова лінійної регресії в Python
  11.10.2024 - Лекція 4
  16.10.2024 - Практична №5. Аналіз та візуалізація даних в R
  23.10.2024 - Практична №6. Розподілені обчислення даних з використанням Spark-кластера та мови R
  25.10.2024 - Лекція 5
  30.10.2024 - Тест Модульний контроль №2
  06.11.2024 - Лекція 6
  08.11.2024 - Залік
Інформація про викладача
Борисовська Юлія Олександрівна
epfk.borysovska@gmail.com
Zoom:
Идентификатор конференции: 522 952 8738
Код доступа: 1284725
- Хмарні технології Зінченко О.В. Файл
  Базовий підручник
  Зінченко О.В., Іщеряков С.М., Прокопов С.В., Сєрих С.О., Василенко В.В. Хмарні технології. Навчальний посібник
- Рекомендована література Файл
  Рекомендована література (основна та додаткова) та електроні ресурси
- Лекції Тека
  В цьому розділі представлено лекційний та презентаційни матеріал
- Титульна сторінка Файл
НЕФОРМАЛЬНА /ІНФОРМАЛЬНА ОСВІТА
- Аналіз даних та статистичне виведення на мові R URL (веб-посилання)
  ПРО ЦЕЙ КУРС
  Будь-яке вивчення науки про дані починається з розуміння чим є насправді дані. Математична статистика та найбільш сучасна і популярна мова програмування R - це базовий інструментарій, яким повинен володіти будь-хто в галузі науки про дані. Даний курс присвячений основам отримання результатів, які ґрунтуються на статистичному виведенні. В якості практичної складової використовується мова R.
  Це є базовий курс для майбутніх аналітиків. Завдяки отриманим знанням вони зможуть проводити первинний статистичний аналіз даних, висувати гіпотези та оцінювати їх на основі зібраних даних. Також мовою програмування обрана мова R, яка є найбільш вживаною мовою для статистиків на сьогодні.
Модуль 1. Введення до теорії хмарних обчислень
!! 02.09.2024 - 06.10.2024
- Практична №1. Дослідження джерел відкритих даних. завантаження датасету та збереження даних в форматі csv (06.09.2024) Завдання
  Мета роботи: дослідити джерела відкритих даних за допомогою Open Government Partnership та вебсайтів, які надають відкриті дані, можливості збереження та візуалізації даних, використовуючи вебсайти www.knoema.com та www.gapminder.org, дослідити право власності на персональні дані, коли ці дані не зберігаються локально та обмеження електронних таблиць при завантаженні даних.
- Практична №2. Аналіз та візуалізація даних у Python (11.09.2024) Завдання
  Мета роботи: продемонструвати свої знання про життєвий цикл аналізу даних, використовуючи заданий набір даних та вказані інструменти Python.
- Практична №3. Кореляційний аналіз у Python (18.09.2024, 25.09.2024) Завдання
  Мета роботи: продемонструвати практичні навички кореляційного аналізу даних, використовуючи заданий набір даних та вказані інструменти Python.
- Модульний контроль 1 (02.10.2024) Тест
Модуль 2. Технології і типи хмарних обчислень
- Практична №4. Побудова лінійної регресії в Python (09.10.2024) Завдання
  Мета роботи: ознайомитись з поняттями лінійної регресії та роботи з даними для прогнозування в Python, проаналізувати запропоновані дані про продажі та побудувати лінійну регресію для прогнозування річного чистого обсягу продажів
- Практична №5. Аналіз та візуалізація даних в R (16.10.2024) Завдання
  Мета роботи: ознайомитись з можливостями мови програмування R для аналізу та візуалізації даних, використати бібліотеку R dplyr для очищення та трансформації даних та бібліотеку ggplot2 для візуалізації даних.
- Практична №6. Розподілені обчислення даних з використанням Spark-кластера та мови R (23.10.2024) Завдання
  Мета роботи: встановити Spark на локальній машині, виконати розподілені обчислення для набору даних з використанням Spark-кластера у середовищі R.
- Модульний контроль 2 (30.10.2024) Тест
Індивідуальне завдання
- Індивідуальне завдання з дисципліни Файл
  !! Здати завдання потрібно до 30.10.2024
- Індивідуальне завдання
Самостійна робота
- Тема 1. Архітектурні моделі Big Data. Технології віртуалізації. Гіпервізори. Контейнерна технологія виконання програмного коду на сервері. SaaS, PaaS і IaaS. Файл
  Архітектурні моделі інженерії Big Data. Центри обробки даних та хмарні обчислення. Технології віртуалізації. Шари абстракції. Гіпервізори. Контейнерна технологія виконання програмного коду на сервері. Інжиніринг даних.
- Тема 2. Технології Hadoop Big Data. Розподілена обробка MapReduce. HDFS. Файл
  Масштабованість за допомогою великих даних. Зберігання та оброблення даних в розподілених файлових системах. Розподілені бази даних. Розподілена файлова система Hadoop (HDFS).
- Тема 3. Розподілена потокова платформа Kafka. Переваги Cassandra. Файл
  Проблема прийому даних. Розподілена потокова платформа Kafka. Переваги Cassandra.
- Тема 4. Платформа Apache Spark. Файл
  Проблема обчислювальної функції. Технологія Spark. Порівняння Spark та MapReduce. Spark і sparklyr для роботи з великими даними в R.
- Тема 5. Lambda та Kappa архітектури оброблення великих даних. Файл
  Lambda - архітектура. Переваги і недоліки Lambda -архітектури. Kappa - архітектура. Переваги і недоліки Kappa-архітектури.
Залік
- Заліковий тест