Модуль 4. Ядро Hadoop
Тема 4.1. Файловая система HDFS
- Принцип устройства файловых систем;
- Распределенная файловая система HDFS;
- Форматы хранения данных в HDFS;
- Работа в HDFS с помощью Java API;
- Работа в HDFS с помощью shell команд
Тема 4.2. Вычислительное ядро Hadoop
- Концепция вычислений MapReduce;
- Архитектура MapReduce ver1;
- Архитектура YARN;
- Особенные случаи использования MapReduce.
Тема 4.3. Запуск MapReduce задач для данных из сферы высшего образования
- Создание и запуск MapReduce задач на языке Java;
- Создание и запуск MapReduce задач на языке Python.