Hadoop — це платформа з відкритим кодом на основі Java, яка керує зберіганням і обробкою великих обсягів даних для програм. Hadoop використовує розподілене сховище та паралельну обробку для обробки великих даних і аналітичних завдань, розбиваючи робочі навантаження на менші робочі навантаження, які можна виконувати одночасно.
Аналітика великих даних описує процес виявлення тенденцій, закономірностей і кореляцій у великих обсягах необроблених даних, щоб допомогти приймати обґрунтовані рішення. Ці процеси використовують знайомі методи статистичного аналізу, наприклад кластеризація та регресія—і застосовувати їх до більших наборів даних за допомогою новіших інструментів.
Для обробки великих даних, Hadoop покладається на алгоритм MapReduce представлений Google у 2004 році. MapReduce є основним компонентом екосистеми Hadoop, який допомагає в обробці, тобто забезпечує логіку обробки.
Вулик це інструмент ETL і сховищ даних, який використовується для запитів або аналізу великих наборів даних, що зберігаються в екосистемі Hadoop. Hive має три основні функції: узагальнення даних, запит і аналіз неструктурованих і напівструктурованих даних у Hadoop.
Створіть кластер Hadoop і запустіть сценарій Hive для обробки даних журналу
- Запустіть повнофункціональний кластер Hadoop за допомогою Amazon EMR.
- Визначте схему та створіть таблицю для зразків даних журналу, які зберігаються в Amazon S3.
- Проаналізуйте дані за допомогою сценарію HiveQL і запишіть результати в Amazon S3.