Модуль 1: Введение в руководство

Модуль 1: Введение в руководство

Введение

Добро пожаловать в Yahoo! руководство по Hadoop. Эта серия статей продемонстрирует вам многие аспекты системы Apache Hadoop. Вы узнаете, как настроить простую и расширенную конфигурации кластера, использовать распределённую файловую систему и разрабатывать комплексные Hadoop MapReduce приложения. Также будут рассмотрены другие подобные системы .

Цели этого Модуля:

Понять масштаб проблем, касающихся Hadoop

Понять, как Hadoop решает эти вопросы в отличие от других распределенных систем.

Предметная область

Hadoop является крупномасштабной распространяемой инфраструктурой пакетной обработки. Хотя он может быть использован и на одной машине, истинная сила заключается в его способности масштабироваться до сотен или тысяч компьютеров, каждый из которых — с многопроцессорным ядром. Hadoop разработан также для того, чтобы эффективно распределять большие объемы работы между несколькими машинами.

Насколько велик объем работ?
Охват деятельности куда больше, чем приходилось видеть большинству современных систем. Сотни гигабайт данных составляют нижний рубеж масштабов Hadoop. На самом деле Hadoop был разработан для обработки и упорядочивания данных размером от сотен гигабайт до терабайт или петабайт. В этом масштабе будет вполне вероятным, что входные данные не поместятся на одном жестком диске, а тем более — в памяти. Так что Hadoop включает в себя распределенную файловую систему, которая разбивает входные данные и отправляет на хранение части оригинальных данных нескольким машинам вашего кластера. Это приводит к тому, что данные обрабатываются параллельно всеми машинами в кластере, а вывод результатов вычисляется с максимальной эффективностью.

Проблемы работы в большом масштабе.

Трудно выполнять крупномасштабные вычисления. Для работы с таким объемом информации требуется распределение частей задачи на несколько машин для параллельной обработки. Но всякий раз, как только несколько машин работают вместе, вероятность неудачи повышается. В окружении, состоящем из одной машины, разработчики не особенно часто беспокоятся об ошибках: если машина сломалась, все равно нет никакой возможности восстановить программу.