Сочинение на тему Hadoop – решение для обработки больших данных

Решением этих проблем с большими данными были архитектура HDFS Hadoop и MapReduce Hadoop.

<Р> а. Структура HDFS

HDFS имеет архитектуру master и slave, в которой master называется узлом имени, а slaves – узлами данных. Кластер HDFS состоит из одного узла имен, который управляет пространством имен файловой системы (или метаданными) и контролирует доступ к файлам клиентских приложений, и несколькими узлами данных (в сотнях или тысячах), где каждый узел данных управляет хранилищем файлов и устройством хранения. прикреплен к нему. При хранении файла HDFS внутренне разбивает его на один или несколько блоков. Эти блоки хранятся в наборе ведомых, называемых узлами данных, чтобы гарантировать, что параллельные записи или чтения могут быть выполнены даже для одного файла. Несколько копий каждого блока сохраняются для каждого коэффициента репликации для обеспечения отказоустойчивости платформы. Узел имени также отвечает за управление операциями пространства имен файловой системы, включая открытие, закрытие и переименование файлов и каталогов. Узел имени записывает любые изменения в пространстве имен файловой системы или его свойствах.

Узел имени содержит информацию, относящуюся к коэффициенту репликации файла, а также карту блоков каждого отдельного файла для узлов данных, где эти блоки существуют. Узлы данных отвечают за обслуживание запросов на чтение и запись от клиентов HDFS и выполняют такие операции, как создание, удаление и репликация блоков, когда узел имен сообщает им об этом. Узлы данных хранят и извлекают блоки, когда им сообщают (клиентские приложения или узел имени), и они периодически отчитываются перед узлом имени со списками блоков, которые они хранят, чтобы поддерживать узел имени в актуальном состоянии. текущий статус. Клиентское приложение обращается к узлу имени, чтобы получить информацию метаданных о файловой системе. Он напрямую соединяет узлы данных, чтобы они могли передавать данные между клиентом и узлами данных. Узел имени и узел данных – это части программного обеспечения, называемые демонами в мире Hadoop.

Вторичный узел имени – это еще один демон. В отличие от своего имени, вторичный узел имени не является резервным узлом имени, поэтому он не предназначен для резервного копирования в случае сбоя узла имени.