Сочинение на тему Новые технологии больших данных

Далее в этом документе рассматриваются две новые концепции в больших данных и обработка больших информационных хранилищ, таких как те, которые используются в предметной организации. Первый – NoSQL. NoSQL является нереляционной альтернативой базам данных SQL, где данные не хранятся в таблицах (Buckler). Типичным примером реализации этой концепции является JavaScript Object Notation (JSON), который хранится в виде простых пар ключ-значение в структуре вложенного массива. Пары ключ-значение могут быть легко и быстро сериализованы (превращены в двоичную строку) и десериализованы (считаны обратно в структуру вложенного массива). Это позволяет использовать JSON различными приложениями в сети, поскольку издержки преобразования довольно малы по сравнению с SQL, где реляционная структура должна поддерживаться каким-либо образом определенным объектом данных во время транспортировки (Buckler).

NoSQL разработан с учетом трех основных ограничений SQL. Первое ограничение заключается в том, что объем данных, управляемых одним движком SQL, ограничен (Паловска, стр. 46). Ограничение два связано с внутренним дизайном таблиц реляционных данных. Схемы базы данных SQL (таблицы) и типы данных фиксируются во время разработки базы данных. Изменения в схемах очень трудно осуществить после развертывания базы данных (Palovska, стр. 46). Третье ограничение касается того, как данные ищутся и извлекаются. Базы данных SQL предлагают ограниченный набор типов запросов из-за реляционного дизайна, например, «SELECT key FROM table» (Palovska, стр. 46). Напротив, полезную нагрузку JSON можно искать только по ключу. NoSQL широко используется в приложениях передачи представительного состояния (REST) ​​и приложениях, связанных с Интернетом вещей (IoT), где типы и структуры данных могут изменяться в широких и динамических условиях по мере прохождения данных через сетевые узлы. Как указывалось ранее автором, отличающиеся устаревшие форматы данных являются одним из наборов проблем, связанных с тем, как предметная организация обрабатывает данные. Это делает NoSQL привлекательной технологией для такой организации.

Заглядывая в будущее, NoSQL играет все более важную роль в технологиях больших данных, таких как распределенные файловые системы (DFS), где данные разбиваются на фрагменты, разделяются и реплицируются на несколько узлов сервера, чтобы повысить скорость и надежность поиска (Corbellini et ал, стр. 3). Еще одно соображение в будущем заключается в том, что транзакционные свойства Atomicity, Consistency, Isolation и Durability (ACID), в которых изменения данных выполняются как одна сквозная операция, теряют популярность из-за динамической природы данных и разнообразия приложений. Использование данных возросло (Паловкса, стр. 45). Примечательной проблемой для рассматриваемой организации является масштабируемость и скорость, особенно когда требования к обработке данных реагируют на динамичные проблемы национальной обороны. NoSQL может использоваться в различных ситуациях, когда требуется скорость, простота и гибкость. Одним из примеров является MongoDB, база данных NoSQL, основанная на модели документа (Kaur, Dhinsda, p. 54). Модель документа организует структуру базы данных в документы со встроенными вложенными документами. Эти вложенные документы могут состоять из других вложенных документов или фактических данных в парах ключ-значение. Следуя концепции NoSQL, MongoDB не использует и не требует таблиц (Kaur, Dhinsda, p. 54). Как показано в этой статье, NoSQL – это тенденция больших данных, которая может оказать положительное влияние на проблемы, связанные с обработкой разведывательных данных. Вторым трендом в этой статье является Hadoop.

По словам разработчиков Hadoop, «Hadoop – это программная среда с открытым исходным кодом для хранения данных и запуска приложений на кластерах стандартного оборудования» (SAS). Это DFS, созданная на основе технологии Google MapReduce. MapReduce – это файловая система, которая применяет принципы DFS, изложенные ранее. Сначала данные разделяются на маленькие биты и отображаются в пары ключ-значение. Затем они уменьшаются в меньшие наборы пар ключ-значение. Эти фрагменты данных распределяются между файловыми узлами, обеспечивая эффективную скорость поиска и избыточность. Hadoop предлагает некоторые важные желательные характеристики, начиная с быстрого хранения и обработки больших количеств любых типов (SAS). Как указано выше, это является ключевым фактором для технологий IoT. Hadoop также предлагает «отказоустойчивость» (SAS). Если узел выходит из строя, задания автоматически перенаправляются на другие узлы, чтобы убедиться, что операция распределенных вычислений не дает сбоя. Несколько копий всех данных сохраняются автоматически (SAS). Hadoop гибкий. Поскольку он не реализован с использованием реляционной базы данных, он может управлять NoSQL, нереляционными данными и неструктурированными данными (SAS). Еще одно преимущество реализации Hadoop – это открытый код (SAS). Фреймворк с открытым исходным кодом имеет то преимущество, что снижает стоимость владения и обслуживания, поскольку лицензионные сборы не взимаются. Наконец, Hadoop является масштабируемым (SAS). Пользователи могут легко добавлять узлы по мере роста потребностей (SAS). Эти характеристики: быстрое хранение, несколько типов данных, отказоустойчивость, низкая стоимость – все они поддерживают идею о том, что Hadoop играет определенную роль в архитектуре больших данных соответствующей организации. Каковы некоторые текущие и будущие последствия Hadoop и подобных систем?