Сочинение на тему Все различные проблемы и проблемы, с которыми мы сталкиваемся при разработке больших данных
- Опубликовано: 24.07.2020
- Предмет: жизнь, Информационная наука
- Темы: герой, проблемы, Сбор данных
Данные – это неорганизованная информация в необработанном виде. В настоящее время мы находимся в эпоху больших данных, которые представляют собой большие наборы данных, которые могут характеризоваться большим объемом, сложностью, разнообразием, скоростью, разрешением, гибкостью и т. Д. Эти данные не могут обрабатываться с помощью традиционных программных систем, но с современными средами, которые способны обрабатывать огромный объем, сложность и найти, какие данные полезны.
В этом документе рассматриваются все различные проблемы и проблемы, с которыми мы сталкиваемся при добыче больших данных. Мы также представляем различное количество технологий и инструментов, которые можно использовать для преодоления таких проблем.
Мы живем в эпоху, когда все вокруг находится в цифровой форме. Данные везде и в огромных количествах. Большие данные – это не что иное, как их большие наборы, некоторые из которых полезны и известны как информация, а остальные – пустая трата времени. Именно эта информация нам нужна, чтобы помочь в анализе текущих тенденций, которые помогут отраслям принимать стратегические решения на ее основе. Некоторые даже говорят, что Большие Данные – это текущее топливо для будущей экономической инфраструктуры.
Большие данные в простой перспективе – это связь, которая связывает физический мир, человеческое общество и киберпространство. Данные могут быть найдены в различных формах, таких как структурированные, полуструктурированные и неструктурированные форматы. Нам нужны новые усовершенствованные формы инструментов и технологий, которые могут справляться со сложностью и способны обрабатывать большие объемы данных с высокой скоростью.
В будущей экономике производительность труда не будет в значительной степени решающим фактором при принятии решения о том, как экономика будет формировать себя, а вместо этого – эффективностью технологий, которые смогут обрабатывать большие данные, и тем фактом, что это неисчерпаемый ресурс. будет играть большую роль в определении направления развития экономики
<Р> Обзор
Большие наборы данных, которые полезны для изучения тенденций, моделей и ассоциаций, называются большими данными. Количество данных не так важно, как их качество, потому что наличие множества данных об отходах не помогает при принятии экономических решений. Основной целью сбора и анализа данных является получение ценной информации
Аналитики предоставили «Три V» для описания больших данных:
Объем. Корпоративные организации собирают данные из любого источника, будь то устройства, социальные сети или транзакции, а данные собираются в огромных количествах из-за бесчисленных источников, из которых можно добывать или извлекать данные.
Скорость – данные собираются со всех уголков мира за одну триллионную секунды, причем также в огромном количестве, потому что миллиарды людей обращаются к устройствам по всему миру, которые постоянно следят за действиями, которые также называют извлечением данных. .
Разнообразие. Собранные данные не имеют фиксированного формата или структуры, их можно найти в любом известном нам цифровом формате, например, аудио, документ, видео, финансовые транзакции, электронные письма и т. д.
В этой статье мы пытаемся сосредоточиться на проблемах и проблемах, возникающих при обработке такого сложного набора информации, и таких решений, как усовершенствованная среда для инструментов и технологий, позволяющая обрабатывать ее с высокой скоростью и обрабатывать ее в огромных количествах. Теперь мы сосредоточимся на различных проблемах, с которыми мы сталкиваемся при работе с большими данными.
Как мы все знаем, всякий раз, когда нам предоставляются возможности, мы всегда сталкиваемся с какими-то проблемами или препятствиями, когда пытаемся максимально использовать предоставленную нам возможность. Так обстоит дело с большими данными, так как они являются настолько мощным ресурсом, они сталкиваются со своим специфическим набором проблем. Существует много проблем, таких как вычислительные сложности, безопасность полученных данных, математические и статистические методы, необходимые для обработки таких больших наборов данных. Мы будем знать, обсудить различные проблемы и возможные решения для них по одному.
- С помощью этих подходов фирмы могут решить проблему объема больших данных, либо уменьшив их размер, либо инвестируя в хорошую инфраструктуру, которая зависит от требований фирмы к стоимости и бюджету.
- Объединение нескольких наборов данных – мы не всегда получаем данные в правильно отсортированном виде, мы получаем их в необработанном виде со всех веб-страниц, из социальных сетей, электронной почты, потоковой передачи и т. д. Сложность данных возрастает с увеличением различных типы данных и форматы.
- Инструменты OLAP (инструменты аналитической обработки в режиме онлайн). OLAP – один из лучших инструментов для работы с различными типами данных. Он собирает данные логическим способом для удобного доступа к ним. Он устанавливает связь между информацией. Но он обрабатывает все данные, независимо от того, полезны они или нет, это один из недостатков инструментов OLAP
- Apache HADOOP – это программное обеспечение с открытым исходным кодом, основная задача которого – обрабатывать огромные объемы данных, разделяя их на разные сегменты и распределяя по разным системным инфраструктурам для их обработки. HADOOP создает карту содержимого, чтобы к ней можно было легко получить доступ.
- SAP HANA – HANA – это еще один замечательный инструмент, который можно развернуть как локальное приложение или даже использовать в облачных системах. Его можно использовать для выполнения аналитики в реальном времени, а также для разработки и реализации приложений в реальном времени.
- Хотя эти подходы сами по себе являются революционными, но ни один из них не настолько хорош, чтобы в одиночку решить проблему сорта. HANA – единственный инструмент, который позволяет пользователям обрабатывать данные в режиме реального времени. Между тем, HADOOP отлично подходит для масштабируемости и экономичности. Объединив их вместе, ученые смогут создать самое мощное решение для больших данных.
Возможные решения:
- Объем. Прежде всего, самое большое и основное препятствие, с которым мы сталкиваемся при работе с большими наборами данных, это всегда количество или объем. В наш век технологических достижений объем данных стремительно растет. Каждый год он будет расти в геометрической прогрессии. Многие аналитики предсказывают, что к 2020 году объем данных превысит зетабайты. Социальные сети являются одним из таких источников, где они собирают данные с таких устройств, как мобильные телефоны.
- HADOOP. В настоящее время существуют различные инструменты, такие как «HADOOP», который является отличным инструментом для обработки больших объемов данных. Но это новая технология, и не многие профессионалы не знают об этом, она не так популярна. Но недостатком этого факта является то, что для изучения требуется много ресурсов, что в конечном итоге может отвлечь внимание от основной проблемы.
- Надежное оборудование. Другой способ заключается в улучшении оборудования, которое обрабатывает данные, например, путем увеличения емкости параллельной обработки или увеличения объема памяти для обработки такого большого объема, одним из примеров является Grid Computing, которая представлена большим количеством серверов, которые связаны между собой с помощью высокоскоростной сети.
- Spark – в этой платформе используется метод вычислений с использованием дополнительной памяти, что позволяет получить огромный выигрыш в производительности для разнообразных данных и большого объема.
Возможные решения:
- Velocity Challenge. Обработка данных в режиме реального времени является серьезным препятствием для больших данных. Более того, данные поступают с огромной скоростью, что заставляет нас задуматься о том, как мы реагируем на поток данных и как им управлять.
Возможные решения:
- Качество и полезность. Важно, чтобы при сборе данных они были в контексте или имели какое-то отношение к проблеме, в противном случае мы не сможем принимать правильные решения на основе данных. Таким образом, определение качества или полезности данных имеет первостепенное значение. Неверная информация может быть передана, если нет контроля качества данных.
- Визуализация данных – когда речь идет о качестве данных. Визуализация является эффективным способом поддержания чистоты данных, потому что визуально мы можем знать, где находятся нежелательные данные. Мы можем нанести точки данных на график, что может быть сложно при работе с большими объемами данных. Другой способ – сгруппировать данные, чтобы вы могли визуально различать данные.
- Специальные алгоритмы – качество данных не было новой проблемой, оно было с тех пор, как мы начали работать с данными. Также тот факт, что хранение «грязных» данных или не относящихся к делу данных является дорогостоящим для фирм. Поэтому требуются специальные алгоритмы, созданные специально для управления, обслуживания и поддержания чистоты данных.
- Несмотря на то, что когда мы имеем дело с проблемами больших данных, огромные объемы, разнообразие и безопасность всегда имеют первостепенное значение. Качество данных одинаково важно, потому что они тратят время, деньги и пространство на хранение несущественных данных.
- Конфиденциальность и безопасность. В этом стремлении найти тренды путем извлечения данных из всех возможных источников конфиденциальность пользователей, от которых они собираются, оставлена без внимания. При извлечении информации необходимо соблюдать особую осторожность, чтобы люди не пошли на компромисс со своей конфиденциальностью
Возможные решения –
Возможные решения:
- Изучите облачных провайдеров – облачное хранилище действительно полезно при хранении огромных объемов данных, нам просто нужно убедиться, что облачный провайдер обеспечивает хорошие механизмы защиты и включает штрафы при нарушении адекватной безопасности.
- Политика контроля доступа – это базовая точка хранения данных в любом месте. Всегда необходимо иметь надлежащие политики контроля, чтобы обеспечить доступ только авторизованным пользователям, чтобы обеспечить неправомерное использование личных данных.
- Защита данных – все этапы данных должны быть защищены от необработанных, очищенных данных до заключительного этапа анализа. Должно быть шифрование, чтобы защитить конфиденциальные данные от утечки. В настоящее время многие компании используют шифрование, например шифрование на основе атрибутов, которое является типом шифрования с открытым ключом, в котором секретный ключ пользователя и текст зависят от атрибутов.
- Мониторинг в реальном времени. Наблюдение следует использовать для мониторинга того, кто пытается получить доступ к данным. Для предотвращения несанкционированного доступа должны использоваться проверки угроз.
- Использование управления ключами. Обеспечение однослойного шифрования не поможет, если хакер сможет получить доступ к ключам шифрования. В основном, администраторы хранят ключи на локальном диске, что очень рискованно и может быть взято хакерами. Надлежащие ресурсы управления ключами требуются, когда отдельные группы, приложения и пользователи имеют разные ключи шифрования, а не только один и тот же.
- Ведение журнала. Создание файлов журнала помогает отслеживать, кто когда получает доступ к данным, а также помогает обнаруживать атаки, сбои или любые необычные действия. Таким образом, с помощью файлов журналов организации могут проводить ежедневные проверки данных для проверки на наличие сбоев.
- Протоколы безопасной связи. Конфиденциальность является огромной проблемой повсюду. Личные данные могут быть использованы не по назначению. Таким образом, обеспечивая безопасную связь между модулями, интерфейсами, приложениями и процессами, такую как реализация SSL / TLS, защищает всю сетевую связь, а не только какую-то ее часть.
Есть два способа защитить конфиденциальность больших данных. Одним из них является ограничение доступа нежелательных пользователей путем разработки механизма безопасного контроля доступа. Другой способ – вводить случайные данные в конфиденциальные данные, чтобы информацию нельзя было проследить до ее первоначального пользователя.
Масштабируемость. Безграничная масштабируемость данных – трудная задача. Потому что, когда мы имеем дело с огромными объемами данных, очень важно иметь возможность масштабирования по требованию. При работе с проектами с большими данными мы часто тратим ресурсы на получение желаемого результата, а не выделяем достаточно ресурсов для анализа данных. Важно знать, где и сколько ресурсов должно быть выделено.
Возможные решения:
Облачные вычисления – это один из наиболее эффективных способов хранения огромных объемов данных, а также тот факт, что мы можем вызывать его столько раз, сколько захотим, и масштабирование данных может быть значительно проще в облаке по сравнению с -предоставлять решения.
Существует множество инструментов, таких как Adobe Marketing Cloud и Salesforce Marketing Cloud, которые обеспечивают естественное масштабирование.
Хотя существует множество алгоритмов, которые помогают с проблемами масштабируемости, но не все из них могут быть полностью эффективными. Большие данные требуют большей дальновидности при разработке масштабируемых сценариев, таких как столкновение с такими проблемами, как отсутствие параллелизма, дублирование данных и т. Д. По мере роста больших данных значение масштабируемости данных меняется с огромной скоростью, поэтому важно создавать алгоритмы, которые развиваются вместе с ним.
Инструмент и технологии больших данных
Было разработано много инструментов и технологий для решения различных проблем больших данных. Хотя многие из основных были указаны выше, но все же есть много других см …
Уличные дети используют различные стратегии преодоления трудностей, с которыми они сталкиваются на улице. Они полагаются на усилия комбинации действий для выживания. Они используют свои различные
В качестве первостепенной важности любой нации в условиях управления психологическим боевиком, который удерживает заключенных для выполнения своих запросов в ходе процедуры транзакции, полагается на шутки
Существование человека состоит из решений, которые он принимает ежедневно. От пробуждения утром в 5:30 вместо 7:00, от завтрака до чистки, от выбора надевать черные туфли