Сочинение на тему Интернет вещей и больших данных

Представьте себе мир, в котором все, что вы используете, может фиксировать ваши взаимодействия и передавать эту информацию на серверы в сети. Представьте себе, что тостеры, стиральные и сушильные машины, автомобили, холодильники, телефоны, цифровые часы, телевизоры, блендеры, кофеварки, игровые приставки, интеллектуальные счетчики и т. Д. Регистрировали ваше использование, действия и предпочтения и передавали эту информацию на свои домашние серверы. Это не неправдоподобная идея, поскольку уже есть несколько устройств (кабельных и спутниковых приставок, игровых приставок), которые уже ведут себя именно так. Но в нашем не слишком отдаленном будущем все наши устройства с питанием будут следовать этой модели. Интернет вещей (IoT) – это физические объекты, достигающие Интернета самостоятельно. Благодаря использованию таких технологий, как RFID, сенсорные сети, беспроводная связь ближнего радиуса действия и физические ЛВС становятся интеллектуальными устройствами, которые периодически совершают вызовы в свои центры обработки данных, чтобы сообщить о своем состоянии или передать последнюю партию локально захваченных данных. Эта модель постепенно изменит то, как мы видим и взаимодействуем с окружающими нас физическими вещами, и откроет огромные новые возможности для производителей, дистрибьюторов, поставщиков услуг, розничных продавцов и пользователей.

Например, нетрудно представить, что в будущем устройства планируют свои собственные вызовы службы, упреждают меры в реальном времени для устранения проблемы или ретранслируют входные данные пользователей и данные об использовании. В равной степени отрасль страхования имущества от несчастных случаев могла бы использовать информацию, собранную IoT автомобиля, для более точной оценки и оценки конкретной политики и предотвращения мошеннических претензий, просматривая данные, полученные от привычек вождения страхователей (Progressive Insurance представила устройство Snapshot, которое подключается в порт диагностики автомобиля и отслеживает вождение человека). Используя информацию, полученную из данных Интернета вещей, можно было помочь в разработке продукта, изучив шаблоны взаимодействия с пользователем, оптимизировав логистику управления поставками и анализируя скорость внедрения – как быстро устройство переходит от производителя к дистрибьютору, розничному продавцу и, наконец, подключается на домашний сервер из мест проживания конечных пользователей – и оказание медицинской помощи можно сделать более эффективным и действенным, если сделать обычные портативные устройства, такие как мобильные телефоны или цифровые часы, инструментами мониторинга состояния здоровья, которые могут передавать информацию о жизненно важных показателях носителя. Добро пожаловать в мир Интернета вещей.

Data Challenge Ожидается, что к 2020 году около 50-100 миллиардов вещей будут подключены к Интернету. Эти смарт-объекты будут использовать обычные устройства связи для подключения к Интернету и обмена сообщениями с массивами выделенных серверов, что может генерировать ошеломляющие данные в 35 ЗБ / год. Если вам интересно, емкость зетабайта (ZB) составляет от 10 до мощность 21 байт. Просто чтобы получить лучшую перспективу, по оценкам, по состоянию на 2009 год вся всемирная паутина содержала около 500 эксабайт данных, что составляет половину зетабайта. IoT будет производить много данных. Данные IoT ничем не будут отличаться от данных больших данных, которые являются неоднородными, разнородными, неструктурированными и шумными. Но более примечательным будет темп роста данных IoT. В настоящее время объем данных, генерируемых социальными сетями, транзакциями, публичными и корпоративными организациями, масштабируется быстрее, чем позволяют компьютерные ресурсы.

Добавьте к этому вызову объем данных, которые, как ожидается, будут сгенерированы IoT, и станет ясно, что традиционные решения для хранения и обработки данных вряд ли можно применять для получения, проверки и анализа этих объемов данных. Данные IoT будут гранулированными в природа и будет иметь информацию о местах, температурах, моделях и поведении. В мире IoT задача будет заключаться в том, чтобы найти способы быстро и в реальном времени анализировать и извлекать выгоду из этой информации. Неудивительно, что организации, способные принимать бизнес-решения с использованием этих данных, будут иметь стратегическое преимущество перед конкурентами. Но, как упоминалось ранее, для этого требуется надежная вычислительная инфраструктура, и это не будет дешевым. Данные IoT, как и данные больших данных, неструктурированы, и здесь кроется одна из наиболее важных проблем.

Для эффективного решения этой проблемы важно, чтобы производители, дистрибьюторы, поставщики услуг и розничные продавцы согласовали простой, общий и текстовый формат для построения и описания данных IoT, аналогичный языку разметки XML. Эти инвестиции в стандартизацию повлияют на весь конвейер обработки IoT / больших данных – сбор, извлечение и очистку данных, интеграцию, агрегирование и, наконец, анализ – поскольку некоторые существующие инструменты могут быть использованы для более быстрой и дешевой очистки и преобразования этих данных в лучший формат подходит для аналитических приложений.

Технологическая проблема из-за экспоненциального роста данных IoT, необходимость в вычислительной инфраструктуре, которая могла бы сбалансировать производительность, энергоэффективность и стоимость, становится важной. Для успешного масштабирования для моделей роста данных, предусмотренных IoT, ИТ-отделы должны подготовиться к гипермасштабным вычислительным средам с тысячами компьютерных кластеров, которые могут поддерживать масштабируемые и предсказуемые структуры, которые обрабатывают большие наборы данных. Эта новая вычислительная среда лучше всего достигается в облаке, где совместное использование очень больших дорогих кластеров стало экономичным. Еще одним преимуществом облачных вычислений является их модульная архитектура, в которой горизонтальное масштабирование может быть достигнуто быстро и легко. Главной проблемой при обработке данных IoT являются ограничения, присущие традиционным вычислительным ресурсам. Во многом из-за ограничений по питанию тактовые частоты процессора застопорились, и вместо этого процессоры строятся с большим количеством ядер. В результате разработчики приложений теперь должны заботиться о параллелизме внутри узла, а также между узлами. Поскольку эта архитектура сильно отличается – больше разделяемых кэшей процессора и памяти между ядрами – методы для алгоритмов обработки между узлами не работают для внутриузлового параллелизма. Как таковые разработчики приложений должны пересмотреть то, как они проектируют, создают и обрабатывают приложения для обработки данных.