Сочинение на тему Обработка в реальном времени и потоковая обработка больших данных

Например, как обрабатывать высокоскоростные динамические запросы в системах хранения данных в режиме реального времени таким образом, чтобы пользователь мог получить свои результаты всего за несколько секунд, а не за несколько часов. Для обработки в реальном времени основное внимание уделяется предоставлению решений, которые могут обрабатывать большие объемы данных высокоскоростным и интуитивно понятным способом. Обработка потока обрабатывает проблемы с входящими данными, которые не сохраняются полностью. Оператор соединения, который используется для объединения потока с основными данными. Одна из проблем здесь заключается в том, почему такие объединения на основе потоков следует считать важными, поскольку традиционные объединения уже существуют и хорошо поняты. С другой стороны, в шаблоне потока кортежи поступают непрерывно и должны обрабатываться идентичным образом. Другими словами, поскольку вы не можете сохранить весь поток в памяти, вы также не можете использовать функцию индексации для извлечения кортежей. Поэтому обычный оператор соединения постоянно обрабатывает данные. Обычно такие объединения являются полностью функциональными операторами состояния. В качестве альтернативы необходимо извлечь все кортежи предыдущих сегментов и, в конечном итоге, переполнить оставшуюся память.

При соединении на диске каждый кортеж потока s S должен быть соединен с основным кортежем дискового отношения r R. Обычно отношение R хранится на диске. Наиболее важная вещь против такого рода объединений – это доступ к дисковой базе данных, основанной на стоимости ввода-вывода, которая считается основным фактором при объединении этих отношений. Это происходит из-за разницы между скоростью поступления потока и дисковым отношением R. Поэтому необходимо амортизировать стоимость затрат на восходящий ввод-вывод в сравнении с высокоскоростным потоком. Целью данного тезиса является анализ этих типов операторов соединения на основе потоков. В этом тезисе различные алгоритмы объединения обрабатываются как один вход в виде потока, а другой ввод – из основных данных на диске. Совместно обрабатывать такую ​​конфигурацию, где оба входа имеют разные скорости, сложнее, чем обрабатывать все входы с одинаковыми скоростями поступления. В следующем разделе обсуждаются некоторые известные алгоритмы объединения, а также их ограничения.