Сочинение на тему Отчет об энтропии Шеннона

Идея энтропии была представлена ​​Клодом Э. Шенноном в его статье 1948 года «Математическая теория коммуникации». Википедия характеризует энтропию как «меру уязвимости, связанной со случайной величиной. В этом уникальном случае термин обычно ссылается на энтропию Шеннона, которая оценивает нормальное значение данных, содержащихся в сообщении, обычно в единицах, например, битах и ​​«сообщении», подразумевает конкретную реализацию случайной величины. Эквивалентно, энтропия Шеннона является мерой нормального информационного содержания, которое отсутствует, если не известно значение случайной величины. »

Исторически сложилось множество рассуждений об энтропии. Этимология слова энтропия восходит к Клаузию, в 1865 году, который назвал этот термин от греческих войск, что означает изменение, и префикс en-to напоминает о неразрывной (в его работе) связи с возможностью жизненности Джейнсом [ 43]. Статистическая идея энтропии была представлена ​​Шенноном в гипотезе соответствия и передачи данных [50]. Формально она похожа на энтропию Больцмана, связанную со статистическим изображением бесконечно малых структур многих тел и тем, как она представляет их ясно видимые прямые. Разработка связей между статистической энтропией, статистической механикой и термодинамической энтропией была начата Джейнсом [43]. В изначально полностью альтернативной перспективе идея скорости энтропии была создана в гипотезе динамических структур и репрезентативном анализе сборов. Проблема давления иногда устанавливается в гипотезе данных и энтропии Шеннона, а в разных случаях – в алгоритмической гибкости. В результате такого приличного разнообразия рабочих мест и идей мы можем спросить, имеет ли значение использование термина энтропия. Действительно ли что-то связывает это приличное разнообразие, или использование подобного термина в таком огромном количестве значений в основном обманчиво? Краткий исторический отчет о разнообразных идеях энтропии был дан Джейнсом тридцатью годами ранее [43]. Здесь я предлагаю более подробный обзор связей между отличительными факторами энтропии, но не в исторической перспективе, а в том виде, в котором они представлены сегодня, с указанием промежутков между вероятностью, гипотезой данных, гипотезой динамических структур и статистической наукой о материалах. Я буду развивать свою аргументацию в свете математических результатов, идентифицированных с энтропией Шеннона, операционной структурой и изменением спроса. Они предлагают сильное и качественное и количественное руководство для правильного использования и интерпретации этих идей. В частности, они дают обоснование, а также несколько условий для самого экстремального стандарта энтропии.

В этом исследовании создается метод количественной оценки эксплуатационной гибкости. Объем тома, который нужно создать для каждой смеси элементов, что является идеей эксплуатационной гибкости, можно рассчитать, используя информацию о рабочих затратах и ​​всю техническую информацию о производственной структуре и создаваемом элементе.

Рудольф Клаузиус, немецкий физик, сформулировал второй закон термодинамики в 1865 году, заявив, что тепло течет самопроизвольно из горячих тел в холодные, а не наоборот. Он предположил, что материя должна иметь ранее непризнанное свойство, которое он назвал энтропией. Далее он показал, что суммарная энтропия всегда увеличивается при любых изменениях в любом естественном процессе. Это наблюдение привело его к формулировке второго закона, поскольку энтропия вселенной стремится к максимуму. Опытным путем Клаузиус определил энтропию S в дифференциальной системе отсчета:

где dS – изменение энтропии в замкнутой системе из-за физического процесса, в котором количество тепла, dQ, течет от более высокой к более низкой температуре (dT). Это определение, однако, не дает большого понимания относительно того, как концепция может использоваться конкретно.

С точки зрения статистической механики энтропия рассматривается как вероятность того, что определенные события могут произойти в рамках всех возможных событий. Наблюдая за поведением большого числа частиц, статистическая механика сумела дать уравнения для расчета энтропии, а также обосновать уравнение энтропии со степенью беспорядка.

Шеннон [50] рассматривал информацию как компонент априорной вероятности того или иного состояния или результата среди вселенной физически возможных состояний. Он считал энтропию эквивалентом неопределенности. В соответствии с этим, информационная теория параллельна второму закону термодинамики, выраженному Класиусом, утверждающим, что неопределенность на планете всегда имеет тенденцию к увеличению. Действительно, по мере того, как наше восприятие мира становится все более сложным, число явлений, в которых мы не уверены, увеличивается, а неопределенность в отношении каждого явления также увеличивается. Чтобы уменьшить эту неопределенность, каждый собирает все большее количество информации, описанной Капуром, [45]