Содержание

Термодинамика процесса информации

В качестве предмета теории информации здесь будет рассматриваться полная и конечная система событий, т. е. такая, в которой указаны вероятности осуществления всех возможных Z исходов, причем их реализация всегда ведет к осуществлению только одного из этих исходов.

Получение единственного исхода из Z альтернатив назовем решением информационной задачи, а само решение — информацией, в своей достоверности формально не гарантированной ничем, кроме того, что математическая вероятность этого решения (выбранного варианта) достигает единицы за счет любых операций, способных снижать неопределенность исхода данной системы событий, включая произвольный или интуитивный выбор варианта.

По определению [1], «Теория информации исходит из представления о том, что данные («сообщения»), предназначенные для сохранения в определенном запоминающем устройстве или для передачи по каналу связи, неизвестны заранее с полной определенностью. Заранее известно лишь множество, из которого могут быть выбраны эти сообщения, и, в лучшем случае, вероятности выбора того или иного из этих сообщений».

Таким образом, с самого начала теория информации связала свои идеи и даже терминологию с термодинамикой и статистикой. Основная функция теории информации — функция Шеннона [2]

(III.1)

определяется как «энтропия информации», т. е. как ее неопределенность и действительно имеет такие свойства. Мы покажем, что термодинамическая модель приводит к такой же функции для энтропии информации. Эта функция имеет максимум при равновероятном осуществлении всех исходов, когда и обращается в нуль при значении вероятности какого-либо исхода, например, равного единице, а остальных, равных нулю. Нужно уточнить, что безэнтропийность информации — это только математическая безэнтропийность, когда вероятность данного исхода достигает единицы или, что то же, все шансы на этот исход сосредоточиваются в одной ячейке. При этом различные микросостояния шансов внутри ячейки не вносят вклада в энтропию информации. Этим условно принимается неделимость информационной ячейкиСимвол log обозначает логарифм при любом основании, включая 2-ки. Введением условно неделимой ячейки теория информации сознательно отказывается от полной детализации события. Только при таком условии энтропия информации об объекте может быть доведена до нуля, что неосуществимо для термодинамической энтропии.

Считая за нулевое состояние информационной системы указанное выше безэнтропийное состояние и отсчитывая энтропию данного состояния от этого нуля, как это делает Шеннон, получим, что всякое состояние, отличное от нулевого, будет обладать избытком энтропии, равным энтропии Шеннона

(III.2)

Если все исходы равновероятны, т. е. система Z-кратно «вырождена», то энтропия информации такой системы будет

(III.3)

Можно считать, что наше незнание или отсутствие информации о состоянии Z — кратно вырожденной статистической системы состоит в том, что мы считаем все возможные исходы равновероятными и, следовательно, энтропию информации максимальной: Поскольку величина Z в уравнении (3) выражает число равновероятных способов определения исхода этой статистической системы, то она имеет тот же смысл, что и термодинамическая вероятность W в уравнении Больцмана — Планка (). Всякие дополнительные сведения или предположения о системе будут менять соотношения вероятностей этих Z исходов, уменьшая одни и увеличивая другие, и таким образом уменьшать энтропию информации этой системы. Если энтропия информации доведена до нуля, т. е. вероятность одного из исходов доведена до единицы, а остальных до, нуля, то это не означает, что мы имеем полное знание о состоянии системы: известно лишь, что в этой системе совершилось (или мы допустили, что совершилось) какое-то одно событие из Z возможных, но какое именно, это не определяется тем, что энтропия информации равна нулю. Таким образом, энтропия информации безразлична к самому содержанию информации. Эта инвариантность принятого исчисления информации относительно ее истинности уже достаточно разъяснена в литературе [4—6].

Таким образом, информация не есть установление какого-либо определенного факта, но лишь возможности его существования или возникновения. Следовательно, в общем случае информация говорит не о том, что есть, а о том, что возможно. Именно в этом ее огромное значение для живых организмов 1,.

В обобщенной статье [3] авторы проводят мысль, что информация не есть специальное свойство живой материи и что, следовательно, некоторые типы взаимодействий в небиологической области имеют специфический информационный характер, включая человека, так как всякое живое существо определяется не только наличностью фактов, но и их возможностью, не только тем, что есть, но и тем, что может быть. Таким образом, никакая информация, поскольку она всегда содержит в себе возможную недостоверность (вероятность), не может считаться полным эквивалентом факта, она всегда шире единичного факта, но зато и менее достоверна, что и выражается в энтропии информации Шеннона.

Полный текст этого документа (Глава 3) можно посмотреть в формате PDF (687Кб)