Информация об информации. Энтропия Шеннона, демон Максвелла и предел Ландауэра

Друзья, с момента основания проекта прошло уже 20 лет и мы рады сообщать вам, что сайт, наконец, переехали на новую платформу.

Какое-то время продолжим трудится на общее благо по адресу https://n-n-n.ru.
На новой платформе мы уделили особое внимание удобству поиска материалов.
Особенно рекомендуем познакомиться с работой рубрикатора.

Спасибо, ждём вас на N-N-N.ru

*Автор: Дионис Диметор *. Что такое информация? Пожалуй, каждый ответит на этот вопрос по-своему. Для гуманитария информация – это любые сведения, которые можно запомнить и передать в устной или письменной форме. Для физика-теоретика информация – это набор квантовых чисел, характеризующих состояние элементарной частицы. Для программиста информация – это цифровые данные, которые можно представить в двоичном коде и измерить в битах. Единого определения информации в науке до сих пор нет, что способствует распространению сомнительных толкований термина.

«Информация – величина физическая» (Рольф Ландауэр)

«Вся информация, которая существует, хранится физическими системами, и все физические системы хранят информацию» (Сет Ллойд)

«…слово «информация» в теории коммуникации относится не столько к тому, что вы говорите, сколько к тому, что вы могли бы сказать…». «Человек, впервые сталкивающийся с понятием энтропии в теории коммуникаций, вправе ощутить волнение, он вправе заключить, что встретил нечто основополагающее, важное» (Уоррен Уивер)

Зачастую словом «информация» в силу его многозначности прикрывают всю массу недопонятых или ещё не до конца изученных явлений, или же используют его как лазейку для паранормального, когда нечто не получается описать физическими категориями. Например, эзотерики считают информацию некой метафизической субстанцией или связывают её с нематериальными «тонкими» мирами, философы-идеалисты отождествляют её с духом и сознанием, квантовые мистики используют словосочетание «информационное поле».

Утверждается, что информация нефизична, неизмерима и нелокальна, что она не подчиняется законам сохранения и может передаваться быстрее скорости света. Как же измерить неисчислимое и определить неосязаемое? Или может быть информация – совсем не то, что мы обычно подразумеваем под этим словом?

Что такое информация?

Этимологически слово «информация» происходит от латинского informare «придавать форму, воображать, представлять» и означает «разъяснение», «понятие о чём-либо». В международной системе стандартов ISO/IEC информация определена как «знания относительно фактов, событий, вещей, идей и понятий, которые в определённом контексте имеют конкретный смысл». «Хотя информация должна обрести некоторую форму представления, чтобы ею можно было обмениваться, информация есть в первую очередь интерпретация такого представления».

То есть физическая форма представления (presentation) – это одно, а содержание или смысл представления (representation) – это другое. Но почему тогда мы обозначаем одним и тем же словом разные вещи?

Форма представления – это просто последовательность знаков, а смысл – это закодированные знаками идеи, образы, математические объекты и т.д. Но смысл – вещь субъективная и не поддающаяся количественной оценке. Поэтому его традиционно изучает такая «гуманитарная» наука как семантика, а естественные науки рассматривают информацию как абстрактное математическое понятие, безотносительно к её семантическому аспекту.

В философии информации тоже не всё так однозначно. С одной стороны, информация определяется как «универсальное свойство материи», «мера организованности системы», «одно из свойств предметов, явлений, процессов объективной действительности», «отрицание энтропии» (Бриллюэн), «мера сложности структур» (Моль), «снятая неразличимость, передача разнообразия, мера изменения во времени и пространстве структурного разнообразия систем» (Эшби). С другой стороны, информация субъективна, т.е. существует только в нашем сознании – это «сведения, воспринимаемые человеком», «отражение в сознании людей объективных причинно-следственных связей», «содержание процессов отражения» (Тузов), «отражённое разнообразие» (Урсул), «вероятность выбора» (Яглом), «снятая неопределённость» (Шеннон), «то, что способно информировать» (Википедия).

«Информация – это обозначение содержания, полученное нами из внешнего мира в процессе приспособления к нему нас и наших чувств» (Норберт Винер)

«Информация – это не знание само по себе, а значение, которое может быть получено из представления посредством интерпретации» (Хьюберт Йоки)

Очевидно, понятие информации нуждается в переосмыслении и более строгом определении. Что же делать?

На первый взгляд, лучшее решение – выбрать самое общее и абстрактное определение, которое будет включать в себя все остальные. Часто можно услышать простые определения одним словом, например: информация – это сведения, данные, биты, значение, представление, понимание, знание и т.д. Но все эти понятия определяются одно через другое и образуют замкнутый логический круг.

Другое решение – найти какое-то общее свойство, присущее информации. Как пишет Сет Ллойд в книге «Программируя Вселенную», «основная идея информации состоит в том, что одну физическую систему – цифру, букву, слово, предложение – можно поставить в соответствие другой физической системе». Да, и не обязательно физической: буквы и цифры могут также символизировать абстрактную математическую сущность. Тогда информация – это символическое представление одной сущности с помощью другой. Но сама информация не является абстрактной в том же смысле, что и множество всех простых чисел, поскольку она существует только тогда, когда она физически реализована.

Я дам своё определение информации в конце статьи, а пока для простоты понимания материала будем называть информацией всё, что может быть представлено как строка битов – нулей и единиц. Фактически любой материальный объект или физический процесс можно оцифровать и смоделировать на универсальном компьютере. Конечно, в случае с квантовыми системами это потребует колоссальных вычислительных ресурсов, и гораздо проще было бы моделировать их на квантовом компьютере, который является аналоговой машиной. О квантовой информации я уже писал в статье «Квантовый компьютер» и буду подробнее писать в дальнейшем.

А в данной статье речь пойдёт только о классической информации, которая возникает на макроскопических масштабах и является предметом изучения теории информации. Я собираюсь показать, что информация во всех её проявлениях – вполне физическая, объективная, измеряемая величина, в которой нет ничего субъективного и мистического. Но сначала пройдём вводный курс по основам информатики и разберёмся, что такое энтропия по Шеннону.

Подробнее
Пожалуйста, оцените статью:
Пока нет голосов
Источник(и):

Хабр