Класична теорія інформації і еe обмеження

Е.А. Соснін, Інститут сільноточной електроніки СО РАН, м. Томськ

Стаття в короткій формі знайомить з парадоксами класичної теорії інформації.

"Інформація це інформація. "

Н. Вінер

"Завжди розумійте предмет в суперечностях. Ви виявите при цьому, що існує постійна змову, що має на меті дати той же предмет догматично і односторонньо. "

Б. Шоу

Термін "Інформація" став активно використовуватися в науковій літературі, починаючи з тридцятих-сорокових років XX століття. Тоді слово "інформація" означало, в основному, "відомості" або "інформування", тобто використовувався прямий переклад латинського слова "informatio" (в оригіналі латинське слово "informatio" перекладається як "роз'яснення" або "інформування ").

До кінця сорокових під "інформацією" почали розуміти функцію статистичних характеристик букв будь-якої мови, і, згідно К. Шеннон [Шеннон К. Математична теорія зв'язку// "К. Шеннон. Роботи з теорії інформації та кібернетики ". М.: ІІЛ, 1963. - С. 243-332.], Кількість інформації, що міститься в будь-якому повідомленні, що складається з М букв, могло бути обчислено за формулою:

(1)

де n - кількість літер в даному мовою, а рj - частота зустрічальності j-тої літери (j = 1,2 .... n) іншою мовою. Знак мінус поставлений перед правою частиною формули для того, щоб кількість інформації B завжди було позитивним.

В вісімдесяті роки "інформацією" вже називали "... обмін відомостями між людьми, людиною і автоматом, автоматом і автоматом ", а також" обмін сигналами в тваринному і рослинному світі; передачу ознак від клітини до клітини, від організму до організму "[Радянський енциклопедичний словник. М.: Изд-во "Радянська енциклопедія", 1981 .- 505 с .].

Під впливом робіт Л. Бріллюзна [Брілюена Л. Наукова невизначеність та інформація. М.:. "Світ", 1966. - 271 с.], Починаючи з шістдесятих років, виник і набув широку популярність так званий "негентропійної принцип інформації". Прихильники цього принципу стали називати "інформацією" не тільки змістовний і статистичний аспекти повідомлень, але і щось, протилежне фізичної ентропії, - Так звану негентропії. На відміну від ентропії, що розглядається в якості невпорядкованості тієї чи іншої системи, негэнтропией зазвичай називають міру впорядкованості оточуючих нас систем, пов'язуючи з нею різного роду антіентропійние процеси, що протікають у фізичному світі. В основі негентропійної принципу лежить зовнішню схожість формули К. Шеннона (1), узагальненої для будь-якого одиничного події

(2),

де К - коефіцієнт, а Р - ймовірність цієї події, і формули Макса Планка для фізичної ентропії:

(3),

де К0 постійна Больцмана, рівна 1.4