Энтропия — мера неопределенности случайного состояния некоторой системы. Мы рассматриваем информационные системы, т.е. системы, воспринимающие, хранящие, перерабатывающие и использующие информацию. Нормальное функционирование подобных систем — это прием-передача информационных сообщений. При получении сообщения неопределенность, т.е. мера «незнания», уменьшается или вовсе устраняется. Таким образом, энтропия может служить информационной характеристикой количества информации, устраненной при получении сообщения.
Для целей теории информации мы определим энтропию как среднее количество информации, приходящееся на одно сообщение в ансамбле сообщений (или на один символ в отдельном сообщении). Иначе говоря, энтропия — это математическое ожидание количества информации в сообщении.
Пусть информационная система может порождать ансамбль (алфавит) сообщений аг, а2, ..., ат. Вероятности каждого сообщения следующие: Р(а{), Р(а2), ..., Р(аш). Так как вероятности сообщений не одинаковы, то они несут разное количество информации, определяемое формулой Шеннона:
Среднее количество информации (математическое ожидание количества информации) ансамбля сообщений вычисляется по известной формуле:
Совершенно аналогично вводится энтропия сообщений:
Энтропия не зависит от конкретного сообщения. Это характеристика информационной системы (источника, приемника сообщений или канала передачи сообщений). Энтропия в таком виде является априорной характеристикой и может быть вычислена до эксперимента, если известны вероятностные характеристики сообщений. Энтропия характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое сообщение из ансамбля будет передано. Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника. Сравнивая формулы (2.8) и (2.6) видим, что / = п • Я.
