Этнропия и количество информации

Краткое описание

Cодержание

Введение…3

1.Понятие неопределенности…4

2.Энтропия и ее свойства…5

3.Дифференциальная энтропия….6

4.Фундаментальное свойство энтропии случайного процесса…10

5.Количество информации…10

6.Количество информации как мера снятой неопределенности…12

7.Количество информации как мера соответствия случайных процессов…13

8.Свойства количества информации…14

9.Единицы измерения энтропии и количества информации…15

10.Количество информации в индивидуальных событиях…15

Заключение…17

Список использованной литературы…18

Введение

Установив, что случайные процессы являются адекватной моделью сигналов, мы получаем возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые просто не возникали. 

Так и родилась теория информации, специально рассматривающая сигнальную специфику случайных процессов. 

При этом были построены принципиально новые понятия и получены новые, неожиданные результаты, имеющие характер научных открытий. 

В данной работе будет рассмотрена энтропия и количество информации.