Теория информации

Введение 5

Тема 1. Предварительные математические сведения 6

1.1. Основные понятия теории вероятностей 6

1.2. Основные понятия комбинаторики 7

1.3. Аудиторные задания 8

1.4. Самостоятельная работа 9

1.5. Контрольные вопросы 9

Тема 2. Мера количества информации 10

2.1. Постулаты теории информации 10

2.2. Энтропия как мера неопределенности выбора 10

2.3. Аксиомы Хинчина. Аксиомы Фаддеева 11

2.4. Аудиторные задания 12

2.5. Самостоятельная работа 13

2.6. Контрольные вопросы 13

Тема 3. Энтропия и информация сложных систем 14

3.1. Условная энтропия 14

3.2. Взаимная информация 16

3.3. Аудиторные задания 17

3.4. Самостоятельная работа 18

3.5. Контрольные вопросы 19

Тема 4. Источники дискретных сообщений 20

4.1. Марковские источники 20

4.2. Информационные характеристики источника

дискретных сообщений 21

4.3. Аудиторные задания 23

4.4. Самостоятельная работа 24

4.5. Контрольные вопросы 24

Тема 5. Дискретные каналы связи 25

5.1. Общее описание дискретного канала 25

5.2. Модели дискретного канала 26

5.3. Информационных характеристики дискретных каналов 27

5.4. Аудиторные задания 29

5.5. Самостоятельная работа 32

5.6. Контрольные вопросы 33

Тема 6. Оптимальное кодирование 34

6.1. Основные понятия и определения 34

6.2. Метод Фано 36

6.3. Вектор Крафта 38

6.4. Метод Шенона 39

6.5. Метод Хаффмана 40

6.6. Аудиторные задания 42

6.7. Самостоятельная работа 43

6.8. Контрольные вопросы 44

Тема 7. Блочное кодирование 45

7.1. Основные понятия 45

7.2. Аудиторные задания 46

7.3. Самостоятельная работа 47

7.4. Контрольные вопросы 47

Тема 8. Помехоустойчивое кодирование 48

8.1. Общие принципы 48

8.2. Связь корректирующей способности кода

с кодовым расстоянием 49

8.3. Понятие качества корректирующего кода 51

8.4. Построение двоичного группового кода 52

8.5. Составление таблицы опознавателей 55

8.6. Определение проверочных равенств 58

8.7. Аудиторные задания 62

8.8. Самостоятельная работа 62

8.9. Контрольные вопросы 63

Литература 63