Измерение информации с точки зрения алфавитного подхода

Автор: Шарипова Елена Радиковна
Процесс познания окружающего мира приводит к накоплению информации в форме знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, можно говорить о том, что это сообщение содержит информацию.
Такой подход к информации как к мере уменьшения неопределенности знаний позволяет измерять информацию количественно.
Сообщение, уменьшающее неопределенность знания в 2 раза, несет один бит информации (например, при подбрасывании монеты может выпасть либо «орел», либо «решка». Это два возможных события. Они равновероятны. Перед броском существует неопределенность наших знаний (возможны два события). После броска наступает полная определенность, так как мы видим, что монета находится в определенном положении. Сообщение о том, что произошло одно из двух равновероятных событий(например, выпала «решка»), уменьшает неопределенность нашего знания (перед броском монеты) в два раза. Минимальное количество событий для выбора – два (иначе нет выбора), поэтому бит – минимальная единица измерения информации. Если даже события неравновероятны, то возможен подсчет вероятности выпадения каждого события. Под неопределенностью знания здесь понимают количество возможных событий, их может быть больше, чем два. Если сообщение об одном из двух возможных событий несет один бит информации, то выбор одного из четырех возможных событий несет два бита информации. Можно прийти к такому выводу, пользуясь методом половинного деления. Сколько вопросов необходимо задать, чтобы выяснить необходимое, столько битов и содержит сообщение. Вопросы должны быть сформулированы так, чтобы на них можно было ответить «да» или «нет», тогда каждое из них будет уменьшать количество возможных событий в 2 раза.

научная работа.docx