Как вычислить какое количество информации в битах содержится в 1 килобайте

Единицы измерения информации

Для информации существуют свои единицы измерения информации.
Если рассматривать сообщения информации как последовательность знаков,
то их можно представлять битами, а измерять в байтах, килобайтах,
мегабайтах, гигабайтах, терабайтах и петабайтах.

Давайте разберемся с этим, ведь нам придется измерять объем памяти и быстродействие компьютера.

Бит

Единицей измерения количества информации является бит – это наименьшая (элементарная) единица.

Байт

Байт – основная единица измерения количества информации.

Байт – довольно мелкая единица измерения информации. Например, 1 символ – это 1 байт.

Производные единицы измерения количества информации

1 байт=8 битов

1 килобайт (Кб)=1024 байта =210 байтов

1 мегабайт (Мб)=1024 килобайта =210 килобайтов=220 байтов

1 гигабайт (Гб)=1024 мегабайта =210 мегабайтов=230 байтов

1 терабайт (Гб)=1024 гигабайта =210 гигабайтов=240 байтов

Запомните, приставка КИЛО в информатике – это не 1000, а 1024, то есть 210 .

Методы измерения количества информации

Итак, количество информации в 1 бит вдвое уменьшает неопределенность знаний. Связь же между количеством возможных событий N и количеством информации I определяется формулой Хартли:

Алфавитный подход к измерению количества информации

При этом подходе отвлекаются от содержания (смысла) информации и
рассматривают ее как последовательность знаков определенной знаковой
системы. Набор символов языка, т.е. его алфавит можно рассматривать как
различные возможные события. Тогда, если считать, что появление символов
в сообщении равновероятно, по формуле Хартли можно рассчитать, какое
количество информации несет в себе каждый символ:

Вероятностный подход к измерению количества информации

Этот подход применяют, когда возможные события имеют различные
вероятности реализации. В этом случае количество информации определяют
по формуле Шеннона:

, где

I – количество информации,

N – количество возможных событий,

Pi – вероятность i-го события.

Задача 1.

Шар находится в одной из четырех коробок. Сколько бит информации несет сообщение о том, в какой именно коробке находится шар.

Имеется 4 равновероятных события (N=4).

По формуле Хартли имеем: 4=2i. Так как 22=2i, то i=2. Значит, это сообщение содержит 2 бита информации.

Задача 2.

Чему равен информационный объем одного символа русского языка?

В русском языке 32 буквы (буква ё обычно не используется), то есть количество событий будет равно 32. Найдем информационный объем одного символа. I=log2 N=log2 32=5 битов (25=32).

Примечание. Если невозможно найти целую степень числа, то округление производится в большую сторону.

Задача 3.

Чему равен информационный объем одного символа английского языка?

Задача 4.

Световое табло состоит из лампочек, каждая из которых может
находиться в одном из двух состояний (“включено” или “выключено”). Какое
наименьшее количество лампочек должно находиться на табло, чтобы с его
помощью можно было передать 50 различных сигналов?

С помощью N лампочек, каждая из которых может находиться в одном из двух состояний, можно закодировать 2N сигналов.

25< 50 <26, поэтому пяти лампочек недостаточно, а шести хватит. Значит, нужно 6 лампочек.

Задача 5.

Метеостанция ведет наблюдения за влажностью воздуха.
Результатом одного измерения является целое число от 0 до 100, которое
записывается при помощи минимально возможного количества битов. Станция
сделала 80 измерений. Определите информационный объем результатов
наблюдений.

В данном случае алфавитом является множество чисел от 0 до 100, всего
101 значение. Поэтому информационный объем результатов одного измерения
I=log2101. Но это значение не
будет целочисленным, поэтому заменим число 101 ближайшей к нему степенью
двойки, большей, чем 101. это число 128=27.  Принимаем для одного измерения I=log2128=7 битов. Для 80 измерений общий информационный объем равен 80*7 = 560 битов = 70 байтов.

Задача 6.

Определите количество информации, которое будет получено
после подбрасывания несимметричной 4-гранной пирамидки, если делают один
бросок.

Пусть при бросании 4-гранной несимметричной пирамидки вероятности отдельных событий будут равны: p1=1/2, p2=1/4, p3=1/8, p4=1/8.

Тогда количество информации, которое будет получено после реализации одного из них, можно вычислить по формуле Шеннона:

I = -[1/2 * log2(1/2) + 1/4 * log2(1/4) + 1/8 * log(1/8) + 1/8 * log(1/8)] = 14/8 битов = 1,75 бита.

Задача 7.

В книге 100 страниц; на каждой странице – 20 строк, в каждой
строке – 50 символов. Определите объем информации, содержащийся в книге.

Задача 8.

Оцените информационный объем следующего предложения:

Тяжело в ученье – легко в бою!

Так как каждый символ кодируется одним байтом, нам только нужно
подсчитать количество символов, но при этом не забываем считать знаки
препинания и пробелы. Всего получаем 30 символов. А это означает, что
информационный объем данного сообщения составляет 30 байтов или 30 * 8 = 240 битов.