Какое количество информации содержится в сообщении что наугад выбранная карта
КАТЕГОРИИ:
Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)
В настоящее время получили распространение подходы к определению понятия «количество информации», основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте. Т.е. с точки зрения теории информации информация – это сведения, устраняющие или уменьшающие неопределенность.
Так, американский инженер Р. Хартли (1928 г.) процесс получения информации рассматривал как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N:
I = log2(N).
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 » 6,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единиц информации.
Или требуется определить какое количество информации содержится в сообщении, что наугад выбранная карта из 32 крат колоды будет бубновая десятка?
Поскольку вытащить любую карту из данной колоды равновероятное событие (карту с «картинкой» или «числом»), то применяя формулу Хартли, имеем:
I = log2(32)=5, т. е. потребуется 5 единиц информации.
Количество единиц информации можно определить и по количеству задаваемых вопросов, на которые можно ответить «Да» или «Нет». Причем сами вопросы должны сформулированы так, чтобы ответы на них отсекали половину возможных вариантов (событий). Для приведенного выше примера из колодой карт это будет выглядеть так:
Вытащенная карта черной масти? – Нет ( т.е. 0).
Масть вытащенной карты «черва»? – Нет (т.е. 0).
Вытащенная карта с «числом»? – Да (т.е. 1).
Число на карте больше 8? – Да (т.е. 1).
Число равно 9? – Нет (т. е. 0).
Тогда, собрав ответы на вопросы, получим следующее сообщение о вытащенной карте: 00110.
Приведем другие примеры равновероятных сообщений:
1) при бросании монеты: «выпала решка», «выпал орел»;
2) на странице книги: «количество букв четное», «количество букв нечетное».
Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.
На количество информации, получаемой из сообщения, влияет фактор неожиданности его для получателя, который зависит от вероятности получения того или иного сообщения. Чем меньше эта вероятность, тем сообщение более неожиданно и, следовательно, более информативно. Сообщение, вероятность которого высока и, соответственно, низка степень неожиданности, несет немного информации.
Р. Хартли понимал, что сообщения имеют различную вероятность и, следовательно количество информации, он пытался полностью исключить фактор «неожиданности». Поэтому формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. На практике эти условия выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.
Для задач такого рода американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона:
I = – ( p1 log2 p1 + p2 log2 p2 + . . . + pN log2 pN ),
где pi – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
Легко заметить, что если вероятности p1, …, pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.
Помимо двух рассмотренных подходов к определению количества информации, существуют и другие.
В качестве единицы информации условились принять один бит (англ. bit – binary, digit – двоичная цифра).
Бит в теории информации – количество информации, необходимое для различения двух равновероятных сообщений («орел-решка», «чет-нечет» и т.п.).
А в вычислительной технике битом называют наименьшую «порцию» памяти, необходимую для хранения одного из двух знаков «0» и «1», используемых для внутримашинного представления данных и команд.
Формула Хартли широко применяется при кодировании информации, поскольку позволяет рассчитать минимальную длину кода I (т.е. количество разрядов памяти, выделяемое для хранения информации в двоичном коде) в двоичном алфавите при известном количестве символов N, подлежащих кодированию.
Например, рассчитаем, сколько нужно разрядов памяти для хранения чисел в диапазоне от 0 до 17. Здесь количество символов, подлежащих кодированию N = 18, тогда используя формулу Хартли, имеем I = log218 » 4,17, т.е. для хранения таких чисел необходимо 5 разрядов памяти (5 бит).
Решим обратную задачу. Пусть известно отведенная память для хранения символов, например I = 12 бит, требуется найти количество символов N, которые можно закодировать с помощью нулей и единиц, т.е. в двоичном коде. Используя формулу Хартли 2I=N, имеем 212 = 4096 символов.
Поскольку бит – слишком мелкая единица измерения, на практике чаще применяется более крупная единица – байт, равная восьми битам. В частности, восемь бит требуется для того, чтобы закодировать любой из 256 символов основного компьютерного кода ASCII (256 = 28).
Используются также более крупные производные единицы информации:
Килобайт (Кбайт) = 1024 байт = 210 байт;
Мегабайт (Мбайт) = 1024 Кбайт = 220 байт;
Гигабайт (Гбайт) = 1024 Мбайт = 230 байт.
В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как:
Терабайт (Тбайт) = 1024 Гбайт = 240 байт; Петабайт (Пбайт) =
1024 Тбайт = 250 байт и пр.
Для описания скорости передачи данных можно использовать термин бод. Число бод равно количеству значащих изменений сигнала (потенциала, фазы, частоты), происходящих в секунду. Для двоичных сигналов нередко принимают, что бод равен биту в секунду.
§ 1.7. Общая характеристика процессов сбора, передачи,
Дата добавления: 2014-01-05; Просмотров: 617; Нарушение авторских прав?
Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет
Рекомендуемые страницы:
Источник
Цели урока:
- закрепление знаний учащихся по пройденной теме,
- повышение интереса к изучению предмета,
развитие в детях творческой активности, - воспитание в них навыков быстрого мышления и
ответственности за коллективное решение.
Форма проведения урока: учебно-игровой урок
в виде соревнования четырех команд.
Содержание урока: урок состоит из двух
туров.
Первый тур – разминка. По очереди задаются
вопросы, касающиеся темы: “Информация.
Кодирование информации”. Право ответа
предоставляется команде, готовой первой
ответить на заданный вопрос (первой поднявшей
руку). За каждый правильный ответ присуждается
один балл, за неправильный ответ – один балл
вычитается.
Второй тур – “Своя игра”. Команда, набравшая
наибольшее количество баллов, выбирает тематику
вопроса (И – информация, К – кодирование, Л
– логика, С – системы счисления) и его
номер, соответствующий количеству баллов.
Например, И-2 относится к разделу
“Информация” и дает 2 балла. В дальнейшем право
выбора очередного вопроса предоставляется
команде, первой давшей правильный ответ. Команде,
давшей правильный ответ, начисляется
соответствующее количество баллов, при
неправильном ответе баллы вычитаются.
Второй тур продолжается в течение
фиксированного времени, например, 30 мин, после
чего подводятся итоги всей игры.
Вступительная часть
Ведущий (учитель информатики).
Сегодня у нас необычный урок – он будет
проходить в форме игры.
Нам необходимо разбить класс на 4 группы по 3
человека в каждой. Принцип комплектования групп
следующий: я выбираю четырех капитанов команд –
учеников, имеющих отличные оценки по
информатике, которые по очереди выбирают членов
своей команды.
В процессе игры каждая команда набирает баллы
за правильный ответ на поставленный вопрос.
Команда, набравшая наибольшее количество баллов,
объявляется победителем и каждому участнику
этой команды в качестве приза будет
предоставлено по 30 минут работы в Интернете.
Первый тур – разминка (каждый правильный
ответ – 1 балл)
- Наименьшая единица количества информации (бит)
- Чему равно количество информации, уменьшающее
неопределенность знаний в 4 раза? (2 бита) - Способ записи чисел с помощью заданного набора
специальных символов (система счисления) - Группа символов, состоящая из восьми рядом
записанных бит (байт) - К какому типу относятся знания, начинающиеся со
слов “я знаю что …” (декларативные) - Информация, воспринимаемая человеком в речевой
или письменной форме называется … (символьной
или знаковой) - Процессы, связанные с хранением, передачей и
обработкой информации называются … (информационными
процессами) - Из каких символов состоит машинный
(компьютерный) алфавит? (0, 1) - Что такое “информационный вес символа”? (Количество
информации, которое несет один символ) - Что такое “мощность алфавита”? (Количество
символов в алфавите) - Что выражает произведение количества
информации, которое несет один символ, на
количество символов? (Количество информации в
тексте, сообщении, закодированном с помощью
символов) - Когда количество информации, которое мы
получаем, достигает максимального значения, если
события равновероятны или не равновероятны? (Равновероятны) - Какое количество информации содержится в одном
разряде восьмеричного числа? (3 бита) - Сколько вопросов и какие надо задать, чтобы
угадать число, загаданное в интервале от 21 до 36? (4
вопроса) - Во сколько раз число 10, записанное в
восьмеричной системе счисления, больше 10,
записанного в двоичной системе счисления? (В 4
раза) - Во сколько раз число 100 больше числа 10, если оба
они записаны в шестнадцатеричной системе
счисления? (В 16 раз) - В какой системе счисления 2*2=11? (В троичной)
- Расположите двоичные числа в порядке
возрастания: 1110 1011 1010 1101 (1010 1011 1101 1110) - Во сколько раз увеличится число, записанное в
двоичной системе счисления, если запятую
перенести на два знака вправо? (В 4 раза) - В каком формате может храниться большее число –
в двух байтах оперативной памяти в формате целых
неотрицательных чисел или в формате целых чисел
со знаком и почему? (В формате целых
неотрицательных чисел)
Второй тур – своя игра (количество
баллов соответствует номеру вопроса)
1. (И-2) Какое сообщение согласно теории
информации содержит больше информации? (В)
- Монета упала орлом вниз
- Из колоды карт (32 штуки) достали даму пик
- Игральная кость упала вверх гранью с шестью
очками - Ваш друг живет на 9-ом этаже шестнадцатиэтажного
дома - Из 8 призов наугад был выбран автомобиль
2. (И-4) Целое число было выбрано наугад из
заданного диапазона чисел. Сообщение о выборе
числа из какого диапазона несет наибольшее
количество информации? (С)
A. от 12 до 75 В. от 75 до 133 С. от –35 до 35 D. от –60
до 0
3. (И-6) В алфавите некоторого языка всего 2
буквы: “А” и “Б”. Каждое слово этого языка
состоит из одинакового числа букв. Известно, что
возможно составить ровно 2048 различных слов этого
языка. Определить количество букв в каждом слове.
(11 букв)
4. (И-8) Имеются два мешка с монетами, в каждом
из которых находится по одной фальшивой монете
(более легкой). Для определения фальшивой монеты
в первом мешке потребовалось провести 6
взвешиваний, во втором мешке – 4 взвешивания.
Какое максимальное количество монет может быть в
двух мешках? (80)
5. (С-2) Во сколько раз увеличится число 32,
записанное в четверичной системе счисления, если
справа к нему приписать три нуля? (В 64 раза)
6. (С-4) Упорядочить числа по возрастанию,
записанные в следующих системах счисления:
10101 – в двоичной системе
32 – в четверичной системе
24 – в восьмеричной системе
1F – в шестнадцатеричной системе
(32 24 10101 1F)
7. (С-6) Равенство 33m5n + 2n443 = 55424 записано в
системе счисления с неизвестным основанием, m
– максимальная цифра в этой системе счисления, n
– неизвестная цифра. Определить основание
системы счисления. (7)
8. (С-8) В бумагах одного чудака-математика
была найдена его автобиография, в которой было
написано следующее: “Я окончил университет 44 лет
отроду. Спустя год, 100-летним молодым человеком, я
женился на 34-х летней девушке. Незначительная
разница в возрасте – всего 11 лет –
способствовала тому, что мы жили общими
интересами и мечтами. Спустя немного лет у меня
была уже и маленькая семья из 10 человек”. Чем
объяснить странные противоречия в числах этого
отрывка? Восстановите их истинный смысл. (Основание
системы – 5, 44 > 24, 100 > 25, 34 > 19, 11 > 6, 10 > 5)
9. (Л-2) Найдите закономерность и продолжите
числовую последовательность:
1 11 20 28 35 41 46 … (50 53)
10. (Л-4) Четыре брата – Коля, Володя, Петя и
Юра – учатся в 1, 2, 3 и 7 классах. Информатику
начинают изучать с 7 класса. Петя учится только на
“4” и “5”, а младшие братья стараются брать с
него пример. Володя уже изучает информатику. Юра
помогает решать задачи младшему брату. Кто из
братьев учится во 2-ом классе? (Юра)
11. (Л-6) Есть двое песочных часов: на 3 мин и на
8 мин. Для приготовления эликсира бессмертия его
надо непрерывно готовить ровно 7 мин. Как это
сделать? (Одновременно запустить часы на 3мин и 8
мин. Через 3 минуты повторно запустить часы на 3
мин., еще через три минуты вновь запустить
трехминутные часы. По истечении восьми минут от
начала перевернуть восьмиминутные часы и, как
только истекут очередные три минуты по
трехминутным часам, начать готовить эликсир
бессмертия до тех пор, пока не пройдут очередные 8
минут по восьмиминутным песочным часам. Этот
интервал времени и составит 7 минут)
12. (Л-8) Три мудреца вступили в спор: кто из
троих более мудрый? Спор помог решить случайный
прохожий, предложивший им испытание на
сообразительность.
– Вы видите у меня, – сказал он, – пять
колпаков: три черных и два белых. Закройте глаза.
С этими словами он надел каждому по черному
колпаку, а два белых спрятал в мешок.
– Можете открыть глаза, – сказал прохожий, –
кто угадает, какого цвета колпак украшает его
голову, тот вправе считать себя самым мудрым.
Долго сидели мудрецы. Наконец один воскликнул:
– На мне черный колпак.
Как он догадался?
(Мудрец рассуждал так: “Я вижу перед собой два
черных колпака. Предположим, что на мне белый.
Тогда второй мудрец, видя перед собой белый и
черный колпаки рассуждал бы так: “Если бы на мне
тоже был белый колпак, то третий сразу бы
догадался и заявил, что у него черный. Но он
молчит, значит на мне не белый, а черный”. А так
как второй не говорит этого, значит, на мне тоже
черный”)
13. (К-2) Фраза на некотором языке “КУКУ
ОГО” в переводе на русский означает вкусный
торт, “НЯМ КУКУ БОБО” – большой вкусный пирог,
“НЯМ ПУФ” – большой кусок. Как на этом языке
записать фразу “КУСОК БОЛЬШОГО ВКУСНОГО
ПИРОГА”? (ПУФ НЯМ КУКУ БОБО)
14. (К-4) Расшифруйте текст и объясните способ
его кодировки: АММАРГОРП – ЯАКОСЫВ ЯИЗЭОП,
ЫТАТЬЛУЗЕР ЕЕ ЫТОБАР – ЯАБУРГ АЗОРП (программа
– высокая поэзия, результат ее работы – грубая
проза)
15. (К-6) Определите правило шифровки и
расшифруйте слово: АКРОЛДИИТРБОФВНАЗНГИЦЕШ (кодирование)
16. (К-8) Один из самых первых известных
методов шифрования носит имя римского
императора Юлия Цезаря (I век до н. э.), который
если и не сам изобрел его, то активно им
пользовался. Слово информация,
закодированное с помощью шифра Цезаря, имеет вид:
мрчсупгщмв. Вам необходимо определить метод
кодировки, используемый в шифре Цезаря, и
закодировать слово компьютер.(нсптябхзу)
Подведение итогов
Команда, набравшая наибольшее количество
баллов, объявляется победителем. Анализируются
результаты работы всех команд в ходе урока, а так
же степень активности учащихся в группах.
Выставляются оценки учащимся с учетом набранных
баллов и активности работы в команде
(учитывается мнение капитанов команд).
Источник
2015-09-07
Пример 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?
Решение.
Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.
N = 32, I = ?
N = 2I, 32 = 25, I = 5 бит.
Ответ: 5 бит.
Пример 2.В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.
Решение.
Вероятность вытаскивания белого шара
P1 = 40/50 = 0,8
Вероятность вытаскивания чёрного шара
P2 = 10/50 = 0,2
Количество информации о вытаскивании белого шара I1 = log2(1/0,8) = log21,25 = log1,25/log2 = 0,32 бит
Количество информации о вытаскивании чёрного шара I2 = log2(1/0,2) = log25 = log5/log2 » 2,32 бит
Ответ: 0,32 бит, 2,32 бит
Пример 3. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней – 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?
Решение.
События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.
Общее количество карасей и окуней в пруду 1500 + 500 = 2000.
Вероятность попадания на удочку карася
p1 = 1500/2000 = 0,75, окуня p2 – 500/2000 = 0,25.
I1 = log2(1/p1), I1 = log2(1/p2), где I1 и I2 – вероятности поймать карася и окуня соответственно.
I1 = log2(1 / 0,75) = 0,43 бит, I2 = log2(1 / 0,25) = 2 бит – количество информации в сообщении поймать карася и поймать окуня соответственно.
Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона
I = – p1log2p1 – p2log2p2
I = – 0,75*log20,75 – 0,25*log20,25 = – 0,75*(log0,75/log2)-0,25*(log0,25/log2) =
= 0,604 бит = 0.6 бит.
Ответ: в сообщении содержится 0,6 бит информации.
Пример 4. Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?
Решение.
Количество информации вычисляется по формуле: 2i = N, где i – искомая величина, N – количество событий. Следовательно, 23 =8.
Ответ: 3 бита.
Пример 5. Заполнить пропуски числами:
а) 5 Кбайт = __ байт = __ бит, б) __ Кбайт = __ байт = 12288 бит; в) __ Кбайт = __ байт = 2 13 бит; г) __Гбайт =1536 Мбайт = __ Кбайт; д) 512 Кбайт = 2__ байт = 2__ бит.
Решение.
а) 5 Кбайт = 5120 байт =40 960 бит,
б) 1,5 Кбайт = 1536 байт = 12 288 бит;
в) 1 Кбайт = 210 байт = 213 бит;
г) 1,5 Гбайт = 1536 Мбайт = 1 572 864 Кбайт;
д) 512 Кбайт = 219 байт = 222 бит.
Пример 6. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта?
Решение.
1) 1/512 Мб * 1024 = 2 Кб * 1024 = 2048 байт
2) К = 2048 символов, следовательно, i = 1 байт = 8 бит
3) 2i = N; 28 = 256 символов
Ответ:
1) 1/512 Мб * 1024 = 2 Кб * 1024 = 2048 байт
2) К = 2048 символов, следовательно, i = 1 байт = 8 бит
3) 2i = N; 28 = 256 символов.
Пример 7.Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице – 40 строк, в каждой строке – 60 символов. Каков объем информации в книге?
Решение.
Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации.
Значит, страница содержит 40*60=2400 байт информации. Объем всей информации в книге: 2400*150 = 360 000 байт.
Ответ: 360 000 байт.
Пример 8. Для передачи секретного сообщения используется код, состоящий из десяти цифр. При этом все цифры кодируются одним и тем же (минимально возможным) количеством бит. Определите информационный объем сообщения длиной в 150 символов.
Решение.
Для кодировки одной из 10 цифр необходимо 4 бита. Это получаем из 23 < 10 < 24. Объём 150 символов получим 150*4=600(бит).
Ответ: 600 бит.
Пример 9.В кодировке Unicode на каждый символ отводится два байта. Определите информационный объем слова из двадцати четырех символов в этой кодировке.
Решение.
I= K*i; I = 24*2 байт = 48 байт = 48*8бит = 384 бит.
Ответ: 384 бита.
Пример 10.В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок?
Решение.
Количество информации вычисляется по формуле: 2i = N, где i – искомая величина, N – количество событий.
2i=128. Следовательно, i=7.
Ответ: 7 бит.
Скачать раздаточный материал
Источник
Источник