На каких продуктах есть знак шазам
Большинство людей, которые пользуются смартфоном, хотя бы раз использовали Shazam для поиска музыки.
История приложения Shazam началась в 1999 году. Когда два студента Калифорнийского университета в Беркли Крис Бартон и Филипп Ингелбрехт решили создать программу, которая могла бы распознавать музыку. С ними в команде оказались друг Криса Дираж Мукерджи и инженер Эйвери Ванг.
Первые шаги
Будучи студентом колледжа, Бартон много изучал компьютерные технологии. Молодой человек любил бизнес и всегда хотел соединить два своих увлечения — науку и предпринимательство. Осознание того, что он действительно готов создать свой проект, пришло на первом году обучения по программе MBA в Беркли.
Один из студентов, Скотт Кусирек рассказал о старте своего интернет-бизнеса в сфере недвижимости. За несколько лет до этого он оставил карьеру пилота ВВС. Тогда Бартон подумал: если кто-то запустил бизнес после карьеры лётчика, то что мешает ему работать над своим делом?
Бартон решил, что его проект будет связан с мобильными устройствами. В 1998 году у него появился первый телефон. Держа его в руках, молодой человек задумался над изобретениями для устройства, которое люди постоянно носят с собой.
Лето между первым и вторым курсом MBA Бартон провёл в Лондоне на стажировке в Microsoft, там же находился его друг детства Дираж Мукерджи.
Вместе они и проводили мозговые штурмы в местных кафе. Друзья решили, что им нужен ещё один партнёр, и взяли в команду однокурсника Бартона по колледжу — Филиппа Ингелбрехта.
В это время сразу несколько компаний работали над распознаванием музыки, но они делали акцент только на мелодиях, которые играли на радио. Неохваченными оставались песни, которые играли в клубах, кафе, магазинах.
Изначально и Бартон думал только о радиостанциях. Он даже работал над программой звукозаписи для диджеев. Это и были первые шаги по созданию Shazam. Бартон уже остановился на идее создать программу по распознаванию музыки, играющей на радио, когда профессор из бизнес-школы рассказал студентам, что для изобретения действительно инновационного продукта нужно выйти за привычные рамки.
Молодой человек попытался представить: если его приложением будут пользоваться все радиостанции страны, что могут сделать конкуренты, чтобы обойти его? Если кто-то предложит систему по распознаванию звука из любого источника, то программа Бартона окажется не нужна.
Многие профессора в области звуковых технологий говорили им, что это просто невозможно, но Бартону и его партнёрам удалось создать инновационный продукт.
Разработка
Первое, с чем столкнулись разработчики — это то, что музыка тонет в потоке посторонних шумов и голосов, свойственных любому общественному месту. Предстояло создать кодировщик, который смог бы выделять одни звуки и блокировать другие. На этом этапе к команде присоединился инженер Эйвери Ванг.
Основатели Shazam
Самым продвинутым телефоном в 1999 году был маленький Nokia 8210 с чёрно-белым экраном. Самой сложной операцией, которую совершали тогда мобильные устройства, была установка ринтгтона.
Разработчики поняли, что их алгоритм — это не только технология распознавания музыки, с её помощью можно идентифицировать любой звук: телевизионное шоу, рекламу, фильм. Реализовать это на мобильных устройствах того времени было нереально: уже тогда возможности Shazam были гораздо шире.
Изобретение студенты представили инвесторам. Проект опережал своё время — реализация многих функций была возможна только после появления смартфонов. Тогда, в 2000 году, оставалось ещё три года до выхода iTunes, семь лет до iPhone, восемь — до App Store. В августе 2000 года с помощью инвесторов компании удалось собрать $1 млн. Во втором раунде к этой сумме добавилось ещё $7,5 млн.
Старт
Во время запуска Shazam рынок мобильных устройств был развит в Европе и Японии. Там пользователям компания предложила услугу «Премиум SMS», с помощью которой можно было заплатить, например, за рингтон. На этом и рассчитывали зарабатывать разработчики.
В США такая услуга была ещё не доступна. Площадкой для тестирования новой программы стала Великобритания, страна с самым большим количеством музыки на душу населения.
Shazam была запущена в 2002 году. На первом этапе 95% владельцев мобильных телефонов в Великобритании, могли распознать мелодию, позвонив по номеру 2580. Пользователь в течение 30 секунд держал телефон у источника звука, после чего ему приходило сообщение с именем исполнителя и песни.
Сообщение от Shazam
Если идентификация была невозможна, плата не взималась, если распознание проходило успешно, то со счёта списывалось 50 пенсов. Вскоре появилась новая услуга — покупка рингтонов, связанных с идентифицированными песнями.
Через несколько лет появилась функция неограниченного распознавания звуков для подписчиков за три доллара в месяц. Только появление App Store помогло приложению Shazam стать популярным на весь мир.
Путь
В 2004 году система Shazam была запущена в США в сети AT&T. Через три года у компании изменился логотип и дизайн, практически в этом виде он существует до сих пор.
В качестве основного цвета был выбран голубой, который, как отмечают маркетологи, вызывает лояльность и доверие потребителей. Поэтому этот цвет и его оттенки используют многие крупные бренды: Facebook, Skype, Twitter. В 2007 году на сайте Shazam появился список треков, которые мог оценить пользователь.
Основная услуга (набор четырёхзначного номера 2580) оставалась до 2008 года — тогда появилось приложение для iPhone. Программа стала одной из первых в App Store. Это упростило сервис, позволяя запускать iTunes и покупать песню напрямую, если пользователь подключен к Wi-Fi.
Теперь все функции были в приложении, распознать песню стало намного легче. Все теги сохранялись в телефоне — их можно было просмотреть в любой момент. Услуга стала бесплатной, в ней появилась реклама.
Shazam в App Store 2008 года
Вскоре приложение было запущено на Android. Shazam начал сотрудничать и с другими брендами, расширяя список своих услуг. Например, покупка треков — ежедневно продавалось в среднем около 400 тысяч музыкальных произведений. Артисты могли публиковать для фанатов песни, которые им нравятся, чтобы быть ближе к поклонникам. Также появились опции — тексты песен и ссылки на видео.
К декабрю 2009 года приложение Shazam было установлено десять миллионов раз в 150 странах по всему миру. Около восьми процентов пользователей покупали песню после того, как она была идентифицирована. В январе 2011 года компания Apple объявила, что Shazam находится на четвёртом месте по количеству загрузок среди бесплатных приложений в App Store за всё время существования.
Сейчас у приложения есть опция Auto Shazam, которая позволяет обнаруживать музыку непрерывно, даже когда телефон заблокирован.
Shazam интегрировала функции в Snapchat, аудитория которого в среднем достигает 166 млн пользователей в день. Теперь они имеют доступ к контенту Shazam и могут делиться песнями со своими друзьями.
Пользователи приложения делятся на две категории: одни используют Shazam только по основному назначению — распознать понравившуюся песню. Других больше интересует социальный аспект — смотреть, чем делятся артисты, пользоваться сотрудничеством с брендами.
Семь из десяти пользователей младше 35 лет, 36% — молодёжь от 16 до 24 лет. Более 70% пользователей Shazam говорят, что постоянно подключены к приложению, открыты для тестирования новых продуктов и рекомендуют услуги друзьям и семье. 35% пользователей заявили, что заплатили за скачивание музыки в прошлом месяце.
В 2016 году приложение было загружено один миллиард раз, в среднем насчитывается 120 миллионов активных пользователей в месяц. Каждый день миллионы новых пользователей загружают приложение Shazam.
Приложение используется в 190 странах мира. В 2016 году доход Shazam составил $54 млн.
12 декабря 2017 года Apple подтвердила покупку компании Shazam за $400 млн.
Источник
Компания Eren Russia, которая представляет французскую фирму Lacoste и мультибрендовый магазин SuperStep, использовала технологию Shazam по распознаванию визуальной информации для внедрения интерактивных элементов в билборды и журнальные макеты. Редакция vc.ru узнала у официального представителя Shazam в России Brainient Rus подробности кампании и вспомнила другие примеры использования российскими брендами Shazam.
Технология
Функция визуального распознавания работает примерно так же, как и звукового: в базу Shazam вносится изображение билборда, рекламного макета, фотографии или этикетки. После этого пользователь может активировать контент с помощью приложения, которое автоматически переводит его к дополнительным материалам рекламодателя. Это может быть, например, видеоролик, купон на скидку, промокод по акции, сайт магазина для покупки или игра.
«Fashion-бренды всегда одними из первых начинают использовать самые передовые технологии, — рассказывает коммерческий директор Brainient Rus Алексей Лопатик. — Интерактивные возможности продвижения товаров с помощью технологий Shazam сочетают в себе и инструмент вовлечения в коммуникацию, и развлечение, что очень важно для молодежной аудитории, на которую был сделан акцент в новой кампании Lacoste».
Кампания Lacoste
Представители бренда использовали технологию в трех каналах коммуникации. 15 визуальных креативов с интерактивными метками Shazam находятся на билбордах в 56 вузах Москвы и Санкт-Петербурга (например в ГМИИ имени Пушкина, МГУ и МГТУ имени Баумана), в популярных глянцевых журналах и бутиках SuperStep.
Интерактивные метки на рекламных щитах призывают выбрать свой стиль из новых коллекций бренда. При активации изображений приложение переводит пользователя на сайт интернет-магазина Lacoste или Superstep.ru (официального реселлера обуви и аксессуаров Lacoste).
В качестве целевой аудитории компания выбрала молодежь. «Студенты — наиболее технологичная аудитория, которая мгновенно реагирует на любые интерактивные тенденции, — отмечает директор по маркетингу и PR брендов Lacoste, SuperStep, Keds, Superga, Diadora в России Мария Савельева. — Вовлечь молодежь через классические каналы коммуникации сложно: у них иммунитет ко всему привычному и традиционному. Обычная реклама кажется им архаичной. Поэтому мы использовали Shazam как технологичный и увлекательный способ мотивировать аудиторию вступить в диалог с брендом».
Из журналов в проекте поучаствовали несколько изданий, в числе которых Esquire, Grazia и «Собака». С журналом Glamour бренд бутиков SuperStep запустил конкурс #LadiesFirst2016, посвященный столетию марки Keds и направленный на продвижение ключевых брендов магазина в летнем сезоне.
Поскольку интерактивные билборды также находятся и в бутиках, при Shazam-активации посетители магазинов могут принять участие в конкурсе и выиграть поездку в Италию.
Другие бренды и Shazam
Mercedes-Benz
В фервале 2016 года Mercedes-Benz использовал технологию Shazam в нескольких глянцевых изданиях, чтобы прорекламировать новую модель. Пользователь перенаправлялся на YouTube-страницу с видеороликами об автомобиле.
Coca-Cola
К Новому году компания выпустила видеоклип с певицей Ёлкой и российскими видеоблогерами по мотивам своей традиционной мелодии «Праздник к нам приходит». Зритель мог «зашазамить» песню из телевизионного ролика, чтобы получить подробную информацию о ней, и перейти к клипу на страницу YouTube.
KFC
KFC с помощью Shazam знакомит аудиторию с конкурсом в Instagram, в котором пользователю нужно разместить свою фотографию с Emoji в виде куриных ножек. Ежедневный приз за лучшее изображение — промокод на получение двух куриных ножек, а главная награда — игровая консоль PlayStation 4.
Также в рамках сотрудничества с Gazprom-Media Digital технологии Shazam использовали компании Sony Pictures Russia, МТС и Reckitt Benckiser.
Источник
В первых трех частях (ссылки на них будут под статьей) мы говорили о теоретическом введении в акустику и оцифровку звука, и теперь, наконец, можно поговорить о самом алгоритме идентификации песен. Сразу предупрежу — в этой статье будут использоваться теоретические термины из предыдущих статей без объяснений, дабы не увеличивать и без того объемный материал. Если вам что-то не понятно — прочитайте теорию.
Глобальный обзор
Аудио слепок (автор использует слово fingerprint, что на русский язык переводится как отпечаток пальца, что как-то не звучит и не особо подходит по смыслу, поэтому я заменил его на слепок) представляет собой цифровой «конспект» песни, который может быть использован для идентификации аудио образца или быстрого поиска похожих образцов в базе данных. Например, когда вы напеваете песню, вы создаете ее аудио слепок, потому что вы извлекаете из музыки то, что считаете необходимым (и, если вы хороший певец, другие люди узнают песню).
Прежде чем идти глубже, вот упрощенная схема того, как идентифицирует песню Shazam. Я не работаю в Shazam, так что это всего лишь предположение (из документа 2003 года от соучредителя Shazam):
На стороне сервера:
- Shazam предварительно вычисляет аудио слепки песен из очень большой базы данных музыкальных треков.
- Все эти слепки помещаются в базу данных слепков, которая обновляется всякий раз, когда в нее попадает новый слепок песни.
На стороне клиента:
- Когда пользователь использует Shazam, приложение сначала записывает текущую музыку с помощью микрофона телефона.
- Телефон применяет тот же алгоритм снятия слепка с песни, что и Shazam при добавлении слепка в свою базу данных.
- Телефон отправляет аудио слепок в Shazam.
- Shazam проверяет, совпадает ли этот слепок хотя бы с одним из базы данных:
- Если нет, он сообщает пользователю, что трек не найден;
- Если да, то он ищет метаданные, связанные с этим слепком (название песни, URL песни в iTunes, Amazon и т.д.) и возвращает его пользователю.
Ключевыми особенностями алгоритма по снятию слепков в Shazam являются:
- Устойчивость к шуму/ошибкам:
- Музыка, записанная телефоном в баре/на открытом воздухе, имеет плохое качество.
- Из-за неидеальности оконных функций.
- Из-за дешевого микрофона внутри телефона, который создает шум/искажения.
- Слепки должны быть неизменными во времени: слепок полной песни должен соответствовать ее 10-секундной записи.
- Сопоставление слепков должно быть быстрым: кто будет ждать минуты/часы, чтобы получить ответ от Shazam?
- Отсекать ложные срабатывания: кто хочет получить ответ, который не соответствует правильной песне?
Фильтрация спектров
Звуковые слепки отличаются от стандартных компьютерных контрольных сумм, таких как SSHA или MD5, потому что два разных файла (с точки зрения битов), которые содержат одну и ту же музыку, должны иметь один и тот же аудио слепок. Например, песня в формате ACC 256 Кбит (iTunes) должна давать тот же слепок, что и та же песня в формате 256 Кбит (Amazon), или в формате WMA 128 Кбит (Microsoft). Чтобы решить эту проблему, алгоритмы автоматического снятия слепков используют спектрограмму аудиосигналов для получения слепков.
Я уже говорил вам, для того, чтобы получить спектрограмму цифрового звука, нужно применить БПФ. Для алгоритма снятия аудио слепка нам нужно хорошее частотное разрешение (например, 10.7 Гц), чтобы уменьшить спектральную утечку и иметь хорошее представление о самых важных нотах, играемых внутри песни. В то же время, нам необходимо максимально сократить время вычислений и, следовательно, использовать минимально возможный размер окна. В исследовательской работе Shazam они не объясняют, как они получают спектрограмму, но вот возможное решение:
На стороне сервера (Shazam) звук с частотой дискретизации 44.1 кГц (с CD, MP3 и любых других носителей и форматов) должен переводиться от стерео к моно. Мы можем сделать это, взяв среднее значение левого и правого звукового канала. Перед понижающей дискретизацией нам необходимо отфильтровать частоты выше 5 кГц, чтобы избежать сглаживания звука, и после этого частоту дискретизации можно понизить до 11.025 кГц.
На стороне клиента (телефон) частота дискретизации микрофона, записывающего звук, должна составлять 11.025 кГц.
Затем, в обоих случаях нам нужно применить функцию окна к сигналу (например, окно с 1024 выборками) и провести БПФ для каждых 1024 выборок. Таким образом, каждый БПФ анализирует 0.1 секунду музыки. Это дает нам спектрограмму:
- От 0 Гц до 5000 Гц;
- С частотным разрешением 10.7 Гц;
- 512 возможных частот;
- Единицу времени в 0.1 секунду.
На этом этапе у нас есть спектрограмма песни. Поскольку Shazam должен работать в условиях шума, сохраняются только самые громкие ноты. Но вы не можете просто брать Х самых громких частот каждые 0.1 секунды. Вот несколько причин этого:
- В первой части статьи я рассказывал о психоакустических моделях. Человеческим ушам труднее слышать низкий звук (<500 Гц), чем средний звук (500 Гц – 2000 Гц) или высокий звук (> 2000 Гц). В результате громкость низких частот многих «сырых» песен искусственно увеличивают перед выпуском. Если вы возьмете только самые громкие частоты, вы получите только низкие, и если в двух песнях будет одинаковый барабанный ритм, они могут иметь очень близкую фильтрованную спектрограмму, тогда как в первой песне, к примеру, есть еще и флейты, а во второй — гитары.
- Мы видели в главе о функциях окна, что, если у вас есть очень мощная частота, другие частоты, близкие к ней, появятся в спектре, тогда как в реальности они не существуют (это происходит из-за спектральной утечки). Нам же нужно уметь брать только настоящую частоту.
Вот простой способ сохранить только самые мощные частоты при одновременном снижении влияния других проблем:
Шаг 1: для каждого результата БПФ вы помещаете 512 бинов в 6 логарифмических диапазонов:
- Очень низкий звуковой диапазон (от 0 до 10 бина);
- Низкий звуковой диапазон (от 10 до 20 бина);
- Средне-низкий звуковой диапазон (от 20 до 40 бина);
- Средний звуковой диапазон (от 40 до 80 бина);
- Средне-высокий звуковой диапазон (от 80 до 160 бина);
- Высокий звуковой диапазон (от 160 до 511 бина).
Шаг 2: для каждой группы вы сохраняете самый сильный бин частот.
Шаг 3: вы вычисляете среднее значение этих 6 мощных бинов.
Шаг 4: вы сохраняете те бины (из этих шести), которые выше этого среднего значения.
Шаг 4 очень важен, потому что у вас может быть:
- А капелла, где поют только сопрано со средними или средне-высокими частотами.
- Джаз или рэп, где преобладают только низкие частоты.
- Другие жанры, где есть только определенные частоты.
И нам явно ненужно поддерживать слабую частоту (относительно других диапазонов) только потому, что она самая громкая в свое диапазоне.
Но этот алгоритм имеет ограничение: в большинстве песен некоторые части очень тихие (например, начало или конец песни). Если вы проанализируете эти части, то вы получите ложные сильные частоты, потому что среднее значение (вычисленное на шаге 3) этих частей очень низкое. Чтобы избежать этого, вместо того, чтобы брать среднее значение из шести диапазонов текущего БПФ (который представляет только 0.1 секунду песни), можно взять среднее значение для самых мощных бинов полной песни.
Резюмируя: применяя этот алгоритм, мы фильтруем спектрограмму песни, чтобы сохранить пики в спектре, которые представляют самые громкие ноты. Чтобы дать вам визуальное представление о том, что такое фильтрация, вот настоящая спектрограмма 14-секундной песни:
Эта картинка взята из исследовательской статьи о Shazam. В этой спектрограмме вы можете видеть, что некоторые частоты более мощные, чем другие. Если вы примените предыдущий алгоритм на этой спектрограмме, то вы получите следующую картину:
Эта картинка представляет собой фильтрованную спектрограмму, где сохраняются только самые сильные частоты предыдущего рисунка. Некоторые части песни тут вообще не имеют частот (например, их нет в промежутке от 4 до 4.5 секунд).
Число частот в отфильтрованной спектрограмме зависит от среднего значения, полученного на шаге 3. Оно так же зависит от количества используемых вами диапазонов (мы использовали шесть, но тут может быть любое другое число).
На этом этапе интенсивность частот бесполезна, поэтому эта спектрограмма может быть смоделирована в виде таблицы с двумя осями, где:
- Ось Y представляет частоту внутри спектрограммы;
- Ось X представляет собой время, когда частота возникала в песне.
Эта отфильтрованная спектрограмма не является окончательным слепком песни, но это огромная его часть. В следующей статье мы поговорим о том, как сохраняются аудио слепки, и как происходит сравнение слепка, полученного на телефоне, с аналогичным слепком в базе данных Shazam.
Источник