Какие свойства присущи искусственным нейронным сетям

Искусственные нейронные сети индуцированы биологией, так как они состоят из элементов, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы затем организуются по способу, который соответствует анатомии мозга. Даже при таком поверхностном сходстве, искусственные нейронные сети демонстрируют удивительное число свойств, присущих мозгу. Например, они обучаются на основе опыта, обобщают предыдущие прецеденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей излишние данные.

Несмотря на такое функциональное сходство, даже самый оптимистичный их защитник не предположит, что в скором будущем искусственные нейронные сети будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями, находится ниже уровня дождевого червя, и энтузиазм должен быть умерен в соответствии с современными реалиями. Однако равным образом было бы неверным игнорировать удивительное сходство в функционировании некоторых нейронных сетей с человеческим мозгом. Эти возможности, как бы они ни были ограничены сегодня, наводят на мысль, что глубокое проникновение в человеческий интеллект, а также множество революционных приложений, могут быть не за горами.

Итак, рассмотрим некоторые свойства нейронных сетей.

1. Обучение

Искусственные нейронные сети могут менять свое поведение в зависимости от внешней среды. Этот фактор в большей степени, чем любой другой, ответствен за тот интерес, который они вызывают. После предъявления входных сигналов (возможно, вместе с требуемыми выходами) они самонастраиваются, чтобы обеспечивать требуемую реакцию. Было разработано множество обучающих алгоритмов, каждый со своими сильными и слабыми сторонами. Все еще существуют проблемы относительно того, чему сеть может обучиться и как обучение должно проводиться.

2. Обобщение

Отклик сети после обучения может быть до некоторой степени нечувствителен к небольшим изменениям входных сигналов. Эта внутренне присущая способность видеть образ сквозь шум и искажения жизненно важна для распознавания образов в реальном мире. Она позволяет преодолеть требование строгой точности, предъявляемое обычным компьютером, и открывает путь к системе, которая может иметь дело с тем несовершенным миром, в котором мы живем. Важно отметить, что искусственная нейронная сеть делает обобщения автоматически благодаря своей структуре, а не с помощью использования «человеческого интеллекта» в форме специально написанных компьютерных программ.

3. Абстрагирование

Некоторые из искусственных нейронных сетей обладают способностью извлекать сущность из входных сигналов. Например, сеть может быть обучена на последовательности искаженных версий буквы «А». После соответствующего обучения предъявление такого искаженного примера приведет к тому, что сеть породит букву совершенной формы (в данном случае букву «А»). В некотором смысле она научится порождать то, что никогда не видела. Способность извлекать идеальные прототипы является у людей весьма ценным качеством.

4. Применимость

Искусственные нейронные сети не являются панацеей. Они, очевидно, не годятся для выполнения таких задач, как начисление заработной платы, однако они незаменимы в большом классе других задач, с которыми плохо или вообще не справляются обычные вычислительные системы.

Источник

Нейросети для чайников

Сегодняшняя статья будет посвящена достаточно сложной теме – что такое искусственные нейронные сети и зачем они нужны. Я расскажу вам историю создания нейронных сетей, как развивалась эта наука о сетях и что сейчас она может предложить человечеству. Тема сложная для понимания и сразу вникнуть в тему вряд ли получится, однако я постараюсь изложить информацию как можно проще.

Тема нейронных сетей актуальна сейчас, как никогда – то и дело в сети встречается масса сайтов, на которых эти самые сети забавно совмещают картинки, разукрашивают ч/б фотографии, распознают рукописный текст, речь и т.д. Это лишь малая часть того, что на самом деле умеет ИНС (искусственная нейронная сеть). В теории, возможности ИНС безграничны, однако сейчас они существенно уступают тому, что умеет человеческий мозг. По сравнению с нейронными сетями, мы спокойно можем разобрать речь собеседника в шумном помещении, узнать человека среди сотен других людей и т.д.

ИНС умеет все то же самое, но работает намного медленнее и сравнивая нейросеть с живым существом, ее мощность пока находится на уровне мухи. Все же наш мозг добился отличной работоспособности спустя 50 000 лет эволюции (если мы говорим о Homo sapiens), а нейросети существуют не более 65 лет. Современные технологии сильно шагнули вперед и нет никаких сомнений, что через 10-15 лет нейрокомпьютеры вплотную приблизятся по своим возможностям к человеческому мозгу благодаря стремительному развитию нейросетей и искусственного интеллекта в целом.

Содержание:

История создания ИНС
Что такое нейросеть
Как работают нейронные сети
Где эффективны ИНС
Преимущества нейросети
Недостатки нейронной сети
Виды ИНС
Нейросети в реальной жизни

Искусственные нейронные сети – история создания

Впервые о нейронных сетях начали говорить в далеких 50-х годах прошлого века. В период с 1943 по 1950 год были представлены миру первые две основополагающие ученые работы. Одна из них – статья 1943 года от двух выдающихся ученых Уорена Маккалока и Уолтера Питтса освещала математическую модель нейронной сети, а в 1949 году канадский нейропсихолог Дональд Хебб выпустил книгу “Организация поведения”, в которой было подробное описание процесса самообучения ИНС.

Позднее, в 1957 году известный американский ученый Фрэнк Розенблатт изобрел перцептрон – математическую (компьютерную) модель обработки информации человеческим мозгом. Данная разработка уже в те годы умела прогнозировать погоду и распознавать образы, однако вскоре перцептрон жестко раскритиковали из-за скандальной работы Марвина Минского. В 1969 году он выпустил статью, в которой разъяснялось, какие задачи перцептроном не могут быть решены и при каких условиях его работа неэффективна. После этого интерес к нейросетям угас, но не на долго.

В 1974 году Пол Вербос разработал алгоритм обратного распространения ошибки, который используется и по сей день для обучения ИНС. Начиная с 1985 года Джон Хопфилд предлагает миру свое виденье устройства и работы нейросети, которая способна решать некоторые виды задач. Именно работы Джона Хопфилда вновь разогревают нешуточный интерес мировой общественности к искусственным нейронным сетям. В 90-е годы прошлого века алгоритм обратного распространения ошибки получил существенное развитие, за счет чего былая критика Минского касательно неработоспособности сетей была окончательно опровергнута. На сегодняшний день ИНС является главным подразделом машинного обучения.

Нейросеть – в целом об ИНС

Как я уже говорил, в этой статье все будет упрощено. Важно, чтобы каждый хотя бы в общих чертах понимал, что такое нейронные сети.

Итак, что же такое ИНС? Вспомните уроки биологии – каждое существо в нашем мире имеет нервную систему, а более продвинутые жители Земли еще и мозг. Биологические нейронные сети и есть наши с вами мозги. Органы чувств передают информацию о раздражителе нейронным сетям, а те в свою очередь обрабатывают ее, благодаря чему мы чувствуем тепло и холод, ветер, влагу, можем распознать образы, запомнить информацию и т.д.

Вот так выглядит наш с вами нейрон – очень сложная биологическая система.

Искусственный нейрон – это тот же биологический нейрон, но только сильно упрощенный. Нам ведь не нужны оболочки, мембраны, ядра, рибосомы и прочее, чтобы математический нейрон смог жить. Требуется лишь алгоритм работы биологического нейрона, чтобы осуществлять задуманное – самообучение компьютеров и их систем. Вот как выглядит упрощённый биологический нейрон в математическом виде.

А вот как выглядит наш с вами мозг, упрощенный до ИНС.

Нейронные сети – почему они работают?

Для начала – принцип работы ИНС в точности повторяет алгоритм работы биологических нейронных сетей. Чаще всего ответ на вопрос, “почему нейросети работают”, звучит так: каждый нейрон из сети умеет обрабатывать сигнал, а поскольку их миллиарды, то входящая информация на входе преобразуется в правильный сигнал на выходе.

Важно учитывать то, что алгоритм работы каждого нейрона одинаков, поэтому возникает вопрос: если все нейроны работают по одинаковому примеру, то почему нейросети могут выдавать разные ответы, а не один и тот же постоянно? Дело в том, что помимо самих нейронов существуют еще и синапсы.

Синапс – это место соединения выхода одного нейрона и входа другого, при этом сигнал при прохождении через синапс либо усиливается, либо ослабляется.

На картинке можно увидеть, как соединяются биологические нейроны друг с другом – красный цвет отображает главный нейрон, а желтый выходы близлежащих нейронов. Каждый из биологических нейронов обладает тысячами входов для других нейронов, а значит и синапсов также тысячи. Умножим наши тысячи на миллиарды нейронов (у человека около 85 млрд. нейронов в головном мозге) и получаем громадно число синапсов.

Каждый синапс индивидуален, он либо усиливает, либо ослабляет сигнал нейрона, проходящий через него. В течение жизни синапсы меняются, а значит и изменяются проходящие через них сигналы. Именно совместная работа нейрона и синапса преобразуют входящие сигналы в верные решения на выходе.

Вот как выглядит математический вид нейрона. Он состоит из входов, на которые подаются числа, весов (аналоги синапсов) и сумматора. Поступающие на входы числа умножаются на соответствующие веса, после чего произведения суммируются. Сумма всех результатов не является окончательным решением, и для выдачи готового результата используется функция активации. Функция активации вычисляет выходной сигнал сумматора в правильное решение. Всего существует три вида функции возбуждения:

пороговая функция;
гистерезис;
сигмоид.

Уровень сложности нейросетей

Ученые давно уже разработали алгоритм работы ИНС, однако даже сейчас технологии не позволяют моделировать слишком большое количество нейронов. Насколько их меньше, чем у человека? Внимание на картинку.

Это условное представление того, насколько ИНС отстают от человека. Возможности обычного ПК находятся около пиявки, а вот специальные реализации нейросетей уже приближаются к возможностям обычной мухи. Да, пока ИНС не внушают доверия, но прогресс не стоит на месте и даже маленькое смещение по диагонали на графике дает существенное увеличение синапсов, а как следствие правильности и скорости работы нейросети.

Когда эффективны ИНС?

Вы уже ознакомились с принципом работы нейронных сетей, теперь разберемся с тем, где их можно и нужно применять. По ходу жизни нам предстоит решать множество как легких, так и сложных задач. ИНС призвана помочь каждому человеку упростить его жизнь. Ниже опишу примеры задач и с помощью чего их можно решить – обычного ПК или нейронных сетей.

Простые и средние по сложности, принцип решения которых известен:

легкие уравнения;
распечатка документа;
запуск программы.

Подобные задачи решаются с помощью обычного ПК.

Мало- среднесложные задачи с частичным знанием решения:

прогнозирование ситуации;
нахождение погрешности;
приблизительные ответ уравнения.

Такие задачи решаются при помощи статистики.

Высокая сложность задачи с неизвестным решением:

сложное прогнозирование;
распознавание речи;
распознавание образов.

Эти задачи решаются только при помощи нейронных сетей. Объясняю:

Допустим, у вас есть общее фото с друзьями и вам необходимо распознать, кто и где стоит. Для вас это вряд ли окажется проблемой, а что насчет компьютера? Для ПК можно написать утилиту по распознаванию лиц, при этом алгоритм работы программы будет весьма и весьма приблизительный. Дело в том, что мы распознаем лица людей бессознательно, не задумываясь над тем, как работает в это время наш мозг, поэтому мы не знаем точные процессы, проходящие в нем. Именно это и не позволяет написать точный алгоритм работы приложения.

Что касается нейросети, то для распознавания различных объектов она просто незаменима. ИНС можно научить распознавать лица, при этом самообучение, присуще нейросетям, позволит алгоритму приложения безошибочно определять, кто изображен на фотографии. ИНС можно научить всему, что мы делаем на бессознательном уровне. Да, это трудно, но это возможно.

Преимущества нейросети

1. Шум входных данных

Для примера, представьте стадион с его тысячами посетителей. Громко играет музыка, вокруг люди разговаривают, веселятся, поют, а вы с собеседником сидя на трибуне беседуете о чем-то своем. Ваши уши улавливают тонны ненужных звуков, но мозг их фильтрует и воспринимает только то, что говорит вам собеседник. Подобное качество есть и у нейросетей. После обучения они способны воспринимать только нужную им информацию, несмотря на посторонние шумы (лишнюю информацию).

2. Адаптация к изменениям

Допустим, у вас установлено Вконтакте и на протяжении долгого времени оно не обновлялось. Однако, сегодня утром пришло обновление и появились новые функции (клипы, етить их за ногу ТикТока). Посидев минуту-другую вы ознакомились с новым функционалом и готовы использовать приложение в полную силу. Незначительные изменения не вызвали у вас никаких проблем. То же самое и с ИНС. Возможность адаптации нейросетей к изменениям позволяет им работать в правильном режиме все время. Самообучение – самое важное свойство ИНС.

3. Отказоустойчивость

Бывают такие случаи, когда человеку по причине болезни удаляют часть мозга, при этом на работоспособность пациента это практически не влияет. Все благодаря тому, что остальная часть головного мозга берет на себя функции удаленной, может не в полной мере, но человек имеет возможность продолжать жить и наслаждаться жизнью.

Подобное свойство присуще и искусственным нейросетям, когда при повреждении некоторого количества нейронов, выдаваемые ответы системы в общем – логичны и правильны.

4. Быстрота работы

Каждый из нейронов, по сути, является микропроцессором, но поскольку нейронная сеть состоит из тысяч таких нейронов, между которыми распределяется задача, ее решение происходит очень быстро – намного быстрее, чем при использовании обычных алгоритмов решения.

Недостатки нейронных сетей

Казалось бы, ИНС – это идеальное решение всех существующих проблем, но это совсем не так, поскольку недостатки у нейросетей также есть. ИНС не есть панацея – это лишь отличный дополнительный функционал для решения тех или иных задач.

1. Приблизительный ответ

Нейронные сети не способны выдавать точный ответ. Они могут дать правильный ответ, который будет отличаться от неверного всего на несколько процентов и с этим ничего не поделаешь.

2. Многошаговые решения

ИНС не способна шаг за шагом решить задачу, поскольку каждый нейрон является независимым и решает свою часть задачи так, как пожелает нужным. Грубо говоря, ему все равно, что там решил нейрон-сосед.

3. Вычислительные процессы

Нейросети не могут решать вычислительные задачи из-за двух вышеописанных недостатков. Допустим, необходимо решить какое-нибудь уравнение. Мы знаем, что решать его необходимо в последовательном режиме, а ИНС, увы, этого не умеет.

Виды искусственных нейронных сетей

Для начала стоит знать, что любая нейросеть состоит из двух основных слоёв – принимающего (он же и распределительный) сигналы и обрабатывающего. Однако, если нейронная сеть состоит только лишь из этих двух слоев – то она однослойная, если слоев больше, то многослойная. Теперь поподробнее.

Однослойная ИНС – входящие сигналы сразу передаются с входного слоя на выходной, который обрабатывает их и выдает готовый результат. На изображении распределяющий слой изображен кружочками, а обрабатывающий – квадратиками.

Многослойная ИНС – сеть, которая состоит из входного, скрытого и обрабатывающего слоев. Сигнал с распределяющего слоя частично обрабатывается скрытым слоем, после чего передается на последний слой нейронов, вычисляющий конечный результат.

Интересно то, что скрытые слои ИНС ученые научились обучать совсем недавно и это большой шаг вперед, поскольку многослойные нейросети существенно превосходят по производительности и возможностям однослойные.

Также стоит знать, что работают сети в двух направлениях – прямое распределение и обратное. ИНС прямого распределения дают возможность решать с успехом большинство задач: прогнозирование, кластеризация и распознавание. В таких нейросетях сигнал передается только вперед, назад он возвращаться не имеет возможности.

А что же тогда с обратными связями в ИНС? В подобных сетях часть сигнала от нейронов может быть возвращена назад и такой принцип работы существенно расширяет возможности нейросетей. Такие ИНС могут обладать кратковременной памятью как у человека.

Нейронные сети – использование в реальной жизни

Искусственные нейронные сети используют практически везде. Например, все вы знаете о Google картах с режимом Street View. Так вот, при просмотре улиц каждый из нас замечал замазанные лица людей и номера машин – все это выполнили нейронные сети. Также при наборе текста посредством голоса (распознавание речи) используются нейронные сети. На просторах интернета существует множество развлекательных проектов с применением нейронных сетей. Это и приложение MSQRD – наложение всевозможных масок на лицо в реальном времени, и Андроид-приложение Mlvch, которое обрабатывает картинки при помощи ИНС, и многое другое.

Более серьезное применение нейроных сетей можно увидеть в яндексовском приложении Авто.ру, которое распознает автомобили на снимках; CaptionBot от Майкрософт – нейросеть автоматически придумывает подпись к изображениям, исходя из содержания картинок; WhatDog – распознавание породы собак, изображенных на фотографиях и т.п.

Нейросети умеют практически все, но их работа пока напоминает черный ящик. Дело в том, что при работе с нейронными сетями самым сложным и трудоемким процессом является обучение ИНС решать ту или иную задачу. Необходимо учитывать каждую деталь, каждую мелочь, поскольку даже незначительная ошибка или отсутствие минимальной части данных приведет к неправильной работе всей нейронной сети в целом.

Источник

Доброго времени вам суток, уважаемое Хабрасообщество.

Хочу вначале сделать маленький дисклеймер. Предыдущим постом в этом сообществе были рассмотрены основы искусственной нейронной сети. Я данной темой занималась для написания своей магистерской работы и соответственно прочитала в свое время достаточно литературы, поэтому мне бы хотелось немного дополнить и в дальнейшем продолжить вам рассказывать о том, что такое нейронная сеть, какое представление она имеет изнутри, как с ее помощью решают задачи и так далее…
Сразу оговорюсь, что я не гуру в данном вопросе, я его знаю (ну или знала, так как времени прошло уже достаточно) настолько глубоко, насколько мне было это необходимо для написания работающей нейронной сети для распознавания цифр, ее обучения и дальнейшего использования. Предметом исследования была структура нейронной сети для распознавания символов, а конкретно, зависимость между количеством нейронов в скрытом слое и сложностью выборки для входных данных (количеством символов для распознавания).

UPD: данный текст в основном является обобщением из прочитанной литературы. Он не написан мною лично. По крайней мере эта часть.
UPD2: Скорей всего продолжения данной темы не будет, так как хабрапользователь stepan_ovchinnikov, который является смотрителем данного блога, считает, что нет смысла писать здесь то, что можно прочитать из многочисленной литературы, которая есть по нейронным сетям. Так что извините.

Возможно первая часть будет в чем-то похожа на предыдущий пост хабрапользователя Kallisto, но я считаю, что стоит более детально рассмотреть строение искусственного нейрона, у меня есть, что добавить, ну и, плюс ко всему, я хочу написать полноценную и законченную серию постов про нейросети, не опираясь на уже написанное. Надеюсь вам будет полезен данный материал.

Биологический прототип нейрона

Первой попыткой создания и исследования искусственных нейронных сетей считается работа Дж. Маккалока (J. McCulloch) и У. Питтса (W. Pitts) «Логическое исчисление идей, относящихся к нервной деятельности» (1943 г.), в которой были сформулированы основные принципы построения искусственных нейронов и нейронных сетей. И хотя эта работа была лишь первым этапом, многие идеи, описанные в ней, остаются актуальными и на сегодняшний день.

Искусственные нейронные сети индуцированы биологией, потому что они состоят из элементов, функциональные возможности которых аналогичны большинству функций биологического нейрона. Эти элементы можно организовать таким образом, который может соответствовать анатомии мозга, и они демонстрируют большое количество свойств, которые присущие мозгу. Например, они могут учиться на основе опыта, могут обобщать предыдущие прецеденты на новые случаи и выявлять существенные особенности из входных данных, которые содержат избыточную информацию.

Центральная нервная система имеет клеточное строение. Единица — нервная клетка, нейрон. Он состоит из тела и отростков, которые соединяют его с внешним миром (рис. 1.1). Отростки, по которым нейрон получает возбуждение, называются дендритами. Отросток, по которому нейрон передает возбуждение, называется аксоном, причем аксон у каждого нейрона один. Дендриты и аксон имеют довольно сложную ветвистую структуру. Место соединения аксона нейрона — источника возбуждения с дендритом называется синапсом. Основная функция нейрона состоит в передаче возбуждения из дендритов в аксон. Но сигналы, которые поступают из разных дендритов, могут влиять на сигнал в аксоне. Нейрон выдаст сигнал, если суммарное возбуждение превысит некоторое предельное значение, которое в общем случае меняется в некоторых границах. В противном случае на аксон сигнал выдан не будет: нейрон не ответит на возбуждение. У этой основной схемы много осложнений и исключений, однако большинство нейронных сетей моделируют именно эти простые свойства.

(рисунок 1.1) — Модель биологического нейрона

Нейрон имеет следующие основные свойства:

Принимает участие в обмене веществ и рассеивает энергию. Меняет внутреннее состояние со временем, реагирует на входные сигналы, формирует выходные воздействия и поэтому является активной динамической системой.
Имеет множество синапсов — контактов для передачи информации

Существуют два подхода к созданию искусственных нейронных сетей (НС). Информационный подход: безразлично, какие механизмы лежат в основе работы искусственных нейронных сетей, важно лишь, чтобы при решении задач информационные процессы в НС были подобны биологическим. Биологический: при моделировании важно полное биоподобие, и для этого необходимо детально изучать работу биологического нейрона.

Интенсивность сигнала, который получает нейрон (а следовательно и возможность его активации), сильно зависит от активности синапсов. Каждый синапс имеет длину, и специальные химические вещества передают сигнал вдоль него. Один из самых авторитетных исследователей нейросистем, Дональд Хебб, высказал постулат, что обучение состоит в первую очередь в изменениях «силы» синаптических связей. Например, в классическом опыте Павлова, каждый раз непосредственно перед кормлением собаки звонил колокольчик, и собака быстро научилась связывать звонок колокольчика с пищей. Синаптические связи между участками коры главного мозга, ответственными за слух, и слюнными железами усилились, и при возбуждении коры звуком колокольчика у собаки начиналось слюноотделение.

Таким образом, будучи построенный из очень большого числа совсем простых элементов (каждый из которых берет взвешенную сумму входных сигналов и в случае, если суммарный вход превышает определенный уровень, передает дальше двоичный сигнал), мозг способен решать чрезвычайно сложные задачи.

Искуственный нейрон

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый с которых является выходом другого нейрона. Каждый вход множится на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рисунке 1.2 представлена модель, которая реализует эту идею. Хотя сети бывают довольно разные, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных x1, x2, …, xn, поступают на искусственный нейрон. Эти входные сигналы отвечают сигналам, которые приходят в синапсы биологического нейрона. Каждый сигнал множится на соответствующий вес w1, w2,…, wn, и поступает на суммирующий блок, обозначенный ∑. Каждый вес отвечает «силе» одной биологической синаптической связи. Суммирующий блок, который соответствует телу биологического элемента, алгебраически объединяет взвешенные входы, создавая выход NET:

(рисунок 1.2) — Искусственный нейрон в первом приближении

Данное описание можно представить следующей формулой

где w0 — биас;
wі — вес i- го нейрона;
xі — выход i- го нейрона;
n — количество нейронов, которые входят в обрабатываемый нейрон

Сигнал w0, который имеет название биас, отображает функцию предельного значения, сдвига. Этот сигнал позволяет сдвинуть начало отсчета функции активации, которая в дальнейшем приводит к увеличению скорости обучения. Этот сигнал добавляется к каждому нейрону, он учится как и все другие весы, а его особенность в том, что он подключается к сигналу +1, а не к выходу предыдущего нейрона.

Полученный сигнал NET как правило обрабатывается функцией активации и дает выходной нейронный сигнал OUT (рис. 1.3)

(рисунок 1.3) — Искусственный нейрон с функцией активации

Если функция активации суживает диапазон изменения величины NET так, что при каждом значении NET значения OUT принадлежат некоторому диапазону — конечному интервалу, то функция F называется функцией, которая суживает. В качестве этой функции часто используются логистическая или «сигмоидальная» функция. Эта функция математически выражается следующим образом:

Основное преимущество такой функции — то, что она имеет простую производную и дифференцируется по всей оси абсцисс. График функции имеет следующий вид (рис. 1.4)

(рисунок 1.4) — Вид сигмоидальной функции активации

Функция усиливает слабые сигналы и предотвращает насыщение от больших сигналов.

Другой функцией, которая также часто используется, является гиперболический тангенс. По форме она похожа на сигмоидальную и часто используется биологами в качестве математической модели активации нервной клетки. Она имеет вид

Как и логистическая функция, гиперболический тангенс имеет S-образный вид, но он является симметричным относительно начала координат, и в точке NET=0 значение выходного сигнала OUT=0 (рис. 1.5). На графике можно увидеть, что эта функция, в отличии от логистической, принимает значение разных знаков, что является очень выгодным свойством для некоторых типов сетей.

(рисунок 1.5) — Вид функции активации — гиперболический тангенс

Рассмотренная модель искусственного нейрона игнорирует много свойств биологического нейрона. Например, она не принимает во внимание задержки во времени, которые влияют на динамику системы. Входные сигналы сразу порождают исходные. Но несмотря на это, искусственные нейронные сети, составленные из рассмотренных нейронов, выявляют свойства, которые присущи биологической системе.

ссылки на литературу:
1. Ф. Уоссермен. Нейрокомпьютерная техника: теория и практика. Перевод на русский язык Ю. А. Зуев, В. А. Точенов, 1992
2. И. В. Заенцев. Нейронные сети: основные модели. Учебное пособие к курсу “Нейронные сети”

Источник