Введення.

ЧОМУ САМЕ штучні нейронні мережі?

Після двох десятиліть майже повного забуття інтерес доштучним нейронних мереж швидко виріс за останні кілька років.
Фахівці з таких далеких областей, як технічнеконструювання, філософія, фізіологія і психологія, заінтригованіможливостями, які надаються цією технологією, і шукають програми імвсередині своїх дисциплін. Це відродження інтересу було викликано яктеоретичними, так і прикладними досягненнями. Несподівано відкрилисяможливості використання обчислень у сферах, до цього відносяться лише до області людського інтелекту, можливості створення машин,здатність яких вчитися і запам'ятовувати дивним чином нагадує розумові процеси людини, і наповнення новим значнимзмістом що критикував терміна «штучний інтелект».

властивості штучних нейронних мереж

Штучні нейронні мережі індукованих біологією, так як вонискладаються з елементів, функціональні можливості яких аналогічнібільшості елементарних функцій біологічного нейрона. Ці елементипотім організовуються за способом, який може відповідати (або невідповідати) анатомії мозку. Незважаючи на таке поверхневесхожість, штучні нейронні мережі демонструють дивне числовластивостей притаманних мозку. Наприклад, вони навчаються на основі досвіду, узагальнюють попередні прецеденти на нові випадки та отримують суттєвівластивості з надходить інформації, яка містить зайві дані.
Незважаючи на таке функціональне схожість, навіть самий оптимістичний їх захисник не припустить, що в недалекому майбутньому штучні нейроннімережі будуть дублювати функції людського мозку. Реальний «інтелект»,демонструють найскладнішими нейронними мережами. Книга маєпрактичну спрямованість. Якщо глави уважно вивчені, то більшу частину мереж виявляється можливим реалізувати на звичайному комп'ютерізагального призначення. Читачеві настійно рекомендується так і поступати.
Жоден інший метод не дозволить домогтися настільки ж глибокого розуміння.

Передмова

Що таке штучні нейронні мережі? Що вони можуть робити? Яквони працюють? Як їх можна використовувати? Ці та безліч подібнихпитань задають фахівці з різних областей. Знайти зрозумілувідповідь нелегко. Університетських курсів мало, семінари дуже дорогі, авідповідна література занадто велика і спеціалізовані.
Підготовлювані до друку чудові книги можуть збентежити початківців.
Часто написані на технічному жаргоні, багато хто з них припускаютьвільне володіння розділами вищої математики, рідко використовуються вінших областях. Ця книга є систематизованим вступнимкурсом для професіоналів, не спеціалізуються в математиці. Всіважливі поняття формулюються спочатку звичайною мовою. Математичнівикладки використовуються, якщо вони роблять виклад більш ясним. Наприкінціглав поміщені складні висновки і докази, а також наводяться посилання на інші роботи. Ці посилання становлять велику бібліографію найважливіших робіт в областях, пов'язаних зі штучними нейронними мережами. Такийбагаторівневий підхід не тільки надає читачеві огляд поштучним нейронних мережах, але також дозволяє зацікавленимособам серйозніше і глибше вивчити предмет. Значні зусилля буливключені, щоб зробити книгу зрозумілою і без надмірного спрощенняматеріалу. Читачам, які побажали продовжити більш поглибленетеоретичне вивчення, не доведеться переучуватися. При спрощеномувикладі даються посилання на більш докладні роботи. Книгу необов'язково читати від початку до кінця. Кожен розділ передбачаєтьсязамкнутою, тому для розуміння достатньо лише знайомства ззмістом гол. 1 і 2. Хоча деякий повторення матеріалу неминуче,більшості читачів це не буде обтяжливо.

Навчання

Штучні нейронні мережі можуть змінювати свою поведінкузалежності від зовнішнього середовища. Цей фактор більшою мірою, ніж будь-якийінший, відповідальний за той інтерес, який вони викликають. Післяпред'явлення вхідних сигналів (можливо, разом з необхідними виходами)вони самоналаштуванням, щоб забезпечувати необхідну реакцію. Булорозроблено безліч навчальних алгоритмів, кожен зі своїми сильними іслабкими сторонами. Як зазначено в цій книзі пізніше, все щеіснують проблеми щодо того, чому мережа може навчитися і якнавчання має проводитися.

Узагальнення

Відгук мережі після навчання може бути до певної міринечутливий до невеликих змін вхідних сигналів. Ця внутрішньопритаманна здатність бачити образ крізь шум і спотворення життєво важлива для розпізнавання образів у реальному світі. Вона дозволяє подолативимога суворої точності, що пред'являється звичайним комп'ютером, івідкриває шлях до системи, яка може мати справу з тим недосконалимсвітом, у якому ми живемо. Важливо відзначити, що штучна нейроннамережа робить узагальнення автоматично завдяки своїй структурі, а не здопомогою використання «людського інтелекту» у формі спеціальнонаписаних комп'ютерних програм.

Введення

Абстрагування

Деякі з штучних нейронних мереж мають здатністьвитягати сутність з вхідних сигналів. Наприклад, мережа може бутинавчена на послідовність спотворених версій букви А. Післявідповідного навчання пред'явлення такого спотвореного прикладупризведе до того, що мережа породить букву досконалої форми. Упевному сенсі вона навчиться породжувати те, що ніколи не бачила.
Ця здатність витягати ідеальне з недосконалих входів ставитьцікаві філософські питання. Вона нагадує концепцію ідеалів,висунуту Платоном в його «Республіці». В усякому разі, здатністьвитягувати ідеальні прототипи є у людей дуже ціннимякістю.

Застосовність

Штучні нейронні мережі не є панацеєю. Вони, очевидно,не годяться для виконання таких завдань, як нарахування заробітної плати.
Схоже, однак, що їм буде віддаватися перевага у великому класізадач розпізнавання образів, з якими погано або взагалі не справляютьсязвичайні комп'ютери.

ІСТОРИЧНИЙ АСПЕКТ

Людей завжди цікавило їхнє власне мислення. Цесамовопрошеніе, думання мозку про себе самого є, можливо,відмінною рисою людини. Є безліч роздумів про природумислення, що тягнуться від духовних до анатомічних. Обговорення цьогопитання, що протікали в гарячих суперечках філософів і теологів з фізіологамита анатомії, принесло мало користі, так як сам предмет досить важкийдля вивчення. Ті, хто спирався на самоаналіз і роздуми, прийшли довисновків, що не відповідає рівню суворості фізичних наук.
Експериментатори ж знайшли, що мозок важкий для спостереження і ставить углухий кут своєю організацією. Коротше кажучи, потужні методи науковогодослідження, що змінили наш погляд на фізичну реальність, виявилисябезсилими в розумінні самої людини. Нейробіологи і нейроанатомидосягли значного прогресу. Ретельно вивчаючи структуру і функціїнервової системи людини, вони багато чого зрозуміли в «електропроводці» мозку,але мало дізналися про його функціонування. У процесі накопичення ними знань з'ясувалося, що мозок має приголомшливу складність. Сотні мільярдів нейронів, кожен з яких з'єднаний з сотнями або тисячами Інших,утворюють систему, далеко перевершує наші найсміливіші мрії просуперкомп'ютерах. Тим не менше, мозок поступово видає свої секретив процесі одного з найбільш напружених і честолюбних досліджень вісторії людства. Краще розуміння функціонування нейрона ікартини його зв'язків дозволило дослідникам створити математичнімоделі для перевірки своїх теорій. Експерименти тепер можуть проводитисяна цифрових комп'ютерах без залучення людини або тварини, щовирішує багато практичні та морально-етичні проблеми. У першому жроботах з'ясувалося, що ці моделі не тільки повторюють функції мозку,але і здатні виконувати функції, які мають свою власну цінність.
Тому виникли і залишаються в даний час дві взаємно збагачують один одного мети нейронного моделювання: перший - зрозумітифункціонування нервової системи людини на рівні фізіології іпсихології і друге - створити обчислювальні системи (штучнінейронні мережі), які виконують функції, схожі з функціями мозку.
Саме ця остання мета і знаходиться в центрі уваги цієї книги.
Паралельно з прогресом у нейроанатоміі та нейрофізіології психологамибули створені моделі людського навчання. Однією з таких моделей,що виявилася найбільш плідною, була модель Д. Хебба, який у 1949р. запропонував закон навчання, що з'явився стартовою точкою для алгоритмів навчання штучних нейронних мереж. Доповнений сьогоднібезліччю інших методів він продемонстрував вченим того часу, як мережу нейронів може навчатися. У п'ятдесяті та шістдесяті рокигрупа дослідників, об'єднавши ці біологічні та фізіологічніпідходи, створила перші штучні нейронні мережі. Виконаніспочатку як електронні мережі, вони були пізніше перенесені вбільш гнучку середу комп'ютерного моделювання, що збереглася і вданий час. Перші успіхи викликали вибух активності і оптимізму.
Мінський, Розенблатта, Уїдроу та інші розробили мережі, що складаються зодного шару штучних нейронів. Часто звані персептронамі, вони були використані для такого широкого класу задач, як прогнозпогоди, аналіз електрокардіограм і штучне зір. Протягомдеякого часу здавалося, що ключ до інтелекту знайдено, івідтворення людського мозку є лише питаннямконструювання досить великої мережі. Але ця ілюзія скорозникла. Мережі не могли вирішувати задачі, зовні дуже схожі зтими, які вони успішно вирішували. З цих непояснених невдач почавсяперіод інтенсивного аналізу. Мінський, використовуючи точні математичніметоди, суворо довів ряд теорем, що відносяться до функціонування мереж.

Його дослідження привели до написання книги [4], в якій вінразом з Пайпертом довів, що використовуються в той час одношаровімережі теоретично нездатні вирішити багато прості завдання, в томучислі реалізувати функцію «Що виключає АБО». Мінський також не бувоптимістичний щодо потенційно можливого тут прогресу:
Персептрон показав себе заслуговує на вивчення, не дивлячись на жорсткіобмеження (і навіть завдяки їм). У нього багато привабливихвластивостей: лінійність, цікава теорема про навчання, простота моделіпаралельних обчислень. Немає підстав вважати, що ці достоїнствазберігатися при переході до багатошаровим системам. Тим не менше мивважаємо важливим завданням для дослідження підкріплення (абоспростування) нашого інтуїтивного переконання, що такий перехід безплідний.

Можливо, буде відкрита якась потужна теорема про збіжності абознайдена глибока причина невдач дати цікаву «теорему навчання»для багатошарових машин ([4], С.231-232). Блиск і строгістьаргументації Мінського, а також його престиж породили величезну довіру до книги - її висновки були невловимі. Розчаровані дослідникизалишили поле досліджень заради більш обіцяють областей, ауряду перерозподілили свої субсидії, і штучні нейроннімережі були забуті майже на два десятиліття. Тим не менше,декілька найбільш наполегливих вчених, таких як Кохонена, Гроссберг,
Андерсон продовжили дослідження. Поряд з поганим фінансуванням інедостатньою оцінкою ряд дослідників випробовував утруднення зпублікаціями. Тому дослідження, опубліковані в сімдесяті і впочатку вісімдесятих років, розкидані в масі різних журналів,деякі з яких маловідомі. Поступово з'явився теоретичнийфундамент, на основі якого сьогодні конструюються найбільш потужнібагатошарові мережі. Оцінка Мінського виявилася занадто песимістичною,багато з поставлених в його книзі завдань вирішуються зараз мережами здопомогою стандартних процедур. За останні кілька років теоріястала застосовуватися в прикладних областях, і з'явилися нові корпорації,займаються комерційним використанням цієї технології. Наростаннянаукової активності мало вибуховий характер. У 1987 р. було проведеночотири великі наради по штучних нейронних мереж таопубліковано понад 500 наукових повідомлень - феноменальна швидкістьзростання. Урок, який можна зробити з цієї історії, виражаєтьсязаконом Кларка, висунутим письменником і вченим Артуром Кларком. У ньомустверджується, що, якщо великий шановний вчений говорить, що щосьможе бути виконано, то він (або вона) майже завжди правий. Якщо ж вченийговорить, що це не може бути виконано, то він (або вона) майжезавжди не прав. Історія науки є літописом помилок і частковихістин. Те, що сьогодні не піддається сумнівам, завтра відкидається.
Некритичне сприйняття «фактів» незалежно від їхнього джерела можепаралізувати науковий пошук. З одного боку, блискуча науковаробота Мінського затримала розвиток штучних нейронних мереж. Нісумнівів, однак, у тому, що область постраждала внаслідокнеобгрунтованого оптимізму і відсутності достатньої теоретичної бази. І можливо, що шок, викликаний книгою «Персептрони», забезпечивнеобхідний для дозрівання цієї наукової області період.

Штучні нейронні мережі СЬОГОДНІ

Є багато вражаючих демонстрацій можливостей штучнихнейронних мереж: мережа навчили перетворювати текст у фонетичнеподання, яке потім за допомогою вже інших методів перетворювалосяв мова [7]; інша мережа може розпізнавати рукописні літери [1];сконструйована система стиснення зображень, заснована на нейронноїмережі [2]. Всі вони використовують мережу зворотного розповсюдження - найбільшуспішний, мабуть, із сучасних алгоритмів. Зворотнепоширення, незалежно запропоноване в трьох різних роботах [8,
5, 6,], є систематичним методом для навчання багатошаровихмереж, і тим самим долає обмеження, зазначені Мінським. Як підкреслюється в наступних розділах, зворотне поширення невільно від проблем. Перш за все, немає гарантії, що мережа може бутинавчена за кінцевий час. Багато зусиль, витрачених на навчання,пропадає марно після витрат великої кількості машинного часу.
Коли це відбувається, спроба навчання повторюється - без будь-якоївпевненості, що результат виявиться кращим. Немає також упевненості, щомережа навчиться можливим найкращим чином. Алгоритм навчання може потрапитив «пастку» так званого локального мінімуму і буде отримано найгіршерішення. Розроблено багато інших мережевих алгоритмів навчання,що мають свої специфічні переваги. Деякі з них обговорюються внаступних розділах. Слід підкреслити, що жодна з сьогоднішніхмереж не є панацеєю, всі вони страждають від обмежень у своїхможливості навчатися й згадувати. Ми маємо справу з областю,продемонструвала свою працездатність, що має унікальніпотенційні можливості, багато обмежень і безліч відкритихпитань. Така ситуація налаштовує на помірний оптимізм. Авторисхильні публікувати свої успіхи, але не невдачі, створюючи тим самимвраження, що може виявитися нереалістичним. Ті, хто шукаєкапітал, щоб ризикнути і заснувати нові фірми, повинні представитипереконливий проект подальшого здійснення і прибутку. Існує,отже, небезпека, що штучні нейронні мережі почнутьпродавати раніше, ніж прийде їхній час, обіцяючи функціональніможливості, яких поки що неможливо досягти. Якщо це станеться,то область в цілому може постраждати від втрати кредиту довіри іповернеться до застійний період сімдесятих років. Для поліпшенняіснуючих мереж потрібно багато грунтовної роботи. Повинні бутирозвинені нові технології, поліпшені існуючі методи і розширенітеоретичні основи, перш ніж ця область зможе повністюреалізувати свої потенційні можливості.

ПЕРСПЕКТИВИ НА МАЙБУТНЄ

Штучні нейронні мережі запропоновані для задач, що тягнутьсявід управління боєм до догляду за дитиною, Потенційними додатками є ті, де людський інтелект малоефективний, а звичайніобчислення трудомісткі або неадекватні. Цей клас програм, у всякомуразі, не менше класу, що обслуговується звичайними обчисленнями, і можнаприпускати, що й?? штучні нейронні мережі займуть своє місце поряд ззвичайними обчисленнями як доповнення такого ж обсягу та важливості.

Штучні нейронні мережі та експертні системи

В останні роки над штучними нейронними мережамидомінували логічні і символьний-операційні дисципліни. Наприклад,широко пропагувалися експертні системи, у яких є багатопомітних успіхів, так само, як і невдач. Дехто каже, щоштучні нейронні мережі замінять собою сучасний штучнийінтелект, але багато що свідчить про те, що вони будутьіснувати, об'єднуючись в системах, де кожен підхід використовуєтьсядля вирішення тих завдань, з якими він краще справляється. Ця точказору підкріплюється тим, як люди функціонують в нашому світі.
Розпізнавання образів відповідає за діяльність, що вимагає швидкої реакції.
Оскільки дії відбуваються швидко і несвідомо, то цей спосібфункціонування важливий для виживання у ворожому оточенні. Уявітьтільки, що було б, якби наші предки змушені були обмірковувати своюреакцію на який стрибнув хижака? Коли наша система розпізнаванняобразів не в змозі дати адекватну інтерпретацію, питання передаєтьсяу вищі відділи мозку. Вони можуть запросити додаткову інформацію ізаймуть більше часу, але якість отриманих в результаті рішень можебути вище. Можна уявити собі штучну систему,наслідують такого поділу праці. Штучна нейронна мережареагувала б у більшості випадків відповідним чином на зовнішнюсередовище. Так як такі мережі здатні вказувати довірчий рівень кожного рішення, то мережу «знає, що вона не знає» і передає даний випадокдля вирішення експертній системі. Рішення, прийняті на цьому більшевисокому рівні, були б конкретними і логічними, але вони можуть мати потребу в зборі додаткових фактів для отримання остаточногоув'язнення. Комбінація двох систем була б більш потужною, ніж кожназ систем окремо, дотримуючись при цьому високоефективної моделі,що дається біологічною еволюцією.

Міркування надійності

Перш ніж штучні нейронні мережі можна буде використовуватитам, де поставлені на карту людське життя або цінне майно,повинні бути вирішені питання, пов'язані з їх надійності. Подібнолюдям, структуру мозку яких вони копіюють, штучні нейронні мережізберігають певною мірою непередбачуваність. Єдиний спосібточно знати вихід полягає у випробуванні всіх можливих вхідних сигналів. У великій мережі така повна перевірка практично нездійсненна і повиннівикористовуватися статистичні методи для оцінки функціонування. Удеяких випадках це неприпустимо. Наприклад, що є прийнятнимрівнем помилок для мережі, що управляє системою космічної оборони?
Більшість людей скаже, будь-яка помилка неприпустима, оскільки веде до величезного числа жертв і руйнувань. Це ставлення не змінюється від тогообставини, що людина в подібній ситуації також може допускатипомилки. Проблема виникає через допущення повної безпомилковостікомп'ютерів. Тому що штучні нейронні мережі іноді будутьробити помилки навіть при правильному функціонуванні, то, яквідчувається багатьма, це веде до ненадійність - якості, що мивважаємо неприпустимим для наших машин. Схожа труднощіполягає в нездатності традиційних штучних нейроннихмереж "пояснити", як вони вирішують завдання. Внутрішнє подання,підлозі чающееся в результаті навчання, часто настільки складно, що йогонеможливо проаналізувати, за винятком найпростіших випадків.
Це нагадує нашу нездатність пояснити, як ми дізнаємося людини,незважаючи на різницю у відстані, вугіллі, освітленні і на минуліроки. Експертна система може простежити процес своїх міркувань взворотному порядку, так що людина може перевірити її на розумність.
Повідомлялося про вбудовуванні цієї здатності в штучні нейроннімережі [3], що може істотно вплинути на прийнятність цихсистем.

ВИСНОВКИ

Штучні нейронні мережі є важливим розширенням поняттяобчислення. Вони обіцяють створення автоматів, які виконують функції, що булираніше виключною прерогативою людини. Машини можуть виконуватинудні, монотонні і небезпечні завдання, і з розвитком технологіївиникнуть зовсім нові програми. Теорія штучнихнейронних мереж розвивається стрімко, але в даний час вонанедостатня, щоб бути опорою для найбільш оптимістичних проектів.
У ретроспективі видно, що теорія розвивалася швидше, ніжпророкували песимісти, але повільніше, ніж сподівалися оптимісти, --типова ситуація. Сьогоднішній вибух інтересу залучив до нейронних мереж тисячі дослідників. Резонно очікувати швидкого зростання нашого розуміння штучних нейронних мереж, що веде до більш досконалих мережевимпарадигм і безлічі прикладних можливостей.

Глава I Основи штучних нейронних мереж

Штучні нейронні мережі надзвичайно різноманітні за своїмконфігурацій. Незважаючи на таке розмаїття, мережеві парадигми маютьбагато спільного. У цій главі подібні питання зачіпаються для того,щоб читач був знайомий з ними до того моменту, коли пізніше вони зновузустрінуться в книзі. Використані тут позначення та графічніподання були обрані як найбільш широко використовуються в данийчас (опублікованих стандартів не є), вони зберігаються наПротягом всієї книги.

БІОЛОГІЧНИЙ ПРОТОТИП

Розвиток штучних нейронних мереж надихається біологією. ТеТобто, розглядаючи мережеві конфігурації і алгоритми, дослідникимислять їх у термінах організації мозкової діяльності. Але на цьомуаналогія може і закінчитися. Наші знання про роботу мозку настількиобмежені, що мало б знайшлося керівних орієнтирів для тих, хтостав би його наслідувати. Тому розробникам мереж доводиться виходитиза межі сучасних біологічних знань у пошуках структур,здатних виконувати корисні функції. У багатьох випадках це призводить донеобхідність відмови від біологічної правдоподібності, мозок стаєпросто метафорою, і створюються мережі, неможливі в живій матерії абовимагають неправдоподібно великих припущень про анатомію іфункціонування мозку. Незважаючи на те, що зв'язок з біологією слабкаі часто несуттєва, штучні нейронні мережі продовжуютьпорівнюватися з мозком. Їх функціонування часто нагадуєлюдське пізнання, тому важко уникнути цієї аналогії. Дожаль, такі порівняння неплодотворни і створюють невиправданіочікування, неминуче ведуть до розчарування. Дослідницькийентузіазм, що базується на хибних сподіваннях, може випаруватися,зіткнувшись з суворою дійсністю, як це вже одного разу було вшістдесяті роки, і багатообіцяюча область знову прийде в занепад, якщоне буде дотримуватися необхідна стриманість. Незважаючи на зробленіпопередження, корисно все-таки знати дещо про нервову системуссавців, тому що вона успішно вирішує завдання, до виконанняяких лише прагнуть штучні системи. Подальше обговореннядуже коротко. Нервова система людини, побудована з елементів,званих нейронами, має приголомшливу складність. Близько 10нейронів беруть участь у приблизно 10 передавальних зв'язках, що мають довжинуметр і більше. Кожен нейрон володіє багатьма якостями, спільними зіншими елементами тіла, але його унікальною здатністю є прийом,обробка і передача електрохімічних сигналів по нервових шляхах, якіутворюють комунікаційну систему мозку.

Рис. 1.1. Біологічний нейрон.

На рис. 1.1 показані структура пари типових біологічнихнейронів. Дендрити йдуть від тіла нервової клітини до інших нейронів,де вони приймають сигнали в точках з'єднання, які називаються синапсами.
Прийняті синапсом вхідні сигнали підводяться до тіла нейрона. Тут вонипідсумовуються, причому одні входи прагнуть порушити нейрон, інші --перешкодити його порушення. Коли сумарне збудження в тілінейрона перевищує деякий поріг, нейрон збуджується, посилаючи поаксона сигнал іншим нейронів. У цієї основної функціональної схемибагато ускладнень і винятків, тим не менше, більшість штучнихнейронних мереж моделюють лише ці прості властивості.

Штучні нейронні

Штучний нейрон імітує в першому наближенні властивостібіологічного нейрона. На вхід штучного нейрона надходитьдеякий безліч сигналів, кожен з яких є виходоміншого нейрона. Кожен вхід множиться на відповідний вага,аналогічний синаптичної силі, і всі твори підсумовуються,визначаючи рівень активації нейрона. На рис. 1.2 представлена модель,що реалізує цю ідею. Хоча мережеві парадигми досить різноманітні, воснові майже всіх їх лежить ця конфігурація. Тут безліч вхіднихсигналів, позначених х (, х2, ..., хn, надходить на штучнийнейрон. Ці вхідні сигнали, що в сукупності позначаються вектором X,відповідають сигналам, що приходить у синапси біологічного нейрона.
Кожен сигнал множиться на відповідний вага w1, v2, ..., іn, інадходить на що підсумовує блок, позначений S. Кожна вага відповідає
«Силі» однієї біологічної синаптичної зв'язку. (Безліч ваг всукупності позначається вектором W.) підсумовує блок,відповідний тіла біологічного елементу, складає зваженівходи алгебраїчних, створюючи вихід, який ми будемо називати NET. Увекторних позначення це може бути компактно записано наступнимтак:

Активаційні функції

Сигнал NET далі, як правило, перетворюється активаційний функцією
F і дає вихідний нейронний сигнал OUT. Активаційна функція може бутизвичайної лінійної функцією

OUT = K (NET).

де К - постійна, порогової функцією

OUT = 1, якщо NET> Т, OUT = 0 в інших випадках,

де Т - деяка постійна величина порогова, або ж функцією, більшточно моделює нелінійну передавальний характеристику біологічногонейрона і представляє нейронної мережі великі можливості.

На рис. 1.3 блок, позначений F, приймає сигнал NET і видає сигнал
OUT. Якщо блок F звужує діапазон зміни величини NET так, що прибудь-яких значеннях NET значення OUT належать деякому кінцевомуінтервалу, то F називається стискаючого функцією. У якості «стискаючого»функції часто використовується логістична або «сігмоідальная» (S -подібна) функція, показана на рис. 1.4а. Ця функція математичновиражається як F (x) = 1/(1 + е-x). Таким чином,

OUT = 1/(1 + е-NET).

За аналогією з електронними системами активаційний функцію можнавважати нелінійної підсилювальної характеристикою штучного нейрона.
Коефіцієнт посилення обчислюється як відношення приросту величини
OUT до викликав його невеликому збільшенню величини NET. Вінвиражається нахилом кривої при певному рівні збудження ізмінюється від малих значень при великих негативних збудженнях
(крива майже горизонтальна) до максимального значення при нульовомупорушення і знову зменшується, коли збудження стає великимпозитивним. Гроссберг (1973) виявив, що подібна нелінійнахарактеристика вирішує поставлену ним дилему шумового насичення. Якимчином одна і та ж мережа може обробляти як слабкі, так і сильнісигнали? Слабкі сигнали потребують великої мережевому посилення, щобдати придатний до використання вихідний сигнал 'Однак підсилювальнікаскади з великими коефіцієнтами посилення можуть призвести до насиченнявиходу шумами підсилювачів (випадковими флуктуаціями), які присутнів будь-якій фізично реалізованої мережі. Сильні вхідні сигнали в своючергу також будуть приводити до насичення підсилювальних каскадів, виключаючиможливість корисного використання виходу. Центральна областьлогістичної функції, що має великий коефіцієнт посилення, вирішуєпроблему обробки слабких сигналів, у той час як області з падаючимпосиленням на позитивному і негативному кінцях підходять для великихзбуджень. Таким чином, нейрон функціонує з великим посиленням вширокому діапазоні рівня вхідного сигналу.

OUT = 1/f1 + e-NET) = f (NET)

Інший широко використовується активаційний функцією єгіперболічний тангенс. За формою вона схожа з логістичної функцією ічасто використовується біологами в якості математичної моделі активаціїнервової клітини. Як активаційний функції штучноїнейронної мережі вона записується таким чином:

OUT = th (х).

Подібно логістичної функції гіперболічний тангенс є S -образної функцією, але він симетричний відносно початку координат, ів точці NET = 0 значення вихідного сигналу OUT дорівнює нулю (див. рис.
1.46). На відміну від логістичної функції гіперболічний тангенсприймає значення різних знаків, що виявляється вигідним для рядумереж (див. гл. 3). Розглянута проста модель штучногонейрона ігнорує багато властивостей свого біологічного двійника.
Наприклад, вона не бере до уваги затримки в часі, яківпливають на динаміку системи. Вхідні сигнали відразу ж породжуютьвихідний сигнал. І, що важливіше, вона не враховує впливів функції частотної модуляції або синхронізуючий функції біологічногонейрона, які ряд дослідників вважають вирішальними.

Рис. 1.46. Функція гіперболічного тангенса.

Незважаючи на ці обмеження, мережі, побудовані з цих нейронів,виявляють властивості, сильно нагадують біологічну систему.
Тільки час і дослідження зможуть відповісти на питання, чи єподібні збіги випадковими або наслідком того, що в моделі,вірно, схоплені найважливіші риси біологічного нейрона.

однослівні Штучні нейронні мережі

Рис. 1.5. Одношарова нейронна мережу.

Хоча один нейрон і здатний виконувати найпростіші процедурирозпізнавання, сила нейронних обчислень виникає від сполукнейронів у мережах. Найпростіша мережа складається з групи нейронів,утворюють шар, як показано в правій частині рис. 1.5. Відзначимо, щовершини-кола ліворуч служать лише для розподілу вхідних сигналів. Вонине виконують будь-яких обчислень, і тому не будуть вважатисяшаром. З цієї причини вони позначені колами, щоб відрізняти їх відобчислює нейронів, позначених квадратами. Кожен елемент збезлічі входів Х окремим вагою з'єднаний з кожним штучнимнейроном. А кожен нейрон видає зважену суму входів в мережу. Уштучних та біологічних мережах багато сполук можутьвідсутнім, всі з'єднання показані з метою спільності. Можуть матимісце також з'єднання між виходами і входами елементів в шарі. Такіконфігурації розглядаються в гол. 6. Зручно вважати ваги елементамиматриці W. Матриця має т рядків і п стовпців, де т. - число входів, ап - число нейронів. Наприклад, w3, 2 - це вага, що зв'язує третій вхід здругий нейроном. Таким чином, обчислення вихідного вектора N,компонентами якого є виходи OUT нейронів, зводиться доматричному множенню N = XW, де N і Х-вектори-рядки.

Багатошаровий штучні нейронні мережі.

Великі й складні нейронні мережі мають, як правило, івеликими обчислювальними можливостями. Хоча створені мережі всіхконфігурацій, які тільки можна собі уявити, послойная організаціянейронів копіює шаруваті структури певних відділів мозку.
Виявилося, що такі багатошарові мережі володіють великими можливостями,ніж одношарові (див. гл. 2), і в останні роки були розробленіалгоритми для їх навчання. Багатошарові мережі можуть утворюватисякаскадами шарів. Вихід одного шару є входом для подальшогошару. Подібна мережа показана на рис. 1.6 і знову зображена з усімасполуками.

Нелінійна активаційна функція

Багатошарові мережі можуть привести до збільшення обчислювальноїпотужності в порівнянні з одношарової мережею лише в тому випадку, якщоактиваційна функція між шарами буде нелінійної. Обчислення виходушару полягає в збільшенні вхідного вектора на першому ваговуматрицю з наступним множенням (якщо відсутній нелінійнаактиваційна функція) результуючого вектора на другий вагову матрицю.

Оскільки множення матриць асоціативно, то X (W1, W2). Цепоказує, що двошарова лінійна мережа еквівалентна одному шаруз ваговою матрицею, що дорівнює добутку двох вагових матриць.
Отже, будь-яка багатошарова лінійна мережа може бути заміненаеквівалентної одношарової мережею. У гол. 2 показано, що одношарові мережівельми обмежені по с?? ГІМ обчислювальним можливостям. Таким чином,для розширення можливостей мереж в порівнянні з одношарової мережеюнеобхідна нелінійна одношарова функція.

Мережі із зворотними зв'язками.

У мереж, розглянутих досі, не було зворотних зв'язків, тобтоз'єднань, що йдуть від виходів деякого шару до входів цього ж шаруабо попередніх шарів. Цей спеціальний клас мереж, які називаютьсямережами без зворотних зв'язків або мережами прямого поширення,становить інтерес і широко використовується. Мережі більш загального виду,що мають з'єднання від виходів до входів, називаються мережами ззворотними зв'язками. У мереж без зворотних зв'язків немає пам'яті, їх вихідповністю визначається поточними входами і значеннями ваг. У деякихконфігураціях мереж із зворотними зв'язками попередні значення виходівповертаються на входи; вихід, отже, визначається як поточнимвходом, так і попередніми виходами. З цієї причини мережі із зворотнимизв'язками можуть мати властивості, подібними з короткочасноїлюдською пам'яттю, мережеві виходи частково залежать від попередніхвходів.

ТЕРМІНОЛОГІЯ, ПОЗНАЧЕННЯ І Схематичне зображення ШТУЧНИХ
Нейронних мереж.

На жаль, для штучних нейронних мереж ще немає опублікованих стандартів і усталених термінів, позначень і графічнихуявлень. Часом ідентичні мережеві парадигми, представленірізними авторами, здадуться далекими один від одного. У цій книзіобрані найбільш широко використовуються терміни.

Термінологія.

Багато авторів уникають терміна «нейрон» для позначенняштучного нейрона, вважаючи його занадто грубою моделлю свогобіологічного прототипу. У цій книзі терміни «нейрон», «клітка»,
«Елемент» використовуються взаємозамінні для позначення
«Штучного нейрона» як короткі та самораз'ясняющіе.

Диференціальні рівняння або різницеві рівняння.

Алгоритми навчання, як і взагалі штучні нейронні мережі,можуть бути представлені як в диференціальної, так і в кінцево -різницевої формі. При використанні диференціальних рівняньприпускають, що процеси безперервні і здійснюються подібно до великоїаналогової мережі. Для біологічної системи, що розглядається намікроскопічному рівні, це не так. Активаційний рівеньбіологічного нейрона визначається середньою швидкістю, з якою вінпосилає дискретні потенційні імпульси за своїм аксонів. Середняшвидкість зазвичай розглядається як аналогова величина, але важливо незабувати про дійсний стан речей. Якщо моделювати штучну нейронну мережу на аналоговому комп'ютері, то дуже бажановикористати представлення за допомогою диференціальних рівнянь. Однак сьогодні більшість робіт виконується на цифрових комп'ютерах, щозмушує віддавати перевагу звичайно-різницевої формі як найбільшлегко програмованої. З цієї причини протягом всієї книгивикористовується кінцево-різницеві подання.

Графічне подання

Як видно з публікацій, немає загальноприйнято