Московський ордена Трудового Червоного Прапора

Фізико-Технічний Інститут

Факультет Управління та Прикладної Математики

Кафедра Системного Програмування

Нейромережева реалізація системи

автономного адаптивного управління

Дипломна робота студента 275 групи

Винокурова Олексія Миколайовича

Науковий керівник:

д. ф.-м. н. Жданов Олександр Аркадійович

Робота виконана в

Інституті Системного Програмування РАН

Москва 1998

Скорочення і позначення.

1. Введення.

1.1. Введення і задачі роботи.

1.2. Формалізація нейронних мереж.

1.3. Короткий опис методу автономного адаптивного керування.

1.4. Основні поняття і позначення.

1.5. Алгебра образів.

2. Моделювання середовища.

3. Апарат ФРО.

3.1. Біологічний нейрон.

3.2. Формальна модель нейрона.

3.3. Завдання побудови ФРО.

23 Розпізнавання просторово-часових образів.

4. База знань.

5. Система побудови та дослідження нейронних мереж (СПІНС).

5.1. Актуальність системи.

5.2. Загальна коцепція системи.

5.3. Конструктори мереж. Бібліотеки шаблонів.

27 Організація обчислень в мережі.

28 Аналізатори роботи мережі.

29 Реалізація блоку оцінки стану.

30 Реалізація моделі середовища.

31 Приклад роботи програми.

32 Перспективи розвитку системи.

Висновок.

Подяки.

Література.

Скорочення і позначення.

Прийняті скорочення

ААУ - автономне адаптивне управління
БД - блок датчиків
БЗ - база знань
БОС - блок оцінки стану
БПР - блок прийняття рішень
ГІП - графічний інтерфейс користувача (GUI)
ІВ - виконавчий орган
НРС - недетермінірованний автомат Рабина-Скотта
НС - нейронна мережа
МНРС - модифікований недетермінірованний автомат Рабина-Скотта
ОУ - об'єкт управління
ППО - пространственнно-часовий образ
СВ - випадкова величина
СПІНС - система побудови та дослідження нейронних мереж
УС - керуюча система
ФР - функція розподілу
ФРО - апарат формування і розпізнавання образів

Прийняті позначення

- Множина невід'ємних цілих чисел
- Граф з безліччю вершин V і множиною ребер N
 - Ребро, спрямоване з вершини i в вершину j
- Взаімнооднозначное відображення множини X на безліч Y
 - Безліч кінцевих підмножин множини X
R [a, b] - множина дійсних чисел на [a, b]

BN - простір двійкових векторів розмірності N
 - Порожнє слово з безлічі вхідних слів КА
0 - брехня у виразі тризначної логіки
1 - істина у виразі тризначної логіки
 - Невизначеність у виразі тризначної логіки
 - Є подвектор (сукупність обраних компонент) вектора

 - Клас Y є нащадком класу X
1. Введення.

1.1. Введення і задачі роботи.

При сучасному рівні розвитку техніки, коли навіть побутова технікаоснащується мікропроцесорними пристроями, виникла потреба вінтелектуальних адаптивних системах керування, здатнихпристосовуватися до дуже широкого діапазону зовнішніх умов. Більш того,виникла потреба в універсальній технології створення таких систем.
Науковий досвід людства свідчить про те, що в природі можна знайтибезліч цінних ідей для науки і техніки. Людський мозокє самим надзвичайним і загадковим створенням природи. Здатністьживих організмів, наділених вищою нервовою системою, пристосовуватися донавколишньому середовищі може служити закликом до наслідування природі або імітаціїпри створенні технічних систем.

Серед імітаційних підходів виділяється клас нейромережевих методів.
Нейронні мережі (НС) знайшли широке застосування в галузях штучногоінтелекту, в основному пов'язаних із розпізнаванням образів і з теорієюуправління. Одним з основних принципів нейромережевого підходу єпринцип коннектівізма. Суть його виражається в тому, що розглядаються дужепрості однотипні об'єкти, сполучені у велику і складну мережу. Такимчином, НС є в першу чергу графом, з яким можна пов'язатисукупність образів, поданих як чисельні значення,асоційовані з вершинами графа, алгоритм для перетворення цихчисельних значень за допомогою передачі даних між сусідніми вершинами іпростих операцій над ними. Сучасний рівень розвитку мікроелектронікидозволяє створювати нейрочіпи, що складаються з дуже великого числа простихелементів, здатних виконувати тільки арифметичні операції. Такимчином, нейромережеві методи підтримується апаратно.

Математично НС можна розглядати як клас методів статистичногомоделювання, який у свою чергу можна розділити на три класи: оцінкащільності ймовірності, класифікація і регресія [NN]. Зокрема, в [NN]показано, що за допомогою мереж зворотного розповсюдження і узагальненого - правила вирішується завдання оцінки щільності ймовірності методом змішуваннягаусівських розподілів.

У відділі імітаційних систем Інституту Системного Програмування РАНрозроблено метод автономного адаптивного управління (ААУ). Передбачається,що система ААУ може бути повністю реалізована на нейронної мережі [Діссер,
Жданов1-9]. На відміну від традиційного використання НМ для рішення тількизадач розпізнавання і формування образів, у методі ААУ узгодженовирішуються завдання

. розпізнавання і формування образів

. отримання і збереження знань (емпірично знайдених закономірних зв'язків образів і впливів на об'єкт управління)

. оцінки якісних характеристик образів

. прийняття рішень (вибору впливів).
Особливостями методу ААУ є:
. Надмірність нейронів у мережі, необхідна для адаптації системи керування (УС) до мінливих умов існування об'єкта управління

(ОУ). Внаслідок цього для практичної реалізації УС необхідно створення великих НС (для порівняння людський мозок містить ~ 1011 нейронів).
. НС складається зі специфічних нейронів, що є більш близькими аналогами біологічного нейрона і пристосованими для рішення задач ААУ (розділ

3.2)
. Нейрони в мережі з'єднуються спеціальною образом, також для вирішення завдань

ААУ.

Особливості методу ААУ роблять непридатними або малопридатнимиіснуючі системи САПР і системи моделювання традиційних НС
(наприклад, BrainMaker) для створення прототипів УС ААУ. Зважаючи на цеобставини завданнями дипломної роботи були:

1. Розробка інструменту СПІНС для моделювання і дослідження нейромережевих реалізацій прототипів УС ААУ.

2. Розробка загальної схеми нейромережевої реалізації прототипів УС ААУ.

1.2. Формальна модель нейрона і нейросети.

Поняття схеми було введено для формалізації обчислень на паралельнихкомп'ютерах [Ітогі91]. Ми використовуємо це поняття для формального описунейронних мереж, тому що воно підходить для цих цілей майже без змін.
Одним із наслідків такої близькості схем і НС є можливість хорошогорозпаралелювання обчислень в моделях НС.

Визначення 1.2.1. Назвемо схемою c орієнтований ациклічні ортграф

(допустимі ребра із загальними вершинами), вершинами якого є параметризрвані операції, тобто операції, що залежать від деякого параметра t. Аргументами операції є всі вхідні вершини або входи, тобто такі вершини, для яких є ребра (вхідні ребра), які виходять з них і направлені до даної вершині, - вхідна арность i-ї вершини, тобто число вхідних вершин,-вихідна арность i-ї вершини, тобто число вихідних вершин або виходів.

Визначимо розмір схеми s (c) як загальне число вершин схеми, глибину схеми d (c) як максимальну довжину орієнтованого шляху в графі c.

Порядок вершини визначається рекурсивно: для вершин які не мають входів, що належать мережі (витоки мережі), порядок дорівнює 0, для решти порядок є максимум порядку входів плюс одиниця. Входами мережі будемо називати деякий підмножина множини витоків мережі.

вихід мережі будемо вважати просто деякий безліч вершин мережі.

Определеніе1.2.2. Тут і далі під нейронної мережею будемо розуміти схему.

По суті схема є сукупністю композицій деякихпараметрезованих операцій. Глибина схеми є максимальний рівеньвкладеності композицій. У методології НС важливо, що ці операції єобчислювально простими, на зразок зваженої суми або бульових кон'юнкції ідиз'юнкції, при цьому вибирається велику кількість аргументів і композицій.
У цьому суть коннектівізма. Параметр t є по суті тимчасовимпараметром. Зауважимо, що тут і далі вважаємо час дискретним, хоча дляформалізації НС це не принципово. Перенумерувати вершини схеми, можназаписати загальний вигляд параметризрвані операції:

,де (t) - i-а параметрезованих операція, - вхідні вершини,
- Синаптична затримка на ребрі. Конкретний вид функціїдля пропонованої моделі нейрона буде представлений у розділі «Апарат ФРО».

Приклад 1.2.1. В якості операції-вершини може бути будь-яка операція тризначної логіки (розд. 1.5).

Определеніе1.2.3. Виходами подграфа G (V, N), де V - безліч ребер, N - безліч вершин. мережі будемо називати всі ребра, входами всі ребра.

Определеніе1.2.4. Визначимо блок як зв'язний подграф мережі з одним виходом.

Определеніе1.2.5. Назвемо блок шаблоном деякого блоку якщо між цими блоками існує ізоморфні відображення, тобто така пара відображень

Определеніе1.2.6. Розбиттям мережі на блоки з шаблоном B будемо називати сукупність непересічних блоків таку, що для всіх цих блоків B є шаблоном і об'єднання всіх блоків і міжблокові ребер (мається на увазі два різні об'єднання: множин вершин і множин ребер) є вся мережа.

Определеніе1.3.7. Сукупність рекурсивних розбивка мережі, де є розбиття шаблону будемо називати конструкцією мережі, а безліч шаблонами конструктора.

Определеніе1.2.8. Таким чином, під формальною моделлю нейрона будемо розуміти шаблон розбиття мережі, у якого вихід є булева операція. Під нейроном будемо розуміти власне блок.

Наприклад, на ріс.1.2.1 представлена формальна модель перспептрона,де всі блоки мають один шаблон Маккаллок-Піттса [Маккалок].

Взагалі кажучи, стан навченості нейрона для кожної формальноїмоделі визначається за своїм і, неформально кажучи, це стан, уякому вважається, що нейрон вже «навчений» для вирішення свого завданнякласифікації. Відзначимо, що процес навчання є незворотнім.

Визначення 1.2.9. Будемо говорити, що мережею розпізнано образ i, якщо після пред'явлення мережі деякого вхідного сигналу на виході i-ого нейрона з'являється 1.

Розпізнавання образу є по суті позитивну відповідь у вирішенні задачікласифікації для даного нейрона.

Ріс.1.2.1.

1.3. Короткий опис методу автономного адаптивного керування.

Метод ААУ докладно описаний у роботах [Жданов3-9], тому представимотільки основні його боку. Будемо називати керуючою системою (УС)систему управління, що імітує нервову систему відповідно дометодологією ААУ. Під об'єктом управління (ОУ) будемо розуміти організм,який несе в собі нервову систему, іншими словами, ОУ - це об'єкт,який має управлятися за допомогою УС, розташованої всередині ОУ тавзаємодіє зі своїм оточенням за допомогою блока датчиків (БД) івиконавчих органів (ІВ).

Рис. 1.3.1.

На рис. 1.3.1 представлена система, під якою будемо розуміти середовище,в яку вкладений ОУ, у свою чергу містить в собі УС. Як видно змалюнка, можна стверджувати, що УС керує не тільки ОУ, але всією системою.
Під середовищем у системі можна розуміти різні об'єднання об'єктів. Будемоназивати середовищем W сукупність об'єктів, що лежать поза УС; середовищем S --сукупність об'єктів, що лежать поза ОУ; середовищем U - всю систему.

Блок датчиків поставляє УС вхідну інформацію у вигляді двійковоговектора. Цей блок необхідний у реальних системах для сполучення середовища і УС,тому при моделюванні УС на ЕОМ не використовувався і ми не акцентуємоувагу на ньому в даній роботі.

Роботу блоку формування і розпізнавання образів (ФРО) можнапредставити в такий спосіб (докладний опис див у роботах [Жданов3,
Жданов8]). У блоці ФРО на підставі апріорної інформації про можливіфункціональні властивості середовища задані деякі об'єкти, назвемо їхнейронами (наприклад, нейрони спеціального виду, описані в роботі
[Жданов8]), на які відображаються деякі класи просторово -тимчасових явищ, що потенційно можуть існувати в системі.
Відображення задається топологією мережі. У класі, який відображається на нейрон,виділяється підклас, що може сприйматися даним нейроном. Коженнейрон може статистично аналізувати сприймається їм підклас.
Накопичуючи статистичну інформацію про сприйманої підкласі, нейронможе прийняти рішення, чи є цей підклас випадковим або невипадковимявищем в системі. Якщо будь-який нейрон приймає рішення, щовідображений на нього підклас є невипадковою подією, то вінпереходить у деякий відмінний від вихідного (навчений (состояніе. Якщонейрон навчений, то будемо говорити також, що сформований образ, цей образідентифікується номером даного нейрона. Підклас явищ, що сприймаєтьсянейроном, і який викликав його навчання, тобто просторово-часовіявища, статистично вірогідно існуючі в системі, називаєтьсяпрообразом даного образу. Сформований образ може бути розпізнаний блоком
ФРО, коли прообраз даного образу спостерігається БД. Блок ФРО вказує,які з сформованих образів розпізнані в сучасний момент. Одночасно зцим розпізнані образи беруть участь у формуванні образів більш високихпорядків, тобто має місце агрегування та абстрагування образів.

Блок формування бази знань [Жданов4-6] (БЗ) призначений дляавтоматичного подання емпірично знайдених УС знань профункціональних властивостях системи. Елементарної конструкцією бази знань
(БЗ) в методі ААУ є статистично достовірне зведення про те, якпевну дію Yj впливає на прообраз певного сформованогообразу. Дією Yj названо підмножина множини допустимихвпливів, елементи якого абсолютно ідентичні для УС по їх впливу насформовані образи. Непорожній зведення може мати одне з двохзначень: або дію Yj тягне розпізнавання образу Oi, яку дію
Yj спричиняє витіснення образу Oi. За допомогою БЗ можна бачити, як конкретнудію впливає на всю сукупність сформованих образів.

Блок оцінки стану [Жданов7] (БОС) виробляє інтегральну оцінкуякості стану ОУ St. Оцінка St використовується для розрахунку оцінки (ваги)pi кожного із щойно сформованих образів деякими статистичнимиспособом. У свою чергу, St функціонально залежить від оцінок piрозпізнаних образів. Є деякий безліч спочатку сформованихі оцінених образів. Оцінка St використовується також для розрахунку темпуприйняття рішень.

Блок вибір дії [Жданов4-6] або, надалі, блок прийняттярішень (БПР) реалізує процедуру ухвалення рішення, засновану на аналізіпоточної ситуації, цільових функцій, змісту БЗ, а також оцінки поточногозначення оцінки St. Фактична інформація про поточну ситуацію представленабезліччю образів, розпізнаних в поточний момент блоком ФРО, а інформаціяпро якість поточного стану представлена оцінкою St. Безлічрозпізнаних образів визначає в БЗ той її розділ, який адекватнийпоточної ситуації (ті знання, які істинні в поточних умовах). Увідповідності з цільовою функцією, що припускає прагнення УС до поліпшенняякості стану ОУ, УС вибирає по БЗ ту дію, яку маємаксимальну суму оцінок викликаються і усували образів. З безлічівихідних впливів, що відповідає обраному дії Yj, конкретневихідна вплив вибирається випадковим чином, що відповідаєдругий цільової функції, що передбачає прагнення до отримання новихзнань.

Блок визначення часу ухвалення рішення визначає глибину перегляду
БЗ у залежності від поточної оцінки St. Чим вище значення St, тим більшеобразів (у порядку спадання модулю їхньої ваги) може врахувати УС при прийняттірішення, тим менше темп прийняття рішень. При моделюванні цей блок невикористовувався і в даній роботі розглядатися не буде.

У УС можуть бути кошти для апріорного аналізу наслідківальтернативних обираних дій на кілька кроків вперед.

Такий у самих загальних рисах Алгоритм керування, реалізований УС вметоді ААУ. Основні властивості процесу керування складаються в тому, що УСавтоматично накопичує емпіричні знання про властивості пред'явленого їйоб'єкта керування і приймає рішення, спираючись на накопичені знання.
Якість керування росте в міру збільшення обсягу накопичених знань.
Зауважимо також, що управління полягає не в тому, що УС реагує на вхідніінформацію (у певному сенсі - негативний зворотний зв'язок), а в тому,що УС постійно активно шукає можливий у поточних умовах спосіб поліпшитистан ОУ (позитивний зворотний зв'язок). Тим самим УС ААУ володієвнутрішньої активністю.

При створенні додатків може бути доцільним використання УС ААУдля керування тільки в тих областях простору ознак, у якихраніше використовувані методи неефективні. Іншими словами, корисно розділитипрізнаковое простір на дві області: на область, для якої єапріорна інформація про властивості ОУ, і в якої можна застосувати відповіднудетерміновану систему управління, і на область, в якій немаєапріорної інформації про властивості ОУ, де потрібно адаптація в реальномучасу управління, в цій галузі доцільно управління за методом ААУ.

1.4. Основні поняття і позначення.

Кожен вхід і вихід блоку середовища U представляється в математичніймоделі, взагалі кажучи, випадковим вектором, а сукупність випадковихвекторів, параметрезованих часом, утворюють процес. Крім того,виділимо другу категорію процесів, в яку входять процеси,сформовані параметризрвані СВ - виходами внутрішніх елементів блоків
УС. Наприклад, для ФРО і, взагалі, всіх блоків, які складаються з нейронів, цевиходи всіх нейронів. Повною математичної моделі середовища U, процес,представляє виходи всіх нейронів УС і виходи внутрішніх блоків середовища W
, Назвемо процесом середовища U.

Надалі ми будемо користуватися наступними позначеннями:
T - кінцевий часовий інтервал життя системи;
- Параметр часу;
 - Початковий момент часу роботи УС;
 - Вхідний процес, вхідний процес для ФРО, а значить і для УС;
 - I - ая компонента;
 - Реалізація вхідного процесу, або вхідний фільм, визначений на інтервалі часу;
 - I - ая компонента;
 - Процес середовища, вихід блоку середовища W;
 - I - ая компонента;
 - Процес ФРО, сукупність всіх виходів нейронів блоку ФРО на інтервалі;
 - I - ая компонента;
 - Процес керуючих впливів на середовище з боку УС, де
Y - безліч допустимих впливів на середовище з боку УС;
F - безліч образів апарату ФРО.

1.5. Алгебра образів.

Як алгебраїчних операцій над образами ми будемо використовуватиоперації тризначної логіки, яка є розширенням звичайної логіки здвома значеннями: правда і брехня, що позначаються далі як 1 і 0відповідно, і має третє значення: невизначеність або. Тутнаведені таблиці для операцій тризначної логіки. Перший стовпець міститьзначення першого аргументу, перший рядок - друге.

| | 1 | 0 | |
| 1 | 1 | 0 | |
| 0 | 0 | 0 | 0 |
| | | | |

Таблиця 1.5.1

| | 1 | 0 | |
| 1 | 1 | 1 | 1 |
| 0 | 1 | 0 | |
| | | | |

Таблиця 1.5.2

| | 1 | 0 | |
| 1 | 1 | 0 | 1 |
| 0 | 1 | 1 | 1 |
| | | | |

Таблиця 1.5.3

Заперечення для невизначеності дає невизначеність, для іншихзначень - те ж саме, що і в двозначної логіці. Для зручності мивважаємо, що результат операції в момент є невизначеність ізвизначенням.
2. Моделювання середовища.

Для експериментальної перевірки методу автономного адаптивногоуправління необхідно створити математичну модель середовища, достатню дляімітації реакції і поведінки реального середовища на певному рівні, прийнятномудля даної керуючої системи. Але перевірка є не єдиноюзавданням, що вирішується за допомогою моделі середовища. По-перше, якщо на початковомуетапі в базі знань УС немає знань, її необхідно наповнити початковимиданими. Можливі випадки, коли отримання початкових знань неможливо підчас реальної роботи УС, оскільки воно відбувається методом проб і помилок ііснує реальна загроза загибелі всієї системи. Тому початкове навчанняв таких випадках необхідно проводити «на стенді», тобто з моделлю середовища.
Природно, чим ближче модель до властивостей реального середовища, тим кращенавчиться УС і тим вище ймовірність виживання системи. Моделювати середуможна безліччю способів. Наприклад, зробити макет об'єкта управління,помістити його в умови, близькі до тих, де він призначений працювати і датийому можливість навчатися, поки у експериментаторів не буде впевненості вживучості апарату і в здатності до адаптації в тому діапазоні зовнішніхумов, де він призначений працювати. Але на шляху створення реальноїдіючої системи можливо декілька проміжних етапів. Уявімо,що система створюється «з нуля» і відома тільки деяка апріорнаінформація про середовище і, можливо, якісь уявлення про закониуправління. Створювати одразу діючий макет дорого, оскільки на даномуетапі навіть не відомо, які образи УС повинна вміти розпізнавати, і,можливо, доведеться робити кілька есперіментальних прототипів. Длядослідження цього питання пропонується змоделювати середу, наприклад, здопомогою ЕОМ.

Як одну з моделей середовища для досліджень властивостей ААУ ми пропонуємовзяти кінцевий автомат [КА]. КА є широко відомим, добревивченим, зрозумілим і зручним при моделюванні середовища об'єктом за наступнимиміркувань: 1) різні стану середовища природним чиномвідображаються в стану КА; 2) переходи з одного стану середовища в іншепід впливом УС та інших об'єктів природно відображаються впереходи КА між станами при читанні вхідного слова. Відзначимо, що середвідомих і поширених КА найбільш відповідними для моделі єавтомати Мура і недетермінірованние автомати Рабина-Скотта або НРС -автомати. Правда, моделі, засновані на перше, мають потребу в додатковомувведення стохастичних джерел, а НРС-автомати потребують модифікації,оскільки реальні середовища є недетермінірованнимі об'єктами. Більшетого, недетермінірованность моделі середовища важлива для навчання УС. УНасправді, якщо б реакція середовища була повністю детермінованою ізалежала тільки від впливів на неї УС, то УС, знайшовши перший законуправління, використовувала б лише його при виборі керуючих дій,так як за критеріями системи управління краще використовувати хоч якийсьнебудь закон управління та отримати відносно гарантований результат,ніж продовжувати пошуки методом проб і помилок. Вийшов б замкнутийпорочне коло: система впливає на середу тільки одним способом, середадетермінованою реагує на це вплив, УС бачить тільки одну реакцію
(яка може бути не найкращою) і намагається викликати тільки цю реакцію.
Уникнути таких «зациклення» можна за допомогою моделюваннянедетемінірованной реакції середовища.

Наведемо визначення автоматів Мура [КА] і введемо модифіковані НРС -автомати.

Визначення 2.1. (Кінцевий) автомат Мура є п'ятірка А = (Z, X, Y, f, h).

Тут Z - безліч станів, X - безліч входів, Y - безліч виходів, f - функція переходів, і h-функція виходів, - сюр'ектівное відображення.

Автомат працює за наступним принципом. Якщо КА знаходиться у деякомустані, то вихід автомата визначається функцією виходу. Вихідавтомата інтерпретується в даному випадку як реакція середовища, яка,можливо, з деякими перетвореннями в блоці датчиків може бути поданана вхід апарату формування і розпізнавання образів як двійковий вектор.
В кожний момент часу автомат читає вхідна слово, якеінтерпретується як сумарний вплив з боку УС та інших зовнішніхоб'єктів. Безліч входів може бути ширшим ніж безліч допустимихвпливів на середовище з боку УС і містити в собі слова або команди,які можуть подаватися з стохастичних джерел, що знаходяться всерединісередовища. За прочитаного вхідному слову і функції переходів визначаєтьсястан в наступний момент часу.

Визначення 2.2. (Кінцевий) модифікований недетермінірованний автомат

Рабина-Скотта (МНРС) є сімка А = (Z, X, T, S, F, h, p). Тут Z і

X - кінцеві безлічі (станів і входів відповідно; X називають також вхідним алфавітом автомата А); (безлічі початкових і фінальних станів відповідно);, де, (інакше кажучи T - багатозначне відображення з кінцевою областю визначення); h - те ж, що і для автомата Мура; p - функція ймовірності переходів,, причому

.
(2.1)

Відзначимо, що ми розглядаємо тільки неалфавітних МНРС, тобто КА, уяких немає переходів для порожнього слова:, а, отже, немаєі спонтанних переходів. Відмінною особливістю МНРС єнеоднозначність переходів або можливість відповідності одній і тій же парістан - вхідна слово кількох переходів і приписаний кожномупереходу ймовірності. Умова (2.1) означає, що сума ймовірностей всіхпереходів з будь-якого стану є 1.

Відмінність принципу дії МНРС від автомата Мура полягає в тому, що,коли автомат перебуває в певному стані і прочитав вхідна слово, тореалізується один з можливих з даного стану і при даному вхідномуслові перехід, при цьому ймовірність реалізації переходу визначаєтьсяфункцією p.

Наведені дві моделі середовища з двома різними КА не єеквівалентними і задають різні моделі поведінки. Очевидно, що будь-яка модельз автоматом Мура може бути змодельована моделлю з МНРС, причому зворотнетвердження для будь-якої моделі невірно. Автомат Мура простіше в реалізації ідослідженнях, а за допомогою МНРС можна побудувати більш точну модель середовища.

3. Апарат формування і розпізнавання образів.

3.1. Біологічний нейрон.

На рис. 3.1.1, взятому з [Turchin] представлений в спрощеному виглядібіологічний нейрон. Схематично його можна розділити на три частини: тілоклітини, що містить ядро і клітинну протоплазму; дендрити - деревоподібнівідростки, які служать входами нейрона; аксон, або нервове волокно, --єдиний вихід нейрона, що являє собою довгий циліндричнийвідросток, розгалужених на кінці. Для опису формальної моделі нейронавиділимо наступні факти:
Рис. 3.1.1

У будь-який момент можливі лише два стани волокна: наявність імпульсу і йоговідсутність, так званий закон «все або нічого».
Передача вихідного сигналу з аксона попереднього нейрона на дендрити абопрямо на тіло такого нейрона здійснюється в спеціальних утвореннях
- Синапсах. Вхідні сигнали підсумовуються з синаптичних затримками і взалежності від сумарного потенціалу генерується або ні вихідний імпульс
- Спайк.

3.2. Формальна модель нейрона.

Вперше формальна логічна модель нейрона була введена Маккалоком і
Піттс в 1948 році [Маккалок] і з тих пір було запропоновано величезнакількість моделей. Але усі вони призначені для рішення в основному задачрозпізнавання і класифікації образів. Можна вказати цілий ряд основнихвідмінностей запропонованої в даній роботі моделі і вже існуючих. По-перше,у класичних моделях завжди є присутнім «вчитель» або «супервізор»,прилаштовується параметри мережі по визначеному алгоритму, запропонований женейрон повинен підлаштовуватися «сам» в залежності від «побаченої» їмпослідовності вхідних векторів. Формально кажучи, при роботі нейронаповинна використовуватися тільки інформація з його входів. По-друге, взапропонованої моделі немає речовинних важелів і зваженої сумації за цимиваг, що є великим плюсом при створенні нейрочіпа і модельнихобчисленнях, оскільки цілочисельних арифметика виконується завжди швидше,ніж раціональна і простіше в реалізації. А головна відмінність пропонованоїмоделі складається в цілі застосування. C допомогою неї вирішуються всі завданнякеруючої системи: формування і розпізнавання образів (ФРО),розпізнавання і запам'ятовування закономірностей (БЗ), аналіз інформації БЗ івибір дій (БПР), у відмінності від класичних моделей, де вирішуєтьсятільки перше завдання.
Важливим завданням ФРО для автономних систем також є не тількирозпізнавання образів, але і їх зберігання або запам'ятовування. Це випливає завтономності системи, тому що для неавтономних систем розпізнані образиможуть зберігатися і використовуватися поза системою. Взагалі кажучи, проблемузапам'ятовування можна вирішити багатьма способами. Наприклад, один з відомихспособів - організувати кільце з нейронів, в якому сигнал міг бипрецессіровать до нескінченності або протягом деякого часу в разізагасання. В останньому випадку система набуває нового корисну властивість
«Забудькуватості», яке, як відомо, властиво біологічних систем ідозволяє більш раціонально і економно використовувати ресурси, тому що непотрібнаабо маловикористовувані інформація просто «забувається». Експериментипроводилися з формальною моделлю без пам'яті, але очевидно, що вона потрібна.
Нами пропонується ввести так звану синаптичну пам'ять, тобтоздатність запам'ятовувати вхідний сигнал у синаптичному блоці.

x1t D1 T1 y1 t

(1 (1 Rw y2 t bwt 1

x2t D2 T2 ...

(2 (2

Owt 1

& cwt 1

...

. ..

...

xmt Dm Tm ymt

(m (m

Рис. 3.2.1

У даній роботі ми використовуємо нейрон з [Жданов2], який модифікований вВідповідно до [Братіщев]. Ми наведемо лише короткий опис. На рис. 3.2.1представлена блочна схема запропонованої формальної моделі нейрона. Входинейрона xit подаються на блоки затримки Di для затримки сигналу на час (i
, А потім на тригерні елементи Ti для подовження сигналу на величину (i.
Дані елементи забезпечують деяку невизначеність моменту надходженнявхідного сигналу по відношенню до моменту створення вихідного спайка іутворюють таким чином синаптичну пам'ять, оскільки вхідний сигналзапам'ятовується в цих елементах на деякий час.
З урахуванням затримок (i і (i одержуємо, що, якщо на виході навченого нейронав момент t з'явився одиничний сигнал, то поодинокі імпульси на входинейрона надійшли в інтервали часу di = [t - (i - (i; t - (i -1].
Невизначеність моментів надходження вхідних імпульсів буде тим менше,чим менше затримки (i.
Приклад тимчасової діаграми роботи навченого нейрона з двома входами і ззаданими затримками (i і (i ілюструє рис. 3.2.2. Питальнізнаками показані невизначеності моментів приходу вхідних імпульсів,відповідні інтервалам di.

x1? ? ?

x2? ?

y1

y2

c1

1 2 3 4 5 6 7 8 9 10 11 12 t < p> Рис. 3.2.2.

Різне відношення до затримок (i і (i в часі наділяєнейрон можливостями формування і розпізнавання образів наступних видів.
Якщо, то маємо просторовий образ. Наприклад, образ деякоїгеометричної фігури.
Якщо, то маємо образ перевезення (важливий порядок проходженняутворюють, допустима невизначеність у конкретних моментах приходуімпульсів). Прикладом може бути розпізнавання слів при читанні по буквах.
Якщо ((i = 1, то маємо просторово-часовий образ (ППО), у цьомувипадку однозначно визначено, з яких входів і в які моменти часуприходили сигнали. Прикладом може бути розпізнавання музичного тонупевної висоти.

Елемент lw призначений для набору статистики з цього просторово -тимчасового образу. Значення lw = 1 вказує на те, що даний нейрон навчений.

Затримки (i і (i задані спочатку, тобто є константними параметраминейрона. Якщо надходить на даний нейрон послідовність сигналівмістить закономірність, описувану такими тимчасовими параметрами, тонейрон сформує образ такого просторово-часового прообразу.
Очевидно, що необхідне число нейронів такого типу в мережі буде тимменше, чим більше апріорної інформації про тимчасові характеристикипрообразів відомо на стадії синтезу мережі.
Наведемо формалізм нейрона.

Owt +1 = cwt 1 & Swt 1;cwt +1 = bwt 1 & lwt 1;

bwt 1 =

yit = (cwt & ait;

ait =;

де = t (xit = 1 - момент імпульсу на вході xi;

lw t =;

Nw0 = 0;
Nwt = Nwt-1 + bwt;
Rw (Nwt) - спадна сігмоідальная функція.

3.3. Завдання побудови ФРО.

Для того, щоб більш правильно і економно побудувати нейронну мережу
ФРО, необхідно зрозуміти зміст або «концепцію» [Turchin] формованих образів,тобто, точніше кажучи, знайти для даного способу безліч навчальнихвхідних фільмів або безліч всіх таких реалізацій вхідних процесів,які призводять до навчання даного нейрона або формування даногообразу. Введемо поняття навчального вхідного фільму.

Визначення 3.3.1. Кожен вхідний фільм назвемо повчальним для нейрона
, Якщо - початковий момент часу роботи системи і,
.

?? аким чином, завдання побудови НС ФРО можна сформулювати наступнимчином: для даної сукупності вхідних фільмів побудувати таку мережу, вякої б були присутні нейрони, для яких дані вхідні фільмиє навчальними. Побудована таким чином мережа здатна вирішуватиеталонну завдання класифікації, де в якості еталонів використовуються данівхідні фільми. Відомо безліч способів конструювання та налаштуваннямереж для класичних формальних моделей нейронів, наприклад, мережізворотного поширення, що використовують узагальнене-правило. Проблемапропонованого підходу полягає в тому, що 1) система повинна бути автономною,а значить відсутня «вчитель»; 2) взагалі кажучи, a priori не відомі всіжиттєво необхідні для системи образи. Але якщо ми володіємо апріорноїінформацією про умови існування системи (що майже завжди буває), їїслід використовувати при конструюванні ФРО.
Можна інакше сформулювати завдання побудови ФРО. Наведемо приклад зсистемою «Пілот» [Діссер, Жданов9]. У математичної моделі супутникавикористовуються величини кутового положення супутника і його похідної
, Отже, очевидно, що всілякі поєднання можливихзначень цих величин (тобто деяка область на фазової площини)необхідні для знаходження законів управління системою. Дійсно,допустимо система в момент часу t перебуває в стані і УСвибирає певний управлінський вплив (включення одного здвигунів, наприклад). Ми знаємо, що в момент часу системаопиниться в деякому стані, що відповідає точці на фазової площиниз деякою ймовірністю, де - точка на фазової площини,таким чином, можна говорити про деяке ймовірносно розподіл
, Заданому у фазовому просторі і характеризує передбаченняповедінки системи через інтервал при виборі впливу вмомент часу t. Якби параметрів було недостатньо для описузаконів управління, функція розподілу залежала б ще й від іншихпараметрів, і за одних і тих самих величинах брала б іншізначення в залежності від значень неврахованих параметрів. Отже, УСне змогла б знайти жодного закону керування, оскільки система шукаєстатистично достовірну корелляцію між контрольоване станом ОУ,обраним дією і станом ОУ через певний інтервал часу.
Законом керування тут ми назвемо сукупність функцій розподілу длякожного керуючого впливу, де знаходиться в деякомудіапазоні. Знайдений УС закон керування відобразиться в деякому внутрішньомуформаті в БЗ, причому він може бути отриманий в процесі навчання системи вреальних умовах прямо під час роботи, або на тестовому стенді, «наземлі ». Отже, можна сказати, що завдання побудови ФРО полягає вконструюванні образів, що відповідають необхідного набору параметрів,що описують стан системи, та їх комбінаціями, необхідним для знаходженнязакону керування. Знаходження таких образів може допомогти математичнамодель об'єктах