Розуміння мови

Розуміння мови звичайно трактують як перетворення акустичногоподання мови в смислове. При створенні практичних систем сенсможна визначити, як уявлення, з якого здобуваються дії,вчинені системою. Розуміння мови слід відрізняти від розпізнанняпромови, де метою є зіставити мовне висловлювання звідповідними словами в словнику. До початку 70-х більшістьдосліджень було направлено на розпізнавання мови. 5 років треба було настворення системи ARPA, первісна дослідницька мета якоїполягала в розпізнаванні мови, а кінцеві результати в розумінні.
Здавалося, що здатність системи давати розумну відповідь на мова була більшзначущим критерієм для розвитку мовних систем. До того ж вважалося, щомовний сигнал є недостатнім джерелом інформації, і знанняконтексту мовного висловлювання важливо тільки для успішного распонаванія іінтерпретації. Системи по розпізнавання мови, що базуються на динамічномупрограмуванні та відповідність із зразками, розвивали для мовнихвисловлювань, які складалися майже повністю з ізольованих слів,обираних з невеликого вокабуляру. Проте такий підхід, при якомушукається найбільш точну відповідність між певними вимовленимисловами і вокабуляр акустіческох зразків слів, менше всього підходив допов'язаної мови, так як вхідний сигнал акустичної в цьому випадку не можебути ефективно змодельований, як просте поєднання вимовлених частинлексичних одиниць. У пов'язаної мови мінливість, що виявляється призгідно із зразками, передає корисну інформацію і для розпізнання,і для інтерпретації. Однак, необхідно починати з основних лінгвістичниходиниць, таких як фонеми, і зберігати інформацію про ритм і тривалостімовного висловлювання. Якщо йдуть таким шляхом, то підхід до обробкимови, що базується скоріше на знанні, ніж на відповідностях із зразками,стає неминучим, тому що, щоб отримувати переваги зрозпізнавання конкретних лінгвістичних одиниць у сигналі, необхіднознати, як дана одиниця пов'язана з іншою частиною мови.
Системи розуміння мови (СПР) мають справу з пов'язаними одиницями мови,такими як, фрази, пропозиції і навіть параграфи, тому що "порозуміння"ізольованих слів може означати тільки тривіальний процес зіставленнядеякого значення до кожного слова словника системи. Розуміння пов'язаноїмови - дуже складне завдання, і на проект СПР вплинули дослідження в такихрізних галузях, як акустична обробка сигналу, нейро-фізіологія,психолінгвістика, психологія. СПР була створена, щоб розуміти всьогодекількох дикторів одного діалекту, виробляючи граматично обмеженепідмножина мови зі словником близько тисячі слів. Зараз хоча і єбагато потенційних прикладних програм для СПР їх ефективність інадійність все ще недостатня, щоб широко використовуватися. Системи,залежні від диктора, що розпізнають ізольовані слова з невеликимсловником, що використовують як зразки-відповідностей цілі слова вжезнайшли своє застосування, типу обробки багажу на авіалініях. Тим не меншевизнано, що вдосконалення такого типу систем (великі словники,незалежність від диктора) вимагає підходу, заснованого на більш глибокихзнаннях.

Теоретичні передумови
Посередником при перетворенні мови в її значення повинні служитипевні компоненти, які використовують різноманітні джерела знання
(З), тому що мовний сигнал кодує багато різної інформації, необхідноїдля відновлення значення. Наприклад, варіативність у вимові слів упов'язаної мови більше не є перешкодою при підборі зразкавідповідності, але це досить важливе джерело інформації, наприклад,щодо розташування кордонів слова або контекстуально важливою
(виділеної наголосом) інформації в проголошенні. Єдиною можливоюорганізацією СПР та основних З є наступна: МОВА - ОБРАБОРТКА
Акустичний сигнал - фонетична АНАЛІЗ - Фонологічні АНАЛІЗ -
Морфологічний аналіз - лексично ДОСТУП ДО Словник - Синтаксична
АНАЛІЗ - СЕМАНТИЧНИЙ АНАЛІЗ - ЗНАЧЕННЯ. При такій організації СПРінформація тече вгору в міру того, як кожен елемент створюєпроміжні представлення, кодуючи (часткові) гіпотези щодовведення на основі йому доступного знання.

Акустична обробка отціфровивает вхідний сигнал з частотою, яказберігає сигнал для розуміння. Акустична обробка також трансформуєвідцифрованого сигнал різними способами, щоб представити його в тійформі, яка піддається фонетичному декодуванню. Наприклад,спектральний аналіз буде виконаний для кожного проаналізованого фрейму,і додаткові параметри, такі як частота основного тону, підраховані.
Параметричний сигнал може потім бути позначений як дискретнапослідовність фонем. Наприклад, якщо сигнал з низькою амплітудоюрівномірно поширюється поперек спектру, то цей звук ймовірнофрікатівний, типу [f] або [v]. Крім того, для кожної фонеми характернітакі особливості, як висота тону, тривалість і амплітуда. Акустично --фонетичне перетворення є вирішальним для ефективної роботи СПР,але все ще одне з найбільш слабких сторін мовної обробки. І це булоголовним недоліком СПР, розробленої на основі ARPA в 1970-их.

Фонологічні аналіз виконується на фонетичному виставі, щовизначає лінгвістично важливі відмінності, наявні в фонетичномуподанні вимовляння, наприклад, рівні і розташування наголосу,інтонаційний контур, структури складу, послідовності фонем, що лежать воснові виголошення. Фонологічні аналіз необхідний для лексичногодоступу, тобто процесу, який порівнює фонетичну формувиголошення з канонічними уявленнями фонемний слів у словнику,щоб відновити інформацію, що зберігається там щодо їхморфологічних, синтаксичних, і семантичних властивостей. Це скасовуєтакі ефекти швидкої мови, як асиміляція або скорочення. Наприклад, слова
"Did" і "you" могли б мати в словнику наступні послідовності фонем:
/ dld/і/ju: /. Однак, акустично - фонетичне перетворення могло бвідновлювати фактичні звуки або фонеми, типу [dIje]; пов'язувати цюфонетичну послідовність c канонічними уявленнями фонемний
"Did" і "you". Це необхідно, якщо треба дізнатися, що палаталізаціясталася на межі слова, замінивши [dj] на [j], і що неударний гласний
"you" був редукований до нейтрального ненаголошеного. Аналогічно,фонологічної знання щодо допустимих послідовностей фонем ускладах може використовуватися, щоб розпізнати склад, і отже,кордону слова. Наприклад, в/houmhelp/повинна бути межа між/m/ідруга/h /, тому що ніякої склад в англійському не може містити/mh /.

Як тільки фонологічної аналіз завершено, подальша обробка вводубуде подібна до розуміння тексту. Подальші морфологічний, синтаксичний,семантичний і прагматичний аналізи сприяють розпізнавання,експлуатуючи надмірність мови, в інформаційно - теоретичному сенсі. Удеяких з проектів APRA завдання синтаксичного аналізу полягала втому, щоб виключити гіпотези слова на основі синтаксично неприпустимихпослідовностей.
Перш, ніж слова, виділені в мовному сигналі будуть зіставлені злексичними входів у словнику системи, необхідно провести морфологічнийаналіз, який приведе слова до їх основний спосіб, наприклад, усунезакінчення множини/s/або/z /, які сильно б розшириличисло входів в словник.
Після морфологічного аналізу виникло морфофонологіческое поданнямовного введення може бути знайдено в словнику системи, щоб отриматисинтаксичну і семантичну інформацію щодо гіпотезипослідовності слів. Синтаксичний, семантичний, і прагматичнийаналіз - в основному той же самий для мовного і текстового розуміння.
Проте, повинно бути взаємодія між цими та більш низькими рівнямианалізу не тільки, тому що вони будуть доповнювати правильне розпізнаваннявимовляння, але також тому що деякі аспекти фонологічноїаналізу, особливо що стосуються наголосу й інтонації, сприятимутьінтерпретації. Наголос, наприклад, необхідно для визначенняконтекстуально нової інформації і для знаходження залежних слів длязайменників.
Це короткий опис вкладу різних З в розуміння мови тількирозкриває основні процеси. З, використані в розумінні мови, єнасамперед лінгвістичними. Однак, ефективність СПР залежить в багатояк від ефективного використання цих ІЗ так і від розробки їхзмісту.

Акустичні - фонетичний Аналіз
Безсумнівно найбільш важлива область в обробці мови, яка б вимагаладослідженнях, - це акустично - фонетичний аналіз. Якщо акустично --фонетичний аналіз слабкий, то помилкові гіпотези видадуть у підсумкунеправильний аналіз. Сегментація та ідентифікація акустичного сигналу впослідовності лінгвістичних одиниць надзвичайно важка. Спочатку, мова
- Це код, а не шифр; тобто, акустичне сигнали, що асоціюються зсегментами, безпосередньо з ними не пов'язані; на ці сигнали сильновпливають сусідні сегменти. Наприклад, спектрограми/d/в/di/і/du/дужерізні, тому що на них впливають наступний голосний. Крім того, не можливорозділити акустичної сигнал на/d/і наступний голосний. Ці спостереженнястворили таку теорію: кінцеве кількість цих сегментів не завждиможна досягти через безперервного руху вокального трактату. Такийсинтезує аналіз був би, однак, дуже в обчислювальному відношеннідорогою, тому що він вимагав би, щоб СПР вмів генерувати всіх можливіпроголошення та зіставляти їх з акустичному введенням. Однак по-перше,акустичне сигнали, на противагу фонема або алафонам, містятьінваріантні сигнали. По-друге, акустичне сигнали часто сильноредукуються в ненаголошеній положенні. Це часто викликає багато неправильнихгіпотез в системах, де акустично - фонетичний компонент будеприймати за гіпотезу сегмент з фіксованого інвентаря. По-третє,акустичне сигнали варіюють від диктора диктору з-за фізіологічнихособливостей вокального тракту, відмінності в характеристиках мови, тощо.
Люди здатні компенсувати ці відмінності швидко і плавно, але все ще малозрозуміло, як зробити цей процес автоматичним. Більшість комерційнихсистем розпізнавання мовлення вимагає довгого навчання, повторюючи закористувачем кожне слово в словнику системи кілька разів і --отже дуже залежно диктора. У ARPA кілька з розроблених СПР досягли певного ступеня незалежності від диктора, намагаючись ввестипараметр в акустично - фонетичний аналіз для нового диктора на основіщо навчається пропозиції, яка знала система, користувачеві жслід було його промовити.
У всіх ARPA проектують СПР, де акустично - фонетичний аналізфактично не існував і сегментний аналіз не був точним. Кінцевеподання кожної системи було головним чином визначено ефективністюбільш високих рівнів аналізу при виправленні помилок на фонетичномурівні. Більш сучасні системи використовують більш складний акустично --фонетичний аналіз, інтегруючи інформацію з ряду перетвореньакустичного сигналу і створюючи кілька типів фонетичнихуявлень, але ефективність все ще обмежується в середньому 70%успішним розпізнаванням фонем з мовного висловлювання, виголошенихневеликою кількістю дикторів.

Фонологічні Аналіз
Фонологічні компонент необхідний для будь-якої, обробній мова,системи, заснованої на знаннях, тому що система вимагає знаннящодо фонологічним процесів, активних у мові і в прикладнихпрограмах, щоб відновлювати канонічні вимову слів, якіможуть бути зіставлені з відповідними входами словника, і отримуватиподальші сигнали до синтаксичної та семантичної/прагматичноїінтерпретації мовного висловлювання. Фонологічні компоненти булирозроблені для СПР та інших систем ARPA. Однак, вони були в значніймірою обмежені лексичними, сегментними процесами і звичайно мали справуз фонологічно керованими змінами, генеруючи альтернативневимова для індивідуальних лексичних одиниць і зберігаючи їх удодатковому словнику. Цей підхід не може мати справу адекватно зфонологічними процесами, які з'єднують межі слова, типупалаталізація. Найбільша область прикладної програми дляфонологічної правила - інтонаційна фраза; отже, фонологіяне можна розглядати в термінах різного вимови для лексичниходиниць. Фонологічні аналіз забезпечує багато важливої інформації для СПР;наприклад, різні види фонологічної правила блоковані різнимилінгвістичними межами між сегментами. Корисно розкласти на склади іслова мова, сегментація може також забезпечити відомості для синтаксичногоаналізу; палаталізація з'єднує кордону слова, але блокована на кордонахголовних синтаксичних складових, так що її відсутність можевикористовуватися, щоб вирішити неоднозначність щодо присутності такоїкордону в цьому місці мовного сигналу. Фонологічні правила такожзмінюються серед діалектів. Отже, СПР, здатні до розуміннядикторів з різними діалектами, вимагали б знання щодо цихрозходжень і здатності реконфігуріровать себе для їх мови. Палаталізація,наприклад, відбувається частіше в американських діалектах, ніж у британських абоанглійських.
Наприкінці сімдесятих почали розвиватися нові підходи до фонології, такі якавтосегментная, метрична залежності, фонологія залежності, дляяких центральним є сверхсегментальний аспект. Деякі з цихдосягнень були включені в СПР.

Інтерпретація, заснована на джерелі знань
З марні в СПР, якщо знання, яке вони кодують, не може бутипредставлений таким чином, який дозволяє інтерпретацію за допомогоюмашини. Наприклад, фахівці з фонетики зазвичай використовують Міжнародний
Фонетичний Алфавіт для фонетичною запису. Однак, оскільки вибіруявлення впливає на прикладну програму знання, системиЗ подання в СПР часто були компромісом між описовоїадекватністю та обчислювальної ефективністю. Наприклад, в ARPA проектуютькожен СПР, використовуючи ідею синтаксичного представлення, щоб не висловлювативсі граматичні можливості англійської мови. Формальна мова та теоріяавтоматів пропонують ефективні алгоритми для прикладної програми ІЗ,виражені в наборах правил з відповідними формальними властивостями.
Наприклад, мінімально збільшені контекстно - вільні запису дляадекватного опису англійського синтаксису і фонології. Однак, успіхицього виду не ведуть автоматично в обчислювальному відношенні до ИЗ, тому щонабори правил, потрібні, щоб висловити знання в цій формі можуть бутинадзвичайно великі. Крім того, здається малоймовірним, що всі ІЗ,використовувані в СПР можуть бути виражені всередині таких обмежених записів.
Тим не менше, більш спеціалізовані і потужні методи також булирозроблені, типу інтерпретаторів для промислових систем або збільшенімережі переходів. З'являються деякі експертні оболонки системи,що є багатообіцяючими прикладними програмами для акустично --фонетичного перетворення. Чим краще розуміння специфічної області,тим більше можливість представлення знання адекватно і ефективно. Крімтого, ймовірно, що різні схеми представлення будуть найбільш ефективнідля різних З; отже, структура СПР, яка нав'язує,однакову схему для всіх З, типу HAERSAY-11 або HARPY, не ідеальна.
На вибір подання впливають чинники, інші ніж доступністьметодики інтерпретації для специфічної схеми; наприклад, кілька СПР НЕнамагаються відображати безпосередньо між акустичному сигналом іфонетичним алфавітом, але створювати проміжні представлення, відзначаючиакустично яскраві особливості типу назальні, допомагати процесурозпізнавання фонем. На представлення також впливає порядок, в якомурозташовані різні З пов'язані з мовного сигналу і повної структурі
СПР. Нещодавно було запропоновано, щобпочатковий фонетичний аналіз відзначавприголосні, голосні, а також ударні і ненаголошені склади і що це простеподання має використовуватися, щоб отримати набір слів-кандидатівз відповідно організованого словника. Деталізований фонетичнийаналіз потім застосовувався б до ненаголошених складів (складах), щоб розпізнатийого між кандидатами.

Структура Системи
Велика частина літератури з СПР стосується межкомпонентной зв'язку під часобробки. Ця проблема є основною, тому що неоднозначності повинні бутивирішені швидко, щоб уникнути непотрібного обчислення, і також тому, щонадмірність між ІЗ може використовуватися, щоб розкласти на множникинеправильні гіпотези, викликані або помилками системи або справжньоїнеоднозначністю в мовному сигналі. Наприклад, акустично - фонетичнийкомпонент міг би запропонувати аспірованим/p/або/b /, за яким слідуєгласні і/t /, результатом цього припущення можуть стати такі слова -кандидати, як "put" і "but". Проте, мабуть, одне з них будевідхилено на основі синтаксичного аналізу, так як дієслова і спілки неграють однакову роль у реченні. Аналогічно, справжня синтаксичнанеоднозначність є у висловленні, типу "He gave her dog biscuits",де поєднання "her" може функціонувати і як прикметник і якіменник. Але в цьому випадку неоднозначність може бути вирішена задопомогою наголосу й інтонації, які будуть супроводжувати обидвіінтерпретації.
Запропоновані структури - ієрархічні, з послідовним потокомінформації через ланцюжок компонентів З, і неієрархічну, без обмеженняна потік інформації між компонентами.
Перевага ієрархічного підходу в тому, що є природнийпорядок для прикладної програми ИЗ, щоб вводити мова; синтаксичнийаналіз може здійснюватися тільки на основі лексичної інформації і т.д.
Крім того, в цілому управління системи просто. Проте, є багатовипадків, коли непослідовні взаємодії між ланцюжком компонентівкорисні; наприклад, аспекти просодіческой, сверхсегментальной структуривисловлювання будуть доречні по відношенню до фонологічної,синтаксичної, семантичної, і прагматичної інтерпретації.
Непослідовний взаємодія може бути досягнуте всерединіієрархічної моделі, передаючи всі можливі аналізи, сумісні зданими компонентом наступного, який потім вибирає підмножинааналізів. Але це тільки тоді спрацює, якщо проміжні представлення,передані через СПР настільки збагачені, що можна було б використатипроаналізовану всю інформацію в наступних компонентах. Таким чином,введення синтаксичного компонента в додаток до синтаксичної інформаціїщодо слів повинен включити всю доступну інформацію длясинтаксичного аналізу, типу просодіческой інформації, і вся інформація,відноситься семантичному/прагматичному аналізу повинна бути такожвключена. Це ускладнює схему подання, і дорого в обчислювальномувідношенні, тому що створює багато неправильних гіпотез. Неправильних гіпотезможна уникнути, тому що інформація, у якій відсутня неоднозначністьтимчасово доступна, вона закодована в тій частині мовного сигналу, якийвже проаналізовано на більш низьких рівнях, але в ієрархічній моделі цейспосіб не застосовується, поки ввід не досягає відповідного компонента впослідовної ланцюжку.
Неієрархічну системи уникають неефективності, дозволяючи компонентамзастосовувати в найбільш ефективному порядку складні межкомпонентние зв'язку.
Кожен компонент потрібно забезпечити засобами, щоб запитувати і отриматиінформацію з інших компонентів або починати певну обробку віншому компоненті. Це вимагає спеціальних каналів зв'язку міжкомпонентами в системі. Розробка адекватної системи управління для такоїмоделі неможлива, тому що повинна передбачати всі можливі потокиуправління у стадії проекту. Практично, реальні неієрархічну моделідля СПР були обмежені однорідними уявленнями з ІЗ і одиночноїглобальної структурою даних, як у (blackboard systems) робочих системах.

Стратегії Обробки
Різні стратегії обробки використовувалися в різних структурах СПР, щобскоротити обчислення, необхідний для успішного аналізу. І ієрархічні йнеієрархічну системи можуть працювати зі способами керування даними якзнизу-вгору, так і зверху-вниз при використанні знання, щоб створитигіпотези щодо введення. Однак, найсучасніші СПР використовуютьспосіб знизу-вгору через досить слабкої предсказания мови на основі ІЗ.
Аналогічно, СПР може досліджувати простір, визначаючи його глибину іширину. Більшість систем оперує з шириною простору черезсумнівного або помилкового характеру багатьох гіпотез, але використовуєпідраховують методи, щоб зберегти розмір активного досліджуваногопростору. Одна з таких методик, підраховує невдачі, якавключає вимір сукупності безлічі індивідуальних слів-кандидатів успіввідношенні з теоретичної верхньою межею та обробку гіпотези,гарантує, що СПР знайде найбільш повну підраховують гіпотезу дляпершого висловлювання. Однак це не гарантує, що найбільшприваблива гіпотеза є правильною; ефективність компонентів,які сприяють породження гіпотез слова, все ще євизначальним чинником у повному представленні системи. Цим оцінками повиннівідповідати всі компоненти, і вони повинні відображати різні долученнякожного ІЗ. Однак, значення, яке повинно бути приєднано до будь-якого ІЗ,має змінитися відповідно до контексту. Наприклад, при розпізнаванніненаголошеного і фонетично скороченої приводу, синтаксичний аналізповинен частіше звертатися до акустичного аналізу, ніж при розпізнаванніударного складу. Крім того, дослідження повинні бути оцінені за допомогоючасу. Хоча деякі схеми оцінки, які використовувалися в готових СПР, покращують ефективність, це пов'язано або з теоретичних причин, зпідраховують методикою, наприклад, підраховують невдачі, або, тому щовони були розроблені на основі випробувань і помилок і оцінювалисявиключно по ефективності, пов'язаної з часом виконання, наприкладмеханізм фокусу уваги в робочій системі HEARSAY-11.
Аналіз мовного сигналу може проходити зліва направо через лінійнийсигнал або з середини островів більшої акустичної надійності в обохнапрямках. Підхід, який використовує острова надійності, має перевагуу прийнятті вільних від помилок фонетичних даних за початкову відмітку зарахунок більш складної структури управління та організації системи, як у HWIM.
Мабуть слухачі звертають більшу увагу на ударні склади, яківзагалі більш ясно вимовляються, і отже більш легко аналізуютьсяфонетично. Крім того, фонологічна структура англійського словниказмушена бути складеною у такий спосіб, при якому кожне слово можебути отримано навіть при грубому фонетичному аналізі структури складу разомз детальним аналізом ударного складу. Отже, підхід, що використовуєострови надійності по суті правильний, хоча і був би більш ефективним,якщо обробка почалася в ударних складах.

Поточні Тенденції
Починаючи з проекту ARPA в 70-х мав місце період в дослідженні мовногорозуміння, швидше орієнтований на проблеми, ніж на побудову систем.
Багато хто з цих досліджень зосередилися на акустично-фонетичномуперетворення в результаті нових доказів, що показуютьінформаційне багатство акустичного сигналу. Зараз же відновленоінтерес до побудови повних систем, що включає дослідження, що стосуютьсяструктури системи. Однак, більшість країн, що розвиваються систем, заснованих назнаннях, обмежено швидше розпізнаванням безперервної мови, ніж розумінням.
Удосконалення в акустично-фонетичному аналізі припускають, щобверхні рівні аналізу не були визначальними для розпізнавання безперервноїмови, всупереч переважаючим думку за часів проекту ARPA. Але проблемирозуміння, такі як способи подання знань, залишаються невирішеним.

Системи
Головні СПР, розроблені в проекті ARPA, були HARPY, HWIM, HTEARSAY-11, і
SRI/SDC. HARPY виявився найбільш близьким за критерієм ефективності,визначеному для проекту. Однак, структура HARPY вимагала складанняЗ усього в одну кінцеву мережу, так що мова, що сприймається системою бувбільш обмежений, ніж в інших системах. Система HEARSAY-11 була створена якпромислова система. Кілька СПР були розроблені для Європейськихмов, таких як KEAL і MYRTILLE-11 для Французької мови і EVAR длянімецького. Проте, ці системи не перевершили системи ARPA за ефективністюабо проекту. Так само була створена автоматична система бронювання місцяна авіалінії, яка включає безперервне розуміння мови. Ця система,розроблена в Лабораторіях Bell, відповідає на телефон, щоб встановитивідповідну бронь. Вона використовує метод зіставлення целового слова зшаблоном, щоб розпізнати слова зі словника, який налічує 127 слів.