Комп'ютерний
морфологічний розбір слів російської мови
Застосування
даної статті важливо для тих, хто хоче зробити інтерфейс до своєї програми на
природною мовою або зробити інтелектуальний пошук інформації. Для цього
потрібно в першу чергу зробити морфологічний аналіз слів тексту. Тоді не
потрібно буде мати великий словник слів у різних словоформах. Досить
запам'ятати основне слово в словнику, а вхідний потік слів піддавати
морфологічному аналізу, з тим щоб усі слова перетворити до початковим
словоформа.
Приклад.
користувач ввів у базу знань свою інформацію "фірма РВК. Наша фірма
продає тару картонну ". Модуль морфологічного розбору перетворює цю
інформацію до наступного увазі: "фірма. Рик. мій фірма продати тара картонний".
З точки зору сенсу вийшла нісенітниця. Але для комп'ютера - у самий раз,
це буде видно далі. Тепер, інший користувач вводить для пошукової
системи запит "продає тару картонну". Цей запит буде так само
перетворений в "продати тара картонний". І тепер виконавши простий
пошук по збігом, система пошуку видасть раніше запомненную інформацію:
"фірма Рік. продати ...". Однак тут було б краще запам'ятати
первинну інформацію клієнта з правильними словоформа і видати тільки
її.
Морфологія слів
російської мови визначається за афікси - закінчення та суфікс слова. Назвемо
це правило правилом морфологічного розбору. Однак є слова, які мають
закінчення, що підходить для певної форми слова, але є зовсім інший
формою. Наприклад, "-ать" говорить що слово є дієслово (стрибати,
бігти). Але є слово "ліжко", яке є іменник.
Значить, з правила морфологічного розбору є винятки. Так само є слова,
які не змінюють свою форму. Наприклад, прийменники, "не", прислівники,
"так" і т.д. Значить, є доповнення до правила морфологічного
розбору. Ці доповнення можна представити як виключення з правила. Таким
чином ми прийшли до певного логічного опису морфологічного розбору
слів. Для створення комп'ютерної програми тут найкраще підійде логічний
мова програмування. Розглянь два з них.
Приклад
програми морфологічного розбору слів на логічному мовою програмування
ПРОЛОГ.
------------------------------------
/* програма з
розпізнавання морфології слів російської мови */
/* по закінченню
слова */
/* мову
програмування ПРОЛОГ */
domains
Слово =
string
predicates
морфологія (Слово, Слово
Основа)
nondeterm
виняток (Слово, Слово Основа)
nondeterm
правило (Слово Афікс, Слово АффіксОснови)
nondeterm
афікс (Слово Корінь, Слово, Слово Афікс)
clauses
/* база знань
*/
/* виключення
з правила розбору слова для "неправильних" слов */
виключення ( "річок", "ріка ").
виключення ( "сіл", "сісти ").
/* правила
розбору для правильних слів */
/* для дієслів
*/
правило ( "нулі", "ать ").
правило ( "глянув", "ать ").
правило ( "еть", "ать ").
правило ( "ает", "ать ").
правило ( "ал", "ать ").
правило ( "вул", "ать ").
правило ( "ули", "ать ").
/* для
прикметників */
правило ( "ша", "вий ").
правило ( "ші", "вий ").
правило ( "а", "Ой ").
правило ( "ие", "Ой ").
правило ( "ту", "Ой ").
/* предикат
здійснює перебір всіх варіантів */
/* афіксів для
цього слова */
афікс ( "", Афікс, Афікс).
афікс (Корінь, Слово, Афікс ):-
frontchar (Слово, Буква, Слово1),
афікс (Корень1, Слово1, Афікс),
frontchar (Корінь, Буква, Корень1).
/* спочатку
переглянь всі виключення */
морфологія (Слово, Осн ):-
виключення (Слово, Осн ),!.
/* якщо не
вдало, то переберемося все афікси слова */
морфологія (Слово, Осн ):-
афікс (Корінь, Слово, Афікс),
правило (Афікс, АффіксіОсн),
concat (Корінь, АффіксіОсн, Осн ),!.
/* якщо
невдало, то значить слово несклоняемо */
морфологія (Слово, Слово ):-!.
/* виклик
процедури морфологічного розбору */
Goal
морфологія ( "зелену", Слово).
Відповідь Пролог:
Слово = "зелений"
Як видно, в
програмі всього 13 рядків, а інше база знань. Тепер подивимося як
впорається з цим завданням РЕФА.
Приклад на
логічному мовою програмування РЕФА - 5:
-----------------------
/* програма з
розпізнавання морфології слів руссского мови */
/* по закінченню
і приставці слова */
/* мова програмування
РЕФА 5 */
/* автор
Єрмолаєв Д.С. [email protected] */
/* введення одного
слова з консолі */
$ ENTRY Go (=;);
/* таблиця1.
слова, які мають неправильне закінчення */
WordsMissTable (=
(( 'сіл') 'сісти')
(( 'річок')
'чого')
);
/* таблиця2.
закінчення, за якими можна визначити основу */
CompletionTable (=
/* для дієслів */
(( 'нулі') 'ать')
(( 'глянув') 'ать')
(( 'ает') 'ать')
(( 'еть') 'ать')
(( 'ЕЧ') 'ать')
(( 'ал') 'ать')
(( 'їв') 'ать')
/* для прикметників
*/
(( 'ші')
'вий')
(( 'ша')
'вий')
(( 'а') 'ї')
(( 'ие') 'ї')
(( 'ую') 'ї')
);
/* сама
програма розпізнавання морфологічної форми слова */
Question (
/* беремо слово
і шукаємо відповідне за шаблоном у таблице1 */
(e.Word),:
e.L ((e.Word) e.Qst) e.R = e.Qst;
/* інакше, бере
закінчення слова і шукаємо по шаблону в табліце2 */
(e.1 e.End),:
e.L ((e.End) e.Qst) e.R = e.1 e.Qst;
/* інакше, слово
незмінне */
(e.1) = e.1;
);
Програма на
РЕФАЛЕ складається з трьох пропозицій!
Цікаво,
скільки б пропозицій програми довелося б написати для вирішення такого завдання
на алгоритмічній мові? Наприклад З ++?
Список
літератури
Д. С. Єрмолаєв.
Комп'ютерний морфологічний розбір слів російської мови
