Оцінка систем дистанційної освіти (математична модель)

Роботу виконав Березюк Р.Г.

2006р., Южно-Сахалінськ

1. Введення

В умовах сучасної Росії першочергову увагу з боку держави має приділятися дистанційної освіти. Чому слід орієнтуватися саме на дистанційну освіту, а не на традиційні види підготовки фахівців?

По-перше, з кожним роком зростає стрибкоподібно число виробничих і комерційних структур різних організаційно-правових форм. І для кожного з сотень тисяч знову утворилися підприємств потрібні, грамотні фахівці з належною освітою, тобто реальна потреба ринкової економіки в кваліфікованих кадрах різних напрямів становить сьогодні сотні тисяч фахівців.

По-друге, одночасно різко збільшується чисельність працюючих в податкових та митних органах, комерційних банках, страхових компаніях, пенсійних та інвестиційних фондах та ін І тут теж потрібні кваліфіковані фахівці.

По-третє, у зв'язку із зростанням числа учасників експортно-імпортних операцій зростає потреба в економістах-фахівців в галузі міжнародних економічних відносин.

Мета роботи - розробка та обгрунтування системи показників якості Оцінка якості дистанційної освіти в багатьох відносинах повинна бути близькою до оцінки якості звичайного очного або заочного освіти. Так, якість освіти, як комплексу знань і вмінь, повинно відповідати одним і тим же вимогам, незалежно від форми навчання. Однак оцінка якості за показниками організації процесу навчання буде залежати від форми навчання.

2. Дистанційна освіта управління якістю. Критерії якості

2.1 Моделі управління якістю

У сфері освіти під якістю навчання, тобто під задоволенням вимог замовника, мається на увазі відповідність знань і умінь випускників навчального закладу вимогам, що ставляться з боку промисловості (якщо мова йде про інженерній освіті). Суспільство через попит на випускників на ринку праці доводить до вищої школи свої потреби і контролює рівень підготовки фахівців. Престиж університету залежить від того, як котируються на ринку праці і куди влаштовуються на роботу його випускники. Однак затримка в часі між отриманням знань і умінь у вузі і їх оцінкою у виробничих умовах становить кілька років. Отже, практична оцінка якості навчання з боку галузей, використовують фахівців, є лише допоміжною і не може грати основну роль в управлінні якістю навчання, оскільки вона надмірно інерційно.

З точки зору підходів до оцінки і контролю якості залишаються дві моделі управління якістю. Перша модель заснована на безпосередньому контролі знань учнів. У другій моделі методичної основою для управління якістю є міжнародні стандарти серії ISO 9000 [1] .

Тестування знань шляхом проведення контрольних заходів є важливим і необхідним елементом навчального процесу, проте в системі управління якістю результати тестування грають лише допоміжну роль. Дійсно, тестування безпосередньо не вказує на причини та джерела появи вад, воно є вибірковим щодо що вивчається, і спрямовано переважно на оцінку знань і меншою мірою на виявлення умінь учнів. Крім того, на іспитах і заліках виявляється загальний рівень отриманих знань і, якщо він недостатній, то для відповідних індивідів цей рівень виявляється остаточним, виправлення можливо вже тільки по відношенню до наступних поколінь студентів.

Тому інтерес представляє друга модель управління якістю освіти на основі контролю не тільки знань учнів, а й процесів навчання, їх організації та застосовуваних засобів. Іншими словами, положення стандартів ISO 9000 при відповідній інтерпретації можуть бути корисно використані і в сфері освіти. Тому в основу управління якістю в освіті доцільно покласти друга модель.

Стандарти ISO 9000 розроблено для управління якістю продукції або послуг в промисловості. Вони визначають і регламентують інваріантні питання створення, розвитку, застосування і сертифікації систем якості на промислових підприємствах. У них встановлюється форма вимог до системою якості для демонстрації постачальником своїх можливостей та оцінки цих можливостей зовнішніми сторонами.

Система якості зазвичай представляє собою сукупність трьох шарів документів. Шари містять: 1) опис політики управління для кожного системного елемента (організація, відповідальні, контроль); 2) опис процедур управління якістю (що, де, ким і коли повинно бути зроблено); 3) тести, плани, інструкції і т.п.

Сертифікація підприємств за стандартами ISO 9001-9003 виконується деякої зовнішньої уповноваженою організацією. Наявність сертифікату якості - одне з важливих умов для успіху комерційної діяльності підприємств.

Стандарти серії ISO 9000 управління якістю промислової продукції поділяються на первинні, вторинні і підтримують.

У свою чергу, первинні стандарти поділяються на зовнішні і внутрішні. Зовнішні стандарти інваріантні до додатків, вони описують вимоги, дотримання яких гарантує якість при виконанні контрактів з зовнішніми замовниками. Внутрішні стандарти призначені для внутрішнього використання, вони описують заходи з управління якістю всередині компанії.

Як зазначено вище, у сфері освіти також можливо управління якістю навчання на основі як оцінки знань і умінь випускників шляхом тестування, так і оцінки показників організації, процесу і засобів навчання. Необхідно виявити ті фактори (системні елементи), керуючи якими можна забезпечити необхідну якість освіти.

2.2.  Фактори, що визначають якість освіти

Для виявлення факторів, що визначають якість освіти, доцільно розглянути компоненти процесу навчання. Якість залежить від особливостей кожного компонента.

На рис. 1 наведена архітектура освітньої системи, введена в міжнародному стандарті IEEE P1484.1. Компонентами системи є той, якого навчають, викладач (інструктор), навчальні матеріали (репозиторій), система доставки матеріалів, кого навчають, система оцінювання результатів навчання, модель, якого навчають (його профіль). Взаємозв'язки в архітектурі відображають потоки даних, якими обмінюються учасники процесу навчання. Інструктор (їм може бути викладач або комп'ютерна система) управляє вибором навчальних матеріалів з репозиторію на основі інформації про профіль навчається, результати оцінювання поведінки учня і метаданих репозиторію. Вибрані навчальні матеріали передаються, кого навчають, а відомості про тестуючої частини доставляються також компоненту "оцінювання" через компонент "доставка". Учень виконує навчальні процедури, впливаючи на компонент "оцінювання", який, у свою чергу, може змінювати дані в профілі, кого навчають. У процесі вивчення матеріалу учень може обмінюватися інформацією безпосередньо з інструктором.

Фактором, що впливає на якість освіти, від компонента "учень" є якість попередньої підготовки абітурієнта, його здібності. Цей фактор в системі управління якістю може бути використаний частково при організації роботи приймальної комісії у вузі, організації коледжів при вузі і різних форм довузівської підготовки.

Фактор від компонента "інструктор" - кваліфікація викладачів. При ДО є кілька категорій викладачів - це автори навчальних матеріалів, викладачі-консультанти, викладачі-тьютори. Вплив авторів навчальних матеріалів на якість навчання може бути враховано через контроль якості навчальних матеріалів. Для контролю якості інших представників викладацького корпусу можна використовувати традиційні підходи, засновані на контролі наявності вчених ступенів і звань, участі викладачів у наукових дослідженнях і т.п.

Контроль якості засобів доставки зводиться до контролю кількісних і якісних характеристик матеріально-технічного забезпечення навчального процесу. У разі ДО це характеристики комп'ютерів і мережевого обладнання.

Рис. 1

Компонент "оцінювання" визначає ефективність контролю знань студента і зворотного зв'язку "студент-викладач". При оцінці якості ДО ефективність пов'язана з показниками якості тестуючих систем.

Нарешті, якість освіти в чому залежить від якості навчальних матеріалів, що знаходяться в репозиторії. Дослідження впливу якості навчальних матеріалів на якість ДО є головним завданням цієї роботи.

2.3. Критерії якості навчальних матеріалів

Документи, методики і процедури, які використовуються в управління якістю, називаються системою управління якістю.

Показник якості (системний елемент) - атрибут або група атрибутів, що характеризують якість дистанційної освіти (або навчання). У системі управління якістю є кілька груп показників, характеризують якість ДО.

Показники якості можна класифікувати по ряду ознак.

Так, серед показників якості ДО є показники як числові (типів real та integer), так і якісні (типів enumeration, string або boolean). Очевидно, що кількісна оцінка якості стане можливою після вибору способу перекладу некількісними показників у кількісні.

Відповідно до концепції інформатизації освіти якість освіти характеризується наступними групами показників:

показники якості змісту освіти;

показники якості технологій навчання;

показники якості результатів освіти.

Цьому поділу показників на групи відповідає і пропоноване групування показників якості за наступними аспектів і властивостям забезпечення, організації та проведення навчального процесу:

навчальні плани та програми;

база навчальних матеріалів;

технічне забезпечення;

методики і технології проведення навчальних занять, включаючи тестування учнів (процедури проміжного та підсумкового контролю, можливе використання результатів анкетування учнів).

можливості виробничої підсистеми;

кадрове забезпечення;

організаційне забезпечення.

Вибір груп показників і конкретних показників якості повинен бути підпорядкований наступним вимогам: потрібно враховувати основні показники, які, по-перше, істотно впливають на якість процесу ДО, по-друге, можуть бути оперативно оцінені для практичного використання в системи управління якістю.

До групи "Навчальні плани і програми" входять наступні показники:

Відповідність навчальних планів існуючим стандартам професійної освіти;

Наявність навчальних програм, їх відповідність стандартам професійної освіти, сучасному стану предметної області і дидактичним вимогам.

В даний час розроблені зразкові навчальні програми з усіх дисциплін вищої освіти, що додаються до стандартів професійної освіти. Тому мова повинна йти про робочих програмах дисциплін.

До групи "База навчальних матеріалів" входять наступні елементи якості електронних підручників:

Відповідність змісту підручника затвердженої навчальної програмі;

Відповідність обсягу матеріалу встановленим нормам;

Відповідність змісту підручника та його форми;

Повнота складу (комплектація) підручника;

Сучасність навчального матеріалу;

Прийнятий у підручнику спосіб самотестування партою.

Оскільки не всі властивості підручника охоплює наведений перелік показників, можна список показників розширити, ввівши в нього експертні оцінки методичного, змістового і технологічного рівнів навчального матеріалу.

Більш докладно ці показники розглядаються далі.

Показники групи "Технічне забезпечення ДО ":

Достатність в кількісному відношенні комп'ютерного оснащення навчальних класів, ступінь його відповідності вимогам, що пред'являються до ПК для систем ДН.

Пропускна спроможність каналів передачі даних.

До групи "Методики та технології проведення навчальних занять у системі ДО "входять елементи якості, що характеризують технології спілкування викладач-студент, студент-студент і проведення контрольних заходів:

Ступінь доступності викладачів;

Зручність форми спілкування викладач-студент і студент-студент;

Об'єктивність і повнота експертизи підготовки учнів під час проведення контрольних заходів (екзаменаційних та залікових сесій, захистів проектів);

Забезпеченість циклу лабораторних робіт та курсового проектування необхідними програмними засобами.

Поряд з технологіями, що передбачають роботу студентів під постійним контролем і керівництвом з боку людей-викладачів, знаходять застосування технології навчання під керівництвом віртуальних викладачів, у якості яких виступають інтелектуальні навчальні системи. У цьому випадку на перший план виходять показники якості мережевих підручників, що характеризують їх роль, як "віртуальних викладачів ".

Показники групи "Можливості виробничої підсистеми ":

характеристики інструментальних засобів для розробки електронних (мережевих) підручників і навчальних посібників;

наявність і продуктивність обладнання для виготовлення твердих копій, відеокурсів, компакт-дисків.

Показники групи "Кадрове забезпечення":

процентне співвідношення викладачів з ученими ступенями доктора та кандидата наук і без ступеня,

наявність наукових та/або методичних публікацій у викладачів, авторство в курсах ДН, рекомендованих до тиражування.

Показники групи "Організаційне забезпечення ":

наявність автоматизованої системи управління документами, часто іменується електронним деканатом,

наявність системи управління якістю навчання.

Система управління якістю відповідно до стандартами ISO 9000 є документальної системою, що включає опис політики навчального закладу в області забезпечення якості, різні документи по регламентації обов'язків і повноважень осіб, пов'язаних із забезпеченням якості, вимоги до використовуваних ресурсів ДО і до показників якості навчальних матеріалів і процедур навчального процесу, плани дій щодо забезпечення цих вимог і т.п.

3. Математична модель оцінки показників якості ДН.

3.1 Поглинаючі марковські ланцюга

Як зазначалося вище, у поглинаючих ДМЦ є безліч, що складається з одного або декількох поглинаючих станів.

Для прикладу розглянемо перехідну матрицю, що описує переходи в системі, що має 4 можливих стану, два з яких є поглинаючими. Матриця переходу такого ланцюга буде мати вигляд:

(1)

Практично важливим є питання про те, скільки кроків зможе пройти система до зупинки процесу, тобто поглинання в тому чи іншому стані. Для отримання подальших співвідношень шляхом перейменування станів матрицю (1) переводять до блокової формі:

(2)

Така форма дозволяє представити матрицю (2) в канонічному вигляді:

(2а)

де - одинична матриця;

- нульова матриця;

- матриця, описує переходи в системі з неповоротного безлічі станів у поглинає безліч;

- матриця, що описує внутрішні переходи в системі в безповоротній безлічі станів.

На підставі канонічної форми (2а) отримана матриця, звана фундаментальної:

(3)

У матриці (3) символ (-1) означає операцію звернення, тобто

(4)

Після відповідних перетворень матриця (3) набуде вигляду:

(3а)

Кожен елемент матриці (3а) відповідає середньому числу раз попадання системи в той чи інший стан до зупинки процесу (поглинання).

Якщо необхідно отримати загальну середню кількість разів попадання системи в той чи інший стан до поглинання, то фундаментальну матрицю М необхідно помножити праворуч на вектор-стовпець, елементами якого будуть одиниці, тобто

(4а)

де .

Для ілюстрації наведемо конкретний числовий приклад: нехай відомі значення перехідних ймовірностей матриці з одним поглинаючим станом: ; ; ; ; ; ; ; .

Перехідна матриця в блокової системі буде виглядати так:

У цьому випадку

; ; ;

Проробимо необхідні обчислення:

;

;

.

У даному випадку компоненти вектора означають, що якщо процес починається з стану , то загальне середнє число кроків процесу до поглинання буде дорівнює 3,34 і, відповідно, якщо процес починається з стану , то - 2,26 .

У конкретні завдання, звичайно, більш інформативним результатом буде не кількість кроків, а будь-які тимчасові або економічні показники. Цей результат легко отримати, якщо зв'язати перебування в кожному стані з відповідними характеристиками. Очевидно, набір цих характеристик складе вектор, на який потрібно помножити сторінки.

Так, якщо задати в нашому прикладі час перебування в стані , а в стані - , то загальне час до поглинання буде дорівнює:

У випадках, коли Марковська ланцюг включає кілька поглинаючих станів, що виникають такі питання: в який з поглинаючих станів ланцюг потрапить раніше (або пізніше); в яких із них процес буде зупинятися частіше, а в яких - рідше? Виявляється, відповідь на ці питання легко отримати, якщо знову скористатися фундаментальною матрицею.

Позначимо через ймовірність того, що процес завершиться в деякому поглинає стані за умови , що початковим був стан . Безліч станів знову утворює матрицю, рядки якої відповідають безповоротні станів, а стовпці - всім поглинаючим станів. У теорії ДМЦ доводиться, що матриця В визначається наступним чином:

(4.б)

де

М - фундаментальна матриця з розмірністю S;

R - блок фундаментальної матриці з розмірністю r.

Розглянемо конкретний приклад системи з чотирма станами , два з яких- - поглинають, а два - - безповоротні (рис.10):

Система з чотирма станами

Для наочності і простоти обчислень позначимо перехідні ймовірності наступним чином:

; ;

Решта значення ймовірностей будуть нульовими. Канонічна форма матриці переходу в цьому випадку буде виглядати так:

Фундаментальна матриця після обчислень набуде вигляду:

Тоді, згідно з формулою (5), матриця ймовірностей поглинання обчислюється так:

.

Пояснимо імовірнісний зміст отриманої матриці з допомогою конкретних чисел. Нехай , а . Тоді після підстановки одержаних значень в матрицю отримаємо:

Таким чином, якщо процес почався в , то ймовірність потрапляння його в дорівнює , а в - . Зазначимо одне цікава обставина: незважаючи на те, що, здавалося б, ліве поглинає стан ( "ліва яма") знаходиться поруч з , але вірогідність попадання в неї майже в два рази менше, ніж у "віддалену яму" - . Цей цікавий факт помічений ні в теорії ДМЦ, і він пояснюється тим, що , тобто процес має як би "правий ухил". Розглянута вище модель називається в теорії ДМЦ моделлю випадкового блукання. Такими моделями часто пояснюються багато фізичних і технічні явища і навіть поведінку гравців під час різних ігор.

Зокрема, в розглянутому прикладі пояснюється той факт, що більш сильний гравець може дати заздалегідь значну перевагу ( "Фору") слабкому противнику і все одно його шанси на виграш будуть більш кращими.

Крім зазначених вище середніх характеристик імовірнісного процесу з допомогою фундаментальної матриці можна обчислити моменти і більш високих порядків. Зокрема, дисперсія числа перебування у тому чи іншому стані - D визначається за допомогою наступної матриці:

(6)

де

- діагональна матриця, тобто матриця, отримана з М шляхом залишення в ній лише діагональних елементів і заміни інших елементів нулями. Наприклад, наведена вище матриця (3а) буде мати вигляд:

У свою чергу, матриця М є матрицею, отриману з М шляхом зведення в квадрат кожного її елемента, тобто для (3а) будемо мати:

Аналогічним чином определяемости і дисперсія для загального кількості разів перебування в тому чи іншому стані . Позначимо її :

3.2. Марківський ланцюга в прогнозування навчального процесу

Проаналізуємо ймовірність закінчення ВУЗу студентом при традиційній формі навчання. Процес отримання освіти опишемо в термінах поглинаючих Марківський ланцюгів [2] .

Нехай s1, ..., s5 - стану «першокурсника», ..., «П'ятикурсник», s6 - «відрахований», s7 - «Одержав диплом». Вірогідність завершення кожного курсу: pi, i +1 (i