Основи використання WWW - технологій для доступу до існуючих баз даних

1.1. Введення

1.2.Основние поняття

1.3.Сценаріі
1.3.1.Однократное або періодичне перетворення вмісту БД у статичні документи
1.3.2.Дінаміческое створення гіпертекстових документів на основі вмісту БД
1.3.3.Созданіе інформаційного сховища на основі високопродуктивної СУБД із мовою запитів SQL. Періодична завантаження даних у сховище з основних СУБД

1.4.План звіту

1.5.Обзор технологій
1.5.1.WWW - сервер NCSA HTTPD
1.5.2.SQL - сервер фірми Oracle
1.5.3. Бібліотеки і функції на мові C
1.5.4. Мова програмування Perl
1.5.5. Пакет Web - Oracle - Web
1.5.6. Пакет Cold Fusion фірми Allaire Corp

1.6. Оцінка трудомісткості забезпечення WWW доступу 1.1. Введення

Багато організацій використовують електронні бази даних (БД) для підтримки своїх робочих процесів. Часто це системи на одного - двох користувачів, виконані з використанням dbf - орієнтованих засобів розробки: Clipper, Dbase, FoxPro, Paradox, Access. Звичайно використовується ряд таких баз, незалежних один від одного. Якщо інформація, збережена в таких БД, становить інтерес не тільки для безпосередніх користувачів, то для її подальшого розповсюдження використовуються паперові звіти і довідки, створені базою даних.

З появою локальних мереж, підключенням таких мереж до Інтернет, створенням внутрішньокорпоративних, мереж, з'являється можливість із будь-якого робочого місця організації отримати доступ до інформаційного ресурсу мережі. Однак, при спробі використовувати існуючі БД виникають проблеми, пов'язані з вимогою до однорідності робочих місць (для запуску "рідних" інтерфейсів), сильнішим трафиком у мережі (доступ йде напряму до файлів БД), завантаженням файлового сервера та неможливістю віддаленої роботи (наприклад, відряджених співробітників). Рішенням проблеми могло б стати використання уніфікованого інтерфейсу WWW для доступу до ресурсів організації.

Технологія World Wide Web, в перекладі "Всесвітня павутина", отримала такого широкого поширення через простоту своїх призначених для користувача інтерфейсів. Принцип "тисни на те, що цікаво", що лежить в основі гіпертексту, інтуїтивно зрозумілий. У технологіях WWW усі ключові поняття проглядається документа: слова, зображення - мають можливість "розкритися" новим документом, що розвиває це поняття. Такий спосіб подання інформації називається "гіпертекстом", а документи, представлені в такому вигляді - "гіпертекстовими документами". Для опису цих документів використовується спеціальна мова - мова опису гіпертекстових документів або HTML (англ. варіант HyperText Markup Language).

З цих передумов виникає задача перетворення накопичених даних у гіпертекстові документи WWW, задача підтримки актуальності перетвореної структури. Іншими словами, завдання надання WWW - доступу до існуючих баз даних. 1.2. Основні поняття

Використання технологій WWW для забезпечення доступу до будь-яких інформаційних ресурсів має на увазі існування наступних компонент (см.ріс.1-1):  IP - мережі з підтримкою базового набору послуг з передачі даних з      єдиною політикою нумерації і маршрутизації, що працює сервісом імен DNS.  Виділеного інформаційного серверу - WWW-сервера ,      забезпечує надання гіпертекстових документів через IP - мережу в      відповідь на запити WWW - клієнтів .

Передані гіпертекстові документи оформляються в стандарті HTML - мові опису гіпертекстових документів. Ці документи можуть або зберігатися в статичному виді (сукупність файлів на диску), або динамічно компонуватися в залежності від параметрів запиту спеціальним програмним забезпеченням. Для динамічного компонування HTML-документів, WWW-сервер використовує спеціальним чином оформлені програми- CGI-програми . 1.3. Сценарії

До складу специфіки конкретної БД входять як технологічні основи, такі як тип СУБД, вид інтерфейсів, зв'язку між таблицями, обмеження цілісності, так і організаційні рішення, пов'язані з підтримкою актуальності баз даних і забезпеченням доступу до неї.

При забезпеченні WWW-доступу до існуючим БД, можливий ряд шляхів - комплексів технологічних і організаційних рішень. Практика використання WWW-технології для доступу до існуючим БД надає широкий спектр технологічних рішень, по різному пов'язаних між собою - що перекривають, взаємодіючих і т.д. Вибір конкретних рішень при забезпеченні доступу залежить від специфіки конкретної СУБД і від ряду інших факторів, як то: наявність фахівців, здатних з мінімальними витратами засвоїти визначену гілку технологічних рішень, існування інших БД, WWW-доступ до яких має здійснюватися з мінімальними додатковими витратами і т.д.

WWW - доступ до існуючих баз даних може здійснюватися по одному з трьох основних сценаріїв. Нижче дається їх короткий опис і основні характеристики. 1.3.1. Одноразове або періодичне перетворення вмісту БД у статичні документи

У цьому варіанті вміст БД переглядає спеціальна програма, що створює безліч файлів - зв'язкових HTML-документів (см.ріс.1-2). Отримані файли можуть бути перенесені на один або кілька WWW-серверів. Доступ до них буде здійснюватися як до статичних гіпертекстових документів сервера.

Цей варіант характеризується мінімальними початковими витратами. Він ефективний на невеличких масивах даних простої структури і рідкісним оновленням, а також при знижених вимогах до актуальності даних, наданих через WWW. Крім цього, очевидно повна відсутність механізму пошуку, хоча можливо розвинуте індексування.

У якості перетворювача може виступати програмний комплекс, автоматично або напівавтоматично генерує статичні документи. Програма-перетворювач може бути самостійно розробленою програмою або бути інтегрованим засобом класу генераторів звітів. 1.3.2. Динамічне створення гіпертекстових документів на основі вмісту БД

У цьому варіанті доступ до БД здійснюється спеціальною CGI-програмою, що запускається WWW-сервером у відповідь на запит WWW - клієнта. Ця програма, обробляючи запит, переглядає вміст БД і створює вихідний HTML-документ, що повертається клієнту (см.ріс.1-3).

Це рішення ефективно для великих баз даних зі складною структурою і при необхідності підтримки операцій пошуку. Показаннями також є часте відновлення і неможливість синхронізації перетворення БД у статичні документи з оновленням вмісту. У цьому варіанті можливо здійснювати зміна БД з WWW-інтерфейсів.

До недоліків цього методу можна віднести великий час обробки запитів, необхідність постійного доступу до основної бази даних, додаткову завантаження засобів підтримки БД, пов'язану з опрацюванням запитів від WWW - сервера.

Для реалізації такої технології необхідно використовувати взаємодію WWW-сервера з запускаються програмами CGI - Common Gateway Interface . Вибір програмних засобів достатньо широкий - мови програмування, інтегровані засоби типу генераторів звітів. Для СУБД з внутрішніми мовами програмування існують варіанти використання цієї мови для генерації документів. 1.3.3. Створення інформаційного сховища на основі високопродуктивної СУБД з мовою запитів SQL. Періодична завантаження даних в сховище з основних СУБД

У цьому варіанті пропонується використання технології, що одержала назву "інформаційного сховища" (ІХ). Для обробки різноманітних запитів, у тому числі і від WWW-сервера, використовується проміжна БД високої продуктивності (див. рис.1-5). Інформаційне наповнення проміжної БД здійснюється спеціалізованим програмним забезпеченням на основі вмісту основних баз даних (див. рис.1-4).  Етап 1 - перевантаження даних

 Етап 2 - обробка запитів

Даний варіант вільний від усіх недоліків попередньої схеми. Більше того, після встановлення синхронізації даних інформаційного сховища з основними БД можливе перенесення користувацьких інтерфейсів на інформаційне сховище, що істотно підвищить надійність і продуктивність, дозволить організувати розподілені робочі місця.

Незважаючи на уявну громіздкість такої схеми, для задач забезпечення WWW-доступу до вмісту декількох баз даних накладні витрати істотно зменшуються.

Основою підвищення продуктивності обробки WWW-запитів і різкого збільшення швидкості розробки WWW-інтерфейсів є використання внутрішніх мов СУБД інформаційного сховища для створення гіпертекстових документів.

Для завантаження вмісту основний БД в інформаційне сховище можуть використовуватися всі перераховані рішення (мови програмування, інтегровані засоби), а також спеціалізовані засоби перевантаження, що поставляються з SQL-сервером і продукти підтримки інформаційних сховищ. 1.4. План звіту

У розділах звіту будуть детально висвітлені різні етапи наведених сценаріїв, технологічні рішення, які використовуються для підтримки цих етапів. Взаємозв'язок глав звіту показує схема на рис. 1-6.

У другому розділі докладно описується мову HTML. Вона необхідна для розуміння того, який вигляд повинна мати інформація, яка надається з використанням технологій WWW.

Третя глава присвячена опису базових елементів WWW-технології, процедур встановлення та адміністрування WWW-сервера.

Четверта глава містить матеріал з кореневої технології створення динамічних HTML-документів - інтерфейсу CGI. Докладно описується інтерфейс CGI WWW-сервера з викликаються програмами. Саме CGI-програми (програми, що задовольняють специфікації CGI) здатні динамічно обробляти WWW -- запити до баз даних.

У розділах 5, 6, 7 викладається три технологічних напрямки, що використовуються при реалізації наведених вище сценаріїв. Зорієнтувавшись на одне або кілька таких напрямків, можна реалізовувати програмні комплекси з функціями "Перетворювач" та "Вказівник" сценаріїв 1-3.

Запропоновані технологічні рішення володіють універсальністю області застосування. Одне рішення може використовуватися для:  Одноразової створення гіпертекстових документів.  Підтримки синхронності вмісту інформаційного сховища з      основний БД.  Обробки запитів від WWW-сервера з динамічним створенням      документів на основі даних основної БД або інформаційного сховища. 1.5. Огляд технологій 1.5.1. WWW - сервер NCSA HTTPD

Як було сказано раніше, одним з ключових елементів технології WWW є WWW-сервер. Стандартом де-факто для Unix-систем стало програмне забезпечення (ПО) WWW-серверу Національного Центру з Суперкомп'ютерний Додатків (NCSA) Іллінойського Університету. Всі знову створювані продукти підтримують повну сумісність з NCSA по режимах роботи і форматом даних. Сервер NCSA є постійно удосконалюється продуктом, що відображає останні віяння WWW-технології. Створена відносно недавно "Apache Group" розробляє своє програмне забезпечення WWW - серверу на базі продукту NCSA HTTPD.

Глава 3 даного звіту присвячена установки й адміністрування WWW-сервера NCSA HTTPD. 1.5.2. SQL - сервер фірми Oracle

При реалізації сценарію 3 постає питання про вибір якісної платформи для створення інформаційного сховища. Реляційна система управління базами даних фірми Oracle є лідером на ринку СУБД. По продуктивності, надійності збереження даних, розвитку сімейства інтерфейсів, обсягу серверних платформ продукти Oracle очолюють численні рейтинги. Гнучкість використання, розвиті засоби керування доступом і розподілена архітектура роблять сервер Oracle надзвичайно привабливим для технології інформаційних сховищ, а можливість роботи на вільно - розповсюджуваних Unix-платформах розширює його можливості в некомерційній середовищі.

Істотним обмеженням використання Oracle у сфері науки та освіти є досить висока ціна і низьке бюджетне фінансування. Однак з 1996 року фірма Oracle оголосила про спеціальну програму для російських університетів, що дозволяє за відносно невеликі гроші придбати будь-який набір продуктів Oracle. 1.5.3. Бібліотеки і функції на мові C

Однією з основних технологій створення CGI-модулів для реалізації функцій "перетворювача" і "обробника" сценаріїв 1-3 є мова C. Мова C - найбільш поширений мова програмування. У кожному ВНЗ є фахівці, здатні використовувати його для створення додатків. При рішенні описаних задач мова C можна використовувати для створення наступних програм:  перетворювача, що перетворює однократно вміст БД в мережу      гіпертекстових документів (мал. 1-2);        обробника, динамічно обробного запит від WWW-сервера до      БД. (рис. 1-3);        перегрузчіка з існуючих БД в інформаційне сховище (див.      рис. 1-4);        обробника запитів від WWW-серверу до інформаційного сховища      (рис. 1-5).      

Для підтримки цих функцій створена велика кількість бібліотек і функцій мови C, готових додатків у вихідних текстах. У главі 4 описується використання мови C для створення виконуваних CGI-програм. 1.5.4. Мова програмування Perl

Мова Perl був створений для підвищення ефективності обробки текстових документів. Він орієнтований на опрацювання рядків. В даний час мова набула велике поширення як інструмент створення виконуваних модулів WWW-сервера. Існуючі пакети розширення забезпечують доступ до SQL-серверів безпосередньо з Perl-програми. Це дозволяє використовувати його для вирішення всіх задач, що виникають при забезпеченні WWW-доступу до баз даних. Perl ефективний також при опрацюванні довільних структур даних: існуючих звітів, списків, карток в електронному вигляді.

У главі 6 наведено приклади використання його для створення HTML - документів, доступу до SQL-серверів, dbf-орієнтованих баз даних. У Додатку 2 описані всі основні конструкції мови. 1.5.5. Пакет Web - Oracle - Web

Пакет WOW є вільно-поширюваним програмним засобом, призначеним для створення інтерактивних WWW-інтерфейсів із СУБД Oracle. Пакет WOW був першим і найбільш простим засобом, випущеним фірмою Oracle. В даний час існує набір продуктів, що розвивають функціональність WOW'а - Oracle Web Server версій 1, 2, Oracle Web Arcitecture.

Всі перераховані продукти дозволяють використовувати процедурне розширення мови SQL - PL/SQL, розроблене фірмою Oracle для динамічного створення гіпертекстових документів. Висока швидкість розробки досягається за рахунок різкого спрощення доступу до БД - програми на PL/SQL виконуються самим сервером Oracle. Запропонований пакет WOW був перероблений у Новосибірському обласному центрі НИТ із метою підтримки декількох російськомовних кодувань.

Основною областю використання WOW є обробка запитів від WWW-серверу до SQL-серверу Oracle у середовищі Unix. У запропонованих сценаріях пакет WOW дозволить організувати ефективний WWW доступ до інформаційного сховища, побудованому на базі сервера баз даних Oracle (сценарій 3). Глава 7 звіту присвячена опису процедур встановлення та адміністрування пакету. 1.5.6. Пакет Cold Fusion фірми Allaire Corp

Пакет призначений для використання під ОС Windows і дозволяє звертатися до різних баз даних, що підтримує інтерфейс ODBC через WWW-інтерфейси. Пакет має комерційний статус, його "evaluation copy" є вільно-розповсюджується. Для доступу до баз даних використовуються конструкції мови DBML - розширення мови HTML, доповненого засобами доступу до БД через ODBC. Документи на мові DBML обробляються на серверної частини, в результаті чого створюється HTML-документ. Повноцінна версія пакету, разом із WWW - сервером коштує $ 486.

Пакет може ефективно використовуватися як обробника запитів WWW до вихідних баз данихабо інформаційному сховищу (сценарії 2,3). Глава 5 звіту присвячена опису процедури встановлення та використання пакета. 1.6. Оцінка трудомісткості забезпечення WWW доступу

Трудомісткість забезпечення WWW-доступу до баз даних, очевидно, складається з трудомісткості робіт при реалізації одного з вищенаведених сценаріїв. Реалізація першого сценарію пов'язана з послідовним перетворенням усіх даних, що знаходяться у вихідної БД. Розробка засобів виведення вмісту таблиці у форматі HTML із необхідним форматуванням і текстовим супроводом буде займати близько 1-3-х днів для одного розробника. Розробка засобів побудови індексної структури до з'являються даним є більш творчою роботою і може зайняти 1-3 тижні для одного розробника.

Трудомісткість побудови інтерфейсів для сценаріїв 2, 3, в загальному випадку, еквівалентна трудомісткості побудови цих інтерфейсів при створенні вихідної інформаційної системи (тобто тієї, для якої забезпечується WWW-доступ) з використанням традиційних засобів розробки (не-CASE). У третьому сценарії додаткові трудовитрати підуть на перевантаження даних у ІХ. У разі перевантаження даних без зміни структури та імен можна виходити з оцінки трудовитрат: 1-2 таблиці в 1-2 дні для одного розробника, залежно від складності та обсягу таблиць, за умови налагодження технології перевантаження.

При використанні різних засобів розробки інтерфейсів до БД, представлених у звіті, трудовитрати можуть істотно відрізнятися. Ранжірованние щодо зменшення трудовитрат на розробку інтерфейсів список буде виглядати так:  бібліотеки та функції на мові C;  мова Perl;  - 4. пакети WOW і Cold Fusion.