Надійність
програмного забезпечення
Характеристики якості програмних продуктів.
Стандартизація систем якості.
На початку 70-х років багато фахівців
прийшли до висновку про необхідність широкого розповсюдження індустріальних
(інженерних) методів в області побудови програм (см, § 1.1). Індустріальні
методи базуються на суворій регламентації та автоматизації технологічних
процесів. Таким чином, стандартизація і в області побудови програм стала
життєвою необхідністю.
У рамках Єдиної Системи
Програмної Документації (еурд) розроблено та введено в дію близько тридцяти
стандартів, упорядковують розробку програмної документації. Багато видів
стандартів для програмної продукції ще не розроблені (загальні технічні
вимоги, загальні технічні умови, технічні умови на види ПП,
номенклатура показників якості, методи виконання окремих видів робіт у
технологічних процесах, порядок проведення цих робіт тощо).
При розробці ПМК системи КК ПП
прийняті наступні вихідні положення:
1) розробка ПП здійснюється
відповідно до діючих стандартів, технічних умов, ТЗ або іншими
замінюють його документами, що містять вимоги до якості ПП,
встановлені на підставі аналізу вимог конкретного і (або)
потенційного користувача до споживчих властивостей даного виду ПП;
2) якість ПП забезпечується
переважно в процесі його розробки; з завершення кожного етапу
розробки проекту повинен проводитися документований, систематичний та
критичний аналізи результатів розробки;
3) за якість що розробляється
ПП відповідальність несе розробник, що поставляється - постачальник;
4) керівництво організації --
розробника несе відповідальність за визначення політики у сфері якості та
за рішення, що стосуються розробки, впровадження та ведення системи якості;
5) управління якістю ПП
грунтується передусім на стимулювання зацікавленості розробників і
постачальників в забезпеченні високої якості ПП, підвищенні професіоналізму:
6) для забезпечення необхідного
якості ПП управління якістю здійснюється на всіх стадіях і етапах
життєвого циклу ПП, починаючи з самих ранніх;
7) у розробляє організації
повинні бути визначені система якості (керуючі органи та особи, що несуть
відповідальність за якість), а також політика в області якості ПП;
відповідальність та повноваження за кожний вид діяльності, що впливає на якість
ПП; визначення обов'язків і повноважень має забезпечувати досягнення
поставлених цілей на заданому рівні ефективності;
8) управління якістю ПП
базується на контролі якості в процесі розробки;
9) всі формалiзуються, функції,
процедури та операції з управління якістю в кінцевому рахунку повинні бути
передані ЕОМ і реалізовані на неї у вигляді інструментальних програм;
10) в ідейному (концептуальному)
плані інструментальні програми і методики, що входять до складу ПМК, повинні
представляти єдине ціле, яка узгоджується з прийнятою технологією
програмування і який є складовою частиною цієї технології;
11) в складі ПМК підсистеми У К
ПП можна виділити базову (умовно постійну) і змінну частини. Базова
часть-ПМК розробляється як типове проектне рішення з використанням
принципів модульної структури і може бути використана в різних
організаціях, незалежно від відомчої приналежності і власної
специфіки. Змінна частина-ПМК враховує специфіку розробляє
організації, структури та завдань підсистеми КК ПП. Вона створюється в конкретній
організації шляхом установки базової частини ПМК і розробки нових, відсутніх
частин підсистеми КК ПП;
12) всі компоненти базової частини
ПМК повинні мати властивості автономності (незалежності) розробки,
установки та застосування. Однак найбільший ефект має досягатися від
комплексного використання всіх компонентів ПМК.
Основними методами
стандартизації КК ПП у розробляє організації є: систематизація та
класифікація: типізація і уніфікація; регламентування.
Систематизація і класифікація
спрямовані на впорядкування елементів управління (ДКК, СКК тощо), встановлення
їх прав та обов'язків, а також взаємодії між ними.
Типізація та уніфікація
спрямовані на виявлення і формування подібних компонентів програм і
програмних комплексів по профілю організації, па створення бібліотек
уніфікованих компонентів, засобів створення програм з цих компонентів,
інтерфейсних угоді.
Регламентування направлено на
упорядкування організаційних і технологічних процедур по забезпеченню
необхідного рівня якості на всіх стадіях життєвого циклу ПП.
У США, наприклад, у середині 80-х
років введено в дію такі стандарти: ANSI/IEEE «Специфікація вимог до ПЗ» (Guide to Software Requirements Specifications), «Планування управління конфігурацією ПЗ» (Software Configuration Management Plans);
«Документування тестів ПЗ» (Software Test Documentation);
«Планування рівня якості ПЗ» (Software Quality Assurance Plan?). В якості проектів апробуються та інші стандарти, в
тому числі «Довідник гарантії якості», «Класифікація відмов, збоїв і
помилок ПО ».
При організації управління
якістю ПП багато корисні рекомендації можна запозичувати з відповідних
стандартів з управління якістю промислової продукції.
У 1987 р. затверджено п'ять
міжнародних стандартів ISO, що встановлюють вимоги до
систем забезпечення якості продукції на підприємствах: «Стандарти з
управління якістю та забезпечення якості. Керівництво для вибору і
застосування »(ISO 9000);
«Система якості. Моделі забезпечення якості при проектуванні, розробці,
виробництві, монтажі й обслуговуванні »(ISO
900S), «Система якості. Моделі забезпечення якості при
виробництві і монтажі »(ISO 9002);« Система якості. Моделі
забезпечення якості в процесі контролю і випробування готової продукції »(ISO 9003);« Управління якістю та елементи системи якості.
Основні напрямки »(ISO 9004).
Класифікація показників якості.
Під показником якості
програмної продукції відповідно до ГОСТ 15467-79 слід розуміти
кількісну характеристику одного або декількох властивостей продукції,
складових її якість, що розглядається стосовно до певних умов
її створення і експлуатації. Властивість продукції - це об'єктивна особливість,
яка може виявитися при створенні або експлуатації продукції. У визначенні
поняття «Показник якості» слова «Кількісна характеристика» не слід
розуміти в буквальному сенсі. При визначенні значень показників якості
успішно можуть застосовуватися і нечислових характеристики, хоча в загальному випадку
наявність строго кількісних, числових характеристик краще.
Показники якості програмної
продукції в залежності від характеру вирішуваних завдань з оцінки якості
продукції можна класифікувати за такими ознаками: характеризуються
властивості; спосіб вираження; кількість характеризуються властивостей; місце
застосування у процедурі оцінки; стадії визначення значень показників.
За способом вираження розрізняють
показники, виражені в натуральних одиницях, і показники, виражені в
вартісних одиницях. Як натуральних одиниць зазвичай використовують одиниці
фізичних величин (кілограми, метри, секунди і т. п.), а також бали і
безрозмірні одиниці. ПС є інформаційними об'єктами. Якими-небудь
власними фізичними властивостями вони не володіють, тому одиниці фізичних
величин в традиційному вигляді при визначенні значень показників якості ПС
майже не застосовуються, за винятком одиниць часу. Але як складовий елемент
системи обробки даних ПС вносить певну частку похибки в точність
вихідних результатів. Ця похибка може вимірюватися в одиницях перетворюються
фізичних величин. Разом з тим у програмуванні широко використовують такі
натуральні одиниці, як біт, байт, умовна машинна команда, рядок тексту і
т. п. Вартісні одиниці застосовують при визначенні значень економічних
показників якості програмної продукції.
За кількістю характеризуються
властивостей розрізняють одиничні і комплексні показники. Поодинокі показники
якості характеризують одне з властивостей ПС, комплексний-кілька. Комплексні
показники можуть бути груповими, узагальненими або інтегральними.
Залежно від місця
застосування у процедурі оцінки рівня якості ПС розрізняють базові та
відносні показники. Базовим значенням показника якості продукції
називають значення показника, прийняте за основу при порівняльній оцінці
якості продукції. Відносне значення показника якості продукції
являє собою відношення фактичного значення показника якості
оцінюваної продукції до базового значення цього показника.
За стадії визначення значень
показників якості розрізняють прогнозовані, проектні, виробничі і
експлуатаційні показники. Прогнозованими показниками оперують на стадіях
виконання науково-дослідних робіт та складання ТЗ на розробку ПС, т.
тобто на тих стадіях, коли немає ще жодного детального проекту ПС, ні, тим більше,
самого ПС. Значення прогнозованих показників в основному визначають на основі
інтуїції і досвіду аналогічних розробок, тому ці показники носять
суб'єктивний характер.
Значення проектних показників
визначають на основі аналізу проектів ПС (ескізного, технічного, робочого), а
також шляхом випробування дослідного зразка ПС. Ці показники носять більше
об'єктивний характер. Ступінь їх достовірності залежить від ефективності
використовуваних інструментальних засобів аналізу і випробування.
Виробничі показники мало
відрізняються від проектних, особливо якщо виготовлення ПС зводиться до простого
копіюванню. Якщо ж копіювання передують операції складання або створення ПС,
то виробничі показники якості таких ПС можуть істотно відрізнятися
від проектних.
Значення експлуатаційних
показників визначають за результатами промислової експлуатації ПС. При
дотриманні певних правил збору і обробки даних про якість ПС в
процесі експлуатації експлуатаційні показники дають найбільш об'єктивну і
достовірну оцінку. Тільки за цими показниками можна зробити дійсну
оцінку науково-технічного рівня і якості ПС.
Вибір номенклатури показників якості.
Вибір номенклатури показників
якості програмної продукції полягає у встановленні переліку найменувань
характеристик властивостей продукції, що визначають якість даного виду продукції та
забезпечують можливість повної і достовірної оцінки її рівня якості.
Порядок вибору номенклатури показників якості програмної продукції повинен
встановлюватися з урахуванням специфіки цієї продукції. Вибір номенклатури
показників якості конкретного ПС залежить від виду (групи) ПС, цілі
застосування та стадії визначення показників.
Для кожного виду (групи), а
іноді і конкретного ПС встановлюють свою номенклатуру показників якості,
що враховує специфіку призначення п умов застосування. Номенклатура показників
якості для кожного підкласу, групи та виду ПС оформляється у вигляді таблиць
застосованості показників якості. Крім переліку рекомендованих та обов'язкових
показників якості для даного підкласу (виду, групи) ПС, в таблицях
застосованості слід вказувати і коефіцієнти (параметри) вагомості
(значимості) кожного з них. Визначення коефіцієнтів вагомості
показників якості - найбільш істотна і важке завдання вибору
номенклатури показників якості. У принципі при вирішенні цього завдання можна
використовувати або метод вартісному-регресійних залежностей, або метод
граничних номінальних значень. Але їх використання ускладнене через
відсутність необхідних вихідних даних. Тому на практиці найбільш
поширений експертний метод визначення коефіцієнтів вагомості.
Таблиці
застосованості є
керівним або довідковим матеріалом для вибору робочої номенклатури
показників якості конкретного ПС. Робоча номенклатура ПС встановлюється з
урахуванням призначення і умов використання ПС; результатів аналізу вимог
користувача (замовника), поставлених завдань управління якістю; складу,
структури і специфіки характеризуються властивостей.
Цілі застосування номенклатури показовий
якості встановлюють відповідно до завдань управління якістю
програмної продукції. Такими цілями, зокрема, можуть бути наступні:
складання технічного завдання па розробку ПС; складання технічних
умови на ПС; заповнення карти технічного рівня; встановлення
контрольованих показників при проектуванні ПС; встановлення контрольованих
показників при дослідної експлуатації ПС; атестація ПС за категоріями якості.
Стадії визначення значенні
показників якості відповідають стадіях життєвого циклу ПС.
При виділення властивостей і
відповідних показників якості ПС необхідно керуватися наступними
основними принципами:
виділення груп властивостей має
проводитися за чітко визначеними ознаками;
властивості, що входять в одну
групу, мають, як правило, взаємно виключати один одного і бути незалежними.
Якщо властивості залежать один від одного, то в методиках визначення значенні
показників якості повинні бути дані чіткі вказівки щодо виключення
багаторазового (неодноразового) впливу одного і того ж властивості на узагальнену
оцінку якості ПС;
всяка вихідна номенклатура
показників має бути відкритою, тобто повинна допускати можливість внесення
мені виключення з неї окремих елементів. Це вимога обумовлена, з одного боку,
недостатнім досвідом оцінки якості програмної продукції, а з іншого,-великим
різноманітністю ПС та умов їх застосування;
для кожного з виділених
властивостей повинна існувати можливість вираження їх у шкалах «краще - гірше»,
«Більше - менше»;
до групи слід включати
властивості, необхідні та достатні для визначення відповідного
складного властивості;
формулювання властивостей повинна бути
однозначною;
сукупність властивостей,
характеризують якість оцінюваного ПС, повинна бути упорядкована за певним
правилом у вигляді багаторівневої ієрархічної структури - дерева властивостей;
дерево властивостей має відображати
всі основні особливості використання н функціонування ПС;
вибрані показники якості
повинні бути скоррелнровани з відповідними властивостями ПС. Це означає, що
між кожним з виділених властивостей і характеризують його показниками має
бути встановлено однозначна відповідність. Встановлення такої відповідності
дозволяє замість дерева властивостей використовувати дерево показників якості програмної
продукції;
показники якості,
характеризують властивості ПС, мають сприяти забезпеченню відповідності
якості ПС вимогам з боку їх користувачів і враховувати сучасні
досягнення науки і техніки. Для виконання цього принципу часто необхідно
проводити спеціальні дослідження, так як в загальному випадку між показниками
якості можуть виникати серйозні суперечності, а поліпшення одного показника
може призвести до погіршення іншого.
Для перевірки працездатності
обраної системи показників якості необхідно встановлювати ступінь
кореляції кожного розглянутого показника з якістю ПС, корисність
показника, можливість кількісного уявлення і автоматичної оцінки
показника. Зокрема, оцінку корисності кожного з вибраних показників для
конкретних ПС рекомендується проводити за наступною шкалою:
5-вкрай важливо, щоб цей
показник мав високе значення;
4-важливо, щоб цей показник
мав високе значення;
3-добре б мати високу
значення даного показника;
2 - в деякій мірі корисно
мати найвище значення даного показника;
1-при низьких значеннях даного
показника відчутних втрат немає,
Близько 50% приватних показників
можна визначити автоматично з допомогою ЕОМ, 25%-за допомогою компаратора.
Таким чином, оцінка близько 75% показників може бути формалізована. Оцінка
20% показників може бути проведена тільки кваліфікованим фахівцем.
Більшість показників встановлюють шляхом статичного аналізу програм і
лише близько 5% - в процесі динамічних випробувань (Дані відповідають
положенню в цій галузі в 80-і роки).
Слід мати на увазі, що оцінка
якості, а отже, до вибір показників якості складних
багатофункціональних програмних комплексів типу операційних систем, систем управління
базами даних, пакетів прикладних програм і так далі має свої особливості.
Кожна функція таких ПС реалізується програмним шляхом, що задає певний
технологічний процес перетворення вхідних даних у вихідні. Відомі мета
цього процесу і потреба в ньому, Для того щоб задовольнити цю
потреба, ПС повинна володіти певними властивостями. Причому властивості ПС,
задовольняють потреби в одній функції, можуть істотно відрізнятися від
властивостей ПС, необхідних для реалізації іншої функції. Тому ступінь
задоволення потреби у виконанні кожної з функцій ПС в загальному випадку
характеризується своїми показниками або, принаймні, параметрами вагомості
показників. Виникає необхідність вибору показників і визначення їх вагомості
для оцінки якості (ефективності) реалізації кожної з основних функцій ПС.
Спроба вибору єдиної номенклатури показників якості виявляється, як
правило, безрезультатною. У цьому можна легко переконатися на прикладі оцінки
якості операційних систем (ОС) ЕОМ. На ОС ЕОМ покладаються такі функції:
керування даними, завданнями, вводом-висновком; обслуговування бібліотек
користувачів;
трансляція та редагування
програм; протоколювання станів та подій; перезапис і сортування
інформації та ін Очевидно, що вимоги, наприклад, до транслятора істотно
відрізняються від вимог до ПС протоколювання подій як за своїм переліком,
так і по вагомості кожного з них. У свою чергу відмінність вимог
обумовлює необхідність використання різних показників якості,
характеризують споживчі властивості програм, що реалізують ці функції.
Групи показників якості
Будь-якому класу продукції притаманні
певні властивості, характерні для даного класу. У свою чергу кожен
підклас, група, вид цієї продукції
має приватні властивості, що відрізняють вироби однієї класифікаційної
угруповання від іншої. Розглянемо формування номенклатури показників
якості, що характеризує загальні властивості класу програмної продукції. Ця
номенклатура може бути використана як вихідну при виборі робочої
номенклатури показників якості будь-якого конкретного ПС.
Номенклатури показників
якості завжди мають ієрархічну структуру. Їх формування починається з виділення
груп верхнього рівня ієрархії, а потім номенклатури деталізуються аж до
отримання одиничних показників.
Виділення груп показників
якості є важливим і складним завданням формування номенклатури
показників якості. Невдале комплектування груп може призвести до
ускладнення взаємозв'язків між групами та окремими показниками, а також
зробити номенклатуру показників якості малоконструктівной.
Відомо, що для оцінки
якості промислової продукції використовують наступні групи показників:
призначення; економічного використання сировини, матеріалів, палива, енергії;
надійності; ергономічності; естетичність; технологічності; патентно-правові;
уніфікації та стандартизації; екологічності; безпеки.
Всі ці показники можна
використовувати і при оцінці якості ПП. По в силу особливостей ПП деякі
групи показників при оцінці її якості застосовувати недоцільно
(неконструктивно). До таких показників відносять показники екологічності,
безпеки.
Екологічні показники і
показники безпеки не характерні
для ПП, так як програмні вироби безпосередньо не можуть надавати шкідливих
ні впливів на навколишнє середовище, ні на здоров'я людини. У принципі, такі
впливу можливі в тих випадках, коли ПІ використовують як елементи
керуючих об'єктів, наприклад в АСУ. У цьому випадку виробляються ЕОМ по
певному алгоритму управляючі дії можуть викликати і несприятливі
екологічні наслідки, і бути небезпечними для людини. Але це вже непряме
вплив через керуючі органи та виконавчі механізми
автоматизованих технологічних комплексів (АТК). Вони враховуються як
відповідні показники AT К.
Патентно-правові показники
програмної продукції не можуть бути використані до тих пір, поки питання патентно-правової
захисту цієї продукції не будуть вирішені в законодавчому (юридичному) плані.
Щодо надійності
програмної продукції існує чимало суперечливих думок. Разом з тим
більшість фахівців одностайні в думці про те, що природа надійності
програмних і технічних засобів різна. Для програмної продукції
малопродуктивними є такі показники надійності, як довговічність,
сохраняемость, ремонтопридатність. Джерелами низької надійності ПС в основному
є помилки в програмах, внесені на стадії проектування і невиявлені
при налагодженні та випробуваннях. Заслуговує уваги думку американського фахівця
Фокса Д., який вважає, що використання терміну «надійність програмного
забезпечення »наносить шкоду, бо сприяє неправильного розуміння природи
програмного забезпечення. Разом з тим слід враховувати той факт, що при
аналізі деяких властивостей ПП, що виявляються при її функціонуванні, доводиться
користуватися категоріями надійності (працездатність, відмову, збій,
відновлення та ін.) Тому в номенклатурі показників якості ПП визнано
за доцільне виділяти в окрему групу показники, що характеризують властивості
ПП, близькі за своїми зовнішніми проявами показниками надійності апаратури. Ця
група названа показниками надійності функціонування.
Таким чином, в базовій
номенклатурі показників якості ПП на верхньому рівні виділяємо наступні
показники: призначення, надійності функціонування, ергономічності,
технологічності, уніфікації та стандартизації. Якість ПП в основному
формується в процесі створення продукції та значною мірою залежить від
ефективності структурних (конструктивних) рішень. Тому на цьому ж рівні в
окрему групу виділимо структурні показники.
Показники призначення,
надійності функціонування, ергономічності і технологічності характеризують
властивості ПП, які проявляються в процесі її використання (експлуатації). З цього
ознакою їх можна вважати експлуатаційними. Структурні показники і
показники уніфікації та стандартизації характеризують властивості структури
(конструкції) ПС, їх можна об'єднати в одну групу конструктивних показників.
По відношенню до групи експлуатаційних показників ця група носить
допоміжний характер. Досягнення певного рівня значень цих
показників не може бути самоціллю, це лише засіб (шлях) забезпечення
необхідних значень одного або декількох показників, що відносяться до основної
групі - групі експлуатаційних показників.
Список літератури
Майерс. Мистецтво тестування
програмного забезпечення.
Майерс. Надійність програмного
забезпечення.
Кулаков. Управління якістю
програмного забезпечення.
Для підготовки даної роботи
були використані матеріали з сайту http://www.cooldoclad.narod.ru/
5 червня 2002
