Як проводити евристичну оцінку
Якоб Нільсен
Евристична
оцінка це один з методів науки юзабіліті, який служить для виявлення
проблем з юзабіліті в дизайні для користувача інтерфейсу, виправлення яких
є частиною багатоетапного процесу дизайну. Евристична оцінка проводиться
невеликою групою людей, які оцінюють інтерфейс і судять про його
правильності, спираючись на певні загальновизнані принципи юзабіліті
(які називаються "евристики ").
В
цілому, евристична оцінка - досить трудомісткий процес для однієї людини,
тому що одна людина ніколи не зможе виявити всі проблеми з юзабіліті в
інтерфейсі. На щастя, досвід роботи над безліччю проектів показав, що різні
люди знаходять різні проблеми. Отже, ефективність методу можна
значно підвищити, якщо залучити до оцінки декількох людей. Рис.1
демонструє приклад результатів однієї з таких оцінок, де 19 учасників
виявили 16 різних проблем в системі автовідповідача, за допомогою якого
клієнти банку отримували доступ до своїх рахунків (Nielsen 1992). Кожен чорний квадратик на рис.1 позначає
виявлення однією з проблем одним з учасників. Ілюстрація ясно показує
різницю між різними проблемами знайденими різними учасниками.
Зрозуміло, деякі проблеми було так легко виявити, що їх знайшли
практично всі учасники, але були й такі проблеми, які змогли виявити
лише деякі учасники тесту. Отже, не можна судити про те, хто краще
знаходить проблеми, а хто гірший, грунтуючись тільки на кількісному результаті.
По-перше, не завжди одна й та сама людина в різних тестах зможе показати один
і той самий кращий результат. По-друге, проблеми, що найважче було
знайти (самий лівий стовпець на рис.1), були виявлені учасниками, які
зовсім не можуть похвалитися своєю результативністю. Отже, до
евристичної оцінки необхідно залучати якомога більше людей (див. нижче
міркування про те, скільки має бути учасників). Я рекомендую залучати від
трьох до п'яти учасників, тому що при дуже великій кількості учасників ви
будете в основному отримувати повторювану інформацію.
Рис.
1
Ілюстрація
показує, який з учасників тестування банківської системи яку проблему
знайшов. Кожен ряд таблиці відповідає одному з 19 учасників тесту, а кожен
стовпець - однієї з 16 виявлених проблем. Кожен квадратик показує, яку
з проблем виявив той або інший учасник: якщо квадратик чорний - учасник
виявив цю проблему, якщо білий - не виявив. Ряди таблиці збудовані так,
що найбільш успішні учасники тесту знаходяться внизу, а найневдаліші - вгорі.
Стовпці таблиці були збудовані так, що проблеми, які легше всього було
знайти, розташовуються праворуч, а самі важкі проблеми - зліва.
Як це робиться
Під
час проведення евристичної оцінки кожен учасник виконує свою роботу
індивідуально. Тільки після того, як усі учасники завершать виконання роботи,
їм дозволяється поговорити один з одним і об'єднати отримані відомості. Дуже
важливо дотримуватися саме такий порядок, щоб отримати в результаті незалежні і
неупереджені оцінки від кожного учасника. Результати оцінок або записуються
на папері у вигляді звітів від кожного учасника, або викладаються усно кожним
учасником під час виконання тесту. Письмові звіти хороші тим, що
є формальною записом результатів оцінки, але на їх складання потрібні
додаткові зусилля від учасника тесту, і необхідний час керівника тесту
на їх прочитання і зведення. Якщо ж звіт ведеться усно, в кожному тесті
потрібно спостерігач для запису коментарів, але завдяки цьому знімається
навантаження з самих учасників тесту. Крім того, результати тестів можна отримати
майже відразу після закінчення останнього тесту. Затримка пов'язана з тим, що
спостерігачеві самому потрібен час на перегляд і зведення своїх особистих записів. Тим
не менше на це піде менше часу, ніж на написання звіту кожним з
учасників тесту. Крім цього спостерігач може допомогти учасникам в роботі з
інтерфейсом у разі виникнення проблем, наприклад, у випадку з нестабільним
прототипом, або допомогти учасникам, якщо у них відсутні необхідні знання
для роботи з прототипом і їм треба пояснити, як що працює.
В
випадку тестування з участю користувача спостерігач (який виступає в
ролі "керівника") відповідає за інтерпретацію дій користувача
та їх зв'язок з проблемами юзабіліті в дизайні інтерфейсу. Завдяки цьому такі
тести можна проводити навіть у тих випадках, коли користувач-учасник абсолютно
нічого не знає про дизайн інтерфейсів. У випадку ж з евристичної оцінкою
відповідальність за аналіз інтерфейсу покладається на самого учасника, а
спостерігачеві відводиться лише роль секретаря, записуючого коментарі учасника,
тобто спостерігач в даному випадку не займається оцінкою дій учасника.
Не можна
не нагадати про двох інших відмінностях між евристичної оцінкою системи і
традиційним її тестуванням за допомогою користувача. Мова йде про право
спостерігача відповідати на питання учасника тесту під час його проведення, а
також про глибину відповідей на ці питання. У традиційному тесті з участю
користувача завдання полягає в тому, щоб виявити, які помилки в роботі з
інтерфейсом може допустити користувач. Таким чином, організатор
тестування не схильний давати учаснику інформацію більше, ніж те необхідно.
Також користувачів просять відшукати відповідь на виниклі питання за допомогою самої
системи, а не сподіватися на відповідь спостерігача. У випадку ж з евристичної
оцінкою нерозумно відмовляти учаснику оцінки у відповідях на питання, що стосуються
предметної області системи, особливо якщо експерт не є фахівцем
в тій області, з якою пов'язана система. У даному випадку повні відповіді
спостерігача на запитання експерта допоможуть останньому більш глибоко оцінити
юзабіліті призначеного для користувача інтерфейсу, спираючись на отримані від спостерігача
знання. Точно також, коли експерт зіткнеться з труднощами, спостерігач
може дати пораду, як вийти із ситуації, щоб не витрачати дорогоцінний час
на боротьбу з інтерфейсом. Тут, однак, важливо зазначити, що спостерігач не
повинен допомагати до тих пір, поки він ясно не переконається в тому, що експерт потрапив у
скрутне становище і чітко відзначив проблему з юзабіліті.
Як
правило евристична оцінка окремим експертом триває одна дві години. Більше
тривалі тести можуть знадобитися у випадку дуже великий або дуже складною
системи, де присутні безліч діалогових елементів. Але в цьому випадку
оцінку краще розділити на кілька сеансів, у якому оцінюється тільки
якась певна частина інтерфейсу.
Під
час сеансу оцінки експерт кілька разів проходить по інтерфейсу і розглядає
його різні діалогові елементи, порівнюючи їх зі списком принципів юзабіліті
(евристики). Ці евристики є загальними правилами, які описують загальні
властивості всіх інтерфейсів, які вважаються зручними у використанні. У
доповнення до даного списку загальних евристик експерт, зрозуміло, має право
користуватися будь-якими іншими відомими йому принципами або результатами
попередніх оцінок, які застосовуються до якогось конкретного елементу
інтерфейсу. Більш того, на основі загальних евристик можна розробити список
евристик, які специфічні саме для цієї категорії систем. Список таких
специфічних евристик можна скласти, провівши, наприклад, аналіз конкуруючої
системи або тестування існуючих систем за допомогою користувачів, після чого
треба вивести абстрактні принципи хорошого інтерфейсу на основі виявлених
проблем з юзабіліті (Dykstra
1993).
Нюанси
В
Загалом експерти самі вирішують, як вони збираються оцінювати інтерфейс. В якості
загальної рекомендації ми радимо, щоб під час сеансу експерт пройшовся по
інтерфейсу двічі. Перший прохід служить для розуміння, як працює інтерфейс
системи і в якій послідовності виконуються дії. Під час другого
проходу експерт концентрує увагу на певних елементах інтерфейсу, вже
знаючи, як вони складаються в загальну картину.
Так
як експерти не використовують інтерфейс як такої (тобто не виконують реальну
завдання, а лише оцінюють сам інтерфейс), евристичну оцінку застосувати навіть до
інтерфейсу, який існує у вигляді паперових прототипів [см. відповідний
метод в каталозі методів веб-дизайну і статтю Нільсена на цю тему], але в
реальності ще не зроблений (Nielsen
1990). Це означає, що евристична оцінка може проводитися на ранніх етапах
дизайну системи.
Якщо
система має простий інтерфейс і призначена для широкої аудиторії, або якщо
експерти розбираються в предметній області, їм допомогу в роботі з інтерфейсом НЕ
знадобиться. В іншому випадку, коли система специфічна та експерти не дуже
глибоко знайомі з предметною областю, їм може знадобитися допомога для роботи
з інтерфейсом. В якості допомоги експертам можна роздати типові сценарії
використання системи, де будуть перелічені можливі кроки, які повинен
виконати типовий користувач, щоб виконати якусь реальну задачу.
Такі сценарії розробляються на основі аналізу задач користувачів і їх роботи і
надалі служать основою для розуміння того, як в майбутньому буде
використовуватися система.
Результати
Результатом
оцінки за евристичного методу є список проблем з юзабіліті інтерфейсу
з посиланнями на ті принципи юзабіліті, які були порушені у дизайні
інтерфейсу на думку кожного з експертів. Експертам недостатньо тільки
сказати, що їм щось там не сподобалося, вони повинні пояснити чому їм
щось не сподобалося з посиланням на евристики або на інші результати оцінки
юзабіліті. Експерти-оцінювачі повинні бути точні в своїх словах наскільки це
можливо й повинні вказувати кожну виявлену проблему окремо.
Наприклад, якщо в певному діалоговому елементі три речі зроблені неправильно,
всі три слід вказати окремо з посиланнями на різні принципи
юзабіліті, які пояснюють, чому цей аспект елементу інтерфейсу містить
проблему. Окрема згадка кожної проблеми викликано двома причинами:
по-перше, якщо проблема явно не вказана, існує ризик повторити невірне
рішення у діалоговому елементі навіть у тому випадку, коли він повністю замінений на
новий. По-друге, може бути і не вдасться виправити всі проблеми з юзабіліті в
інтерфейсі чи замінити елемент на новий, але принаймні якісь з
виявлених проблем можна буде вирішити, якщо вони точно вказані у списку.
Евристична
оцінка на є методом систематичного тестування інтерфейсу або методом
оцінки якості здійсненого редизайну. Тим не менше, так як евристична
оцінка має на увазі пояснення кожної виявленої проблеми на основі
певних принципів юзабіліті, цей метод допомагає досить легко робити
новий дизайн. Крім того, багато проблем з юзабіліті, досить лише
виявити, можна досить легко і швидко виправити.
Наприклад,
якщо проблема полягає в тому, що користувач не може скопіювати інформацію
з одного вікна в інше, то рішення цієї проблеми досить очевидне --
додати таку функцію в програму. Точно також, якщо проблема полягає в тому,
що в інтерфейсі програми використовуються різні шрифти, по різному пишуться слова
або називається один і той же термін, вирішення даної проблеми також очевидно --
вибрати єдиний формат для всього інтерфейсу. Тим не менше, навіть у цих простих
прикладах дизайнер не отримує від експерта ніякої інформації як саме йому
потрібно змінити інтерфейс (наприклад, як саме має бути реалізована функція
копіювання з одного вікна в інше, або який саме треба вибрати формат
шрифту для інтерфейсу).
В
як розширення методу евристичної оцінки, щоб у дизайнерів з'явилася
відправна точка для роботи, ми рекомендуємо проводити загальн збори експертів
після проведення останнього сеансу оцінки. У число учасників зборів включають
експертів, спостерігача і представників дизайнерської команди. Збори
проводиться спочатку в режимі мозкового штурму і концентрується на тому, які
треба внести зміни в дизайн, щоб виправити виявлені помилки або більше
загальні помилки дизайну в цілому. Ці збори також гарна можливість обговорити
позитивні моменти в дослідженому дизайні, так як евристична оцінка ніяк
не зачіпає цю важливу сторону досліджуваного предмета.
Евристична
оцінка ставиться до методів юзабіліті "для малого бюджету".
Незалежні дослідження (Jeffries et al. 1991)
безумовно показали, що метод евристичної оцінки є дуже ефективним
методом юзабіліті. В одному з випадків з мого особистого досвіду нам вдалося
досягти 48-кратної ефективності: вартість проведеного дослідження
становила 10.500 доларів, у той час як очікуваний ефект від цього
дослідження склав 500.000 доларів (Nielsen 1994). Будучи методом "для малого бюджету", метод
евристичної оцінки не може дати "ідеальних" результатів або допомогти
вам відшукати всі до єдиної помилки в інтерфейсі.
Визначаємо кількість учасників
В
принципі евристичну оцінку призначеного для користувача інтерфейсу може виконати і
одна людина, проте досвід роботи у кількох проектах показує, що при
використанні тільки одного експерта рівень результатів залишає бажати
кращого. Приблизно в шести моїх проектах експерт, який працював один, знайшов лише
35% проблем з юзабіліті. Однак, у зв'язку з тим, що різні експерти можуть знайти
різні проблеми, набагато більш високого результату можна досягти об'єднавши
зусилля кількох експертів. На Рис.2 показано відношення кількості знайдених
проблем до кількості експертів, які брали участь у тестуванні. Графік ясно
показує, що кілька учасників набагато краще, ніж один. Ми вважаємо
розумним обмежитися п'ятьма експертами, і звичайно їх число не повинно бути
менше трьох. Точне число експертів залежить від вартості проекту і вартості
очікуваного результату. Більша кількість експертів потрібно там, де роль
юзабіліті дуже важлива, або там, де очікується велика віддача від виявлення
помилок у зв'язку з надзвичайною важливістю системи або її широкомасштабним
використанням.
Рис.
2
Крива
демонструє відношення між числом знайдених проблем і числом експертів.
Крива відображає середні дані, виведені на підставі шести проектів.
В
своїй роботі Нільсен і Ландауер представили модель, засновану на формулі,
що дозволяє передбачити кількість знайдених проблем, грунтуючись на числі
учасників евристичної оцінки:
ProblemsFound (i) = N (1 - (1-l) i)
де
ProblemsFound (i) позначає кількість різних проблем,
знайдених при об'єднанні результатів роботи i незалежних експертів. N позначає загальну кількість проблем в інтерфейсі, а l позначає середня кількість проблем,
які знаходить один експерт. У шести проектах значення l коливалася від 19 до 51 відсотка, а
середнє значення становило 34 відсотки. Значення змінної N варіювалися від 16 до 50 відсотків, а
середнє значення дорівнювало 33. Використовуючи ці значення у формулі, ви
отримаєте криву, яка дуже сильно наближена до тієї, що представлена на
Рис.2, хоча точна форма кривої буде залежати від ваших конкретних середніх
значень N і l, які у вашому конкретному проекті можуть
відрізнятися від наших значень.
Для
того, щоб визначити оптимальне число експертів, необхідно співвіднести
вартість евристичної оцінки з її віддачею. Перший елемент при обчисленні --
це вартість проведення тесту, що включає фіксовані та змінні витрати.
Фіксовані витрати це ті, які доведеться заплатити незалежно від
того, скільки експертів буде залучено до тестування: вартість складання
плану тестування, вартість підготовки матеріалів, написання звіту.
Змінні витрати - це ті додаткові витрати, які набігають всякий
раз, коли до тесту залучається черговий додатковий експерт. Сюди входить
оплата праці експерта, вартість оцінки його звіту, вартість обладнання чи
інших ресурсів. Грунтуючись на досвіді декількох проектів ми вважаємо, що
постійні витрати на евристичну оцінку составл?? ють десь 3.700 - 4.800
доларів, а змінні витрати - 410 - 900 доларів на кожного експерта.
Зрозуміло,
конкретні суми витрат залежать від проекту, від вашої компанії і від складності
оцінюваного інтерфейсу. Як відправну точку вважайте, що фіксована
вартість евристичної оцінки дорівнює 4.000 доларів, а мінлива вартість --
600 доларам на кожного експерта. У такому випадку загальна вартість тестування
за допомогою i експертів
розраховується за формулою $ (4,000 + 600i).
Вигодами
від евристичної оцінки є знайдені проблеми з юзабіліті, хоча в
деяких випадках вигодою можна назвати побічний навчальний ефект, коли
експерти підвищують рівень своїх знань, порівнюючи свої звіти зі звітами інших
експертів на загальних зборах. У нашому проекті вартість кожної невиявлені
помилки становила 15.000 доларів. Зрозуміло, у вашому конкретному проекті
вартість буде інша. Наприклад для програм, які використовуються всередині
вашої компанії, оцінювати вартість кожної помилки, знайденої під час
тестування, можна з очікуваного зростання продуктивності праці користувачів;
для продуктів, які будуть продаватися на ринку, оцінку можна засновувати на
передбачуване зростання продажів завдяки більш високому рівню задоволення
покупців або більш високими оцінками сторонніх експертів. Зверніть увагу,
що в плюс ви записуєте собі тільки ті проблеми, які були виявлені до
відправки продукту на прилавок. Так як всі виявлені проблеми виправити
неможливо, вартість виявленої, але невиправленої проблеми, нижче вартості
виявленої і виправленою.
Рис.
3
Крива
показує у скільки разів віддача від евристичної оцінки вище витрат на її
проведення. Дані взяті з проекту, про який йде мова в тексті. Оптимальне
кількість учасників тесту - 4 людини. При цьому віддача від них у 62 рази вище
витрат.
На
рис.3 представлені різні співвідношення віддачі від тесту до його вартості при
різному кількості учасників тесту. Крива показує, що Оптимальне
кількість учасників тесту - 4 людини. Це підтверджує загальні спостереження,
що евристична оцінка найкраще працює, коли в ній бере участь від
трьох до п'яти експертів. У нашому прикладі, якщо евристична оцінка обійшлася б у
6.400 доларів, а загальна вартість знайдених проблем з юзабіліті становила б
395.000 доларів.
Список літератури
Для
підготовки даної роботи були використані матеріали з сайту http://www.webmascon.com/
