Аналіз зображень: людина чи комп'ютер?

Еріх Гаузер, інженер-програміст (математичні методи обробки даних, програмування), Азер Ілія, фахівець-дослідник (мікроскопія й аналіз зображення)

В статті розповідається про варіанти аналізу зображень, про плюси і мінуси інтерактивного (людського) і автоматичного (комп'ютерного) аналізу. Автори статті створили свою, унікальну методику аналізу, що наводяться ілюстрації показують результат роботи даної методики.

Добре відомо, що понад 90% інформації людина отримує за допомогою зору. Так було, так є, і, очевидно, так буде. І тому не дивно, що технічний прогрес зачіпає в першу чергу засоби збору та обробки візуальної інформації.

При всій складності і чутливості людського ока, його можливості обмежені, і людина споконвіку прагнув розвинути їх. Перш за все, до таких "засобів розширення" відносяться вже давно винайдені мікроскоп і телескоп. Довгий час надані ними можливості візуального спостереження цілком задовольняли дослідників, дозволяючи робити видатні відкриття як в області мікросвіту (особливо біології), так і в макросвіті, а саме, астрономії.

Але прогрес не стоїть на місці. Поява комп'ютерів неминуче викликало бажання підключити такий комп'ютер до мікроскопу і телескопу, звільнивши людину від нудного і чреватого помилками процесу аналізу та підрахунку різних об'єктів, які потрапили в поле зору.

Однак, виникла несподівана проблема: комп'ютер - не людина, він не бачить і не розуміє введене в нього зображення, для нього це просто набір даних, ніяк не пов'язаних між собою. У той же час людина, дивлячись на будь-яке зображення, практично завжди може виділити на ньому якісь характерні особливості, причому це відбувається майже миттєво.

Взаємодія людини і комп'ютера в зорової області стало дуже тісним, але розділилося на два напрямки: інтерактивний режим роботи і автоматичний.

В інтерактивному режимі комп'ютерні програми перетворюють зображення в відповідно до бажання людини, що дозволяє йому краще побачити якісь частини або особливості зображення, виділити потрібні елементи і підрахувати їх кількість або геометричні параметри. Попри всі плюси цього варіанта очевидні і його мінуси: в процесі роботи необхідно участь людини, яка в цілому має швидкодію, набагато менше ніж у комп'ютера, який помиляється, і який, нарешті, просто втомлюється. І, між іншим, потребує оплату своєї праці.

Автоматичний режим має на увазі автономну роботу комп'ютера, як по збору інформації (що не є проблемою вже давно), так і за її аналізу. І ось тут якраз проблема в тому, що на сьогоднішній день не існує способів повністю автоматизувати процес аналізу. При всьому швидкодії комп'ютерів та їх величезної пам'яті, ніяк не вдається змусити їх робити те, що людина (особливо спеціаліст в конкретній області) може зробити буквально одним поглядом.

Обидва ці шляхи розвиваються паралельно, хоча прагнення до повної автоматизації є пріоритетним.

В області інтерактивного аналізу основними помічниками людини стають різні графічні пакети, найвідомішими з яких можна вважати PhotoFinish (ZSoft), PhotoShop (Adobe), Corel Draw і деякі інші, менш відомих фірм, але найчастіше дуже зручні і корисні. Серед них багато і безкоштовних систем, наприклад, дуже вдалий продукт "ImageJ" ( "http://rsb.info.nih.gov/ij/").

Ці програми дозволяють проводити з зображенням справді чудові перетворення, від імітації листа маслом у стилі певної художньої школи, до анімаційних ефектів, що перетворюють одну картину в іншу через ряд проміжних. Про виведення різноманітних статистичних характеристик зображення і говорити нема чого, це само собою зрозуміло. Крім того, закладені в ці програми алгоритми дозволяють змінювати яскравість, контрастність, різкість, насиченість і багато інших параметрів, а також виділяти області і проводити різні математичні операції з зображеннями.

Людина, комбінуючи різні перетворення, домагається ефекту візуального виділення на зображенні необхідної йому інформації. Потреба в подібних перетвореннях пов'язана з тим, що зображення, отримані за допомогою різних відеокамер та інших детекторів, далеко не завжди є якісними і часом містять шуму не менше, ніж корисного сигналу. Крім того, одержувані зображення часто несуть інформацію з дуже незвичних людині місць і умов, в результаті він просто не може коректно аналізувати таке зображення. Тут можна згадати не тільки електронно-мікроскопічні зображення гірських порід або нутрощів клітини, а й передані з космосу зображення далеких планет. Для людини ці картини по суті чужі і незвичні, тому йому вкрай важко правильно їх інтерпретувати.

Виходить, що проводити якісний і кількісний аналіз зображень навіть за допомогою настільки чудових програм може тільки фахівець дуже високою кваліфікації, який має великі знання в даній конкретній області, а також великий практичний досвід. Але таких фахівців мало, і коштують вони дуже дорого, і не завжди вони є там, де потрібні.

В цієї ситуації дуже заманливо побудувати таку систему автоматичного аналізу, які б не залежали від характеру самого зображення, а бажано, і не була б дуже чутливою до його якості. І при цьому могла б сама "бачити" на зображенні то й так, що і як бачить цей спеціаліст-людина.

Автоматичний аналіз зображень необхідний і тоді, коли потрібно в реальному часі обробити тисячі кадрів відеозйомки, намагаючись знайти там зображення, наприклад, конкретної людини. Це особливо актуально зараз, коли у світі зростає глобальна злочинність і тероризм, а світ обростає павутиною відеокамер, цілодобово стежать за багатьма тисячами фінансових та урядових об'єктів.

Використання людини тут неможливо хоча б з причини величезної кількості таких камер.

Спроби створення систем автоматичного аналізу робляться в усьому світі вже давно, власне, з тих пір, як люди навчилися вводити зображення в комп'ютер. З математичних способів обробки зображень широке розповсюдження отримав метод швидких перетворень Фур'є (ШПФ). Його застосування дозволяє отримати спектр зображення (спектр цей не призначений для людського сприйняття), застосувати до нього різні фільтри, а потім оберненим перетворенням отримати знову зображення, але вже відкориговане, за яким вже людина і проводить візуальний аналіз. І усе завдання дослідників зводиться практично до вибору потрібного фільтра, а часто і створення свого власного відповідно до конкретним завданням.

Ця методика демонструє свою успішність в багатьох практичних застосуваннях, однак вона вимагає величезних обчислювальних ресурсів, навіть зараз доступних НЕ скрізь і не всім, а саме головне, на 100% виходить з самого факту застосування комп'ютерів. Іншими словами, ця методика явно не має нічого спільного з тим, як мозок самої людини проводить аналіз цього ж зображення.

Має Чи це значення? Безперечно, має. Перш за все, розробка фільтрів для ШПФ сама по собі є вкрай важким завданням, тому що мозок людини змушений виконувати чужу йому роботу і фактично моделювати в собі комп'ютерне сприйняття. Напрошується питання, а не правильніше було б навпаки, на комп'ютері моделювати роботу і сприйняття мозку?

Адже як вже говорилося вище, людина здатна проводити аналіз майже миттєво, за це в залежності від конкретної задачі виділяти на зображенні ті чи інші характерні особливості. Зрозуміло, така рутинна робота, як підрахунок числа елементів або визначення їх форми (наприклад, під час аналізу крові), у комп'ютера завжди буде виходити краще, ніж у людини. І швидше, і надійніше. Але аналіз зображення, його осмислення - тут поки що жоден комп'ютер не може зрівнятися з людиною.

Дослідження мозкової діяльності проводяться в усьому світі вже багато років. В області цієї досягнуті значні успіхи, хоча по суті людина ще дуже далекий від розуміння принципів роботи його власного мозку. Спроби моделювання людського сприйняття візуальних образів вживаються у різних наукових центрах світу, але поки що ніде і ніким не було оголошено, що таке розуміння досягнуто. Очевидно, що сприйняття це засноване на комбінації багатьох факторів та критеріїв, розуміння хоча б деяких з них може суттєво просунути людство вперед.

Коли в 97 році наша дослідницька група зайнялася створенням програми аналізу зображень, були випробувані різні підходи. Зрозуміло, перш за все ми спробували звернутися до загальновідомих методиками, аналізуючи гістограму зображення і застосовуючи до неї різні математичні операції. Поряд з цим для всього зображення також застосовувалися стандартні алгоритми виділення областей, нарощування і видалення точок і т.д.

Всі ці способи давали певний результат, але ні про яку автоматизації і мови бути не могло, не кажучи вже про те, що такий підхід виглядав явно штучним.

Сама завдання полягало в аналізі зображень гірських порід, отриманих в скануючому електронному мікроскопі (SEM), в результаті такого аналізу потрібно було отримати різні петрофізіческіе характеристики досліджуваного зразка (пористість, проникність і т.д.).

В принципі, на сьогоднішній день такі завдання вирішуються в світі багатьма, але всі вони досліджує не грубу поверхню (скол породи), а гладкий і тонкий спеціально приготований шлиф (зріз). Ясно, що при виготовленні такого шлиф не тільки порушується цілісність породи на мікрорівні, але і спотворюється саме сприйняття аналізованого об'єкта з втратою тривимірності інформації. Але найголовніше, що всі існуючі методики і програми розраховані на інтерактивний режим роботи з усіма його зазначеними вище недоліками.

Всі це досить швидко наштовхнуло нас на думку відмовитися від стандартних підходів і підійти до вирішення завдання саме з боку моделювання людського сприйняття, що дозволить працювати не в інтерактивному, а саме в автоматичному режимі.

Зображення, одержувані з електронного мікроскопа, є сірими, тобто там присутні тільки компоненти яскравості і контрастності. У той же час, наприклад, космічні фотографії містять в собі і колір, причому його роль не менш значуща, ніж роль яскравості.

За минулий час нами була проведена дуже велика робота як в області експериментів, так і в питаннях теоретичних. У результаті створена єдина методика та розроблено комплекс алгоритмів, які дозволяють проводити аналіз і обробку зображення повністю (!) в автоматичному (!) режимі.

Поки, на жаль, це стосується безпосередньо тільки до сірих зображень, хоча і в області кольорових зображень у нас теж є багато перспективних ідей і напрацювань. Проблеми, як зазвичай, знаходяться в площині фінансування та технічного забезпечення.

Практичної реалізацією розробленого нами методу стала програма, яка не вимагає для своєї роботи ні сотень мегабайтів пам'яті, ні ще яких-небудь суперресурсов. За цій програмі були виконані (і далеко не на сучасних комп'ютерах) сотні аналізів як для тестових зразків породи, так і безпосередньо дослідних аналізів керна (і навіть шламу), з отриманням докладних і достовірних даних про поровое системі досліджуваних об'єктів.

Результати аналізів були використані різними нафтовими компаніями в практичних цілях і ніяких нарікань з їхнього боку висловлено не було.

Зрозуміло, методика потребує подальшого вдосконалення і розширення на інші області дослідження, однак що лежать в її основі алгоритми обробки зображення є за своєю суттю універсальними і відображають саме людське сприйняття, принаймні, в даній області. А застосування її можливо не тільки в геології, металургії, медицині або астрономії, а й у такій сфері, як, наприклад, технічний зір роботів, тим більше, що і ця сфера зараз бурхливо розвивається ...

Наведені ілюстрації містять SEM-зображення кернів (з великої і з малою пористістю) до і після аналізу. Також додається зображення, отримане з космосу (фото знайдено в інтернеті), на якому дана методика дозволила чітко виділити ядро вибуху. Аналіз проводився повністю в автоматичному режимі!

Список літератури

Для підготовки даної роботи були використані матеріали з сайту http://www.sciteclibrary.ru