Московський інженерно-фізичний

ІНСТИТУТ

(ТЕХНІЧНИЙ УНІЕРСІТЕТ)

Студентки групи.

1998

Архітектура сучасних суперЕОМ

Діалектична спіраль розвитку комп'ютерних технологій зробиласвій черговий виток - знову, як і десять років тому, у відповідності та звимогами життя, в моду входять суперкомп'ютерні архітектури.
Безумовно, це вже не ті монстри, які пам'ятають ветерани - новітехнології і вимогливий ринок комерційних застосувань істотнозмінили обличчя сучасного суперкомп'ютера, Тепер це не величезні шафи зунікальною апаратурою, навколо якої чаклують шамани від інформатики, ацілком ергономічні системи з уніфікованим програмним забезпеченням,сумісні зі своїми молодшими побратимами.

Що таке суперЕОМ? Комп'ютери з продуктивністю понад 10 000млн. теоретичних операцій в сек. (MTOPS), згідно з визначенням
Держдепартаменту США, вважаються суперкомп'ютерами.
Слід відзначити й інші основні ознаки, що характеризують суперЕОМ,серед яких крім високої продуктивності:
• самий сучасний технологічний рівень (наприклад, GaAs-технологія);
• специфічні архітектурні рішення, спрямовані на підвищення бистродей-наслідком (наприклад, наявність операцій над векторами);
• ціна, звичайно понад 1-2 млн. дол

Разом з тим, існують комп'ютери, що мають всі перераховані вищехарактеристики суперЕОМ, за винятком ціни, яка для них складає відкількох сотень до 2 млн. доларів. Йдеться про міні-суперЕОМ, що володієвисокою продуктивністю, що поступається, однак, великим суперЕОМ. При цьомуу мінісуперкомпьютеров, як правило, помітно краще співвідношенняціна/продуктивність і істотно нижче за експлуатаційні витрати:система охолодження, електроживлення, вимоги до площі приміщення та ін Зточки зору архітектури мінісуперкомпьютери не представляють собоюякийсь особливий напрям, тому надалі вони окремо нерозглядаються.

Сфери застосування суперкомп'ютерів

Для яких застосувань потрібна настільки дорога техніка? Можездатися, що зі зростанням продуктивності настільних ПК і робочихстанцій, а також серверів, сама потреба в суперЕОМ буде знижуватися. Цене так. З одного боку, цілий ряд програм може тепер успішновиконуватися на робочих станціях, але з іншого боку, час показав, щостійкою тенденцією є поява все нових додатків, для якихнеобхідно використовувати суперЕОМ.

Перш за все слід вказати на процес проникнення суперЕОМ вабсолютно недоступну для них раніше комерційну сферу. Мова йде нетільки скажімо, відносно графічних додатках для кіно і телебачення, депотрібно все та ж висока продуктивність на операціях з плаваючоюкомою, а перш за все про завдання, що передбачають інтенсивну (у томучислі, і оперативну) обробку транзакцій для надвеликих БД. У цей класзавдань можна віднести також системи підтримки прийняття рішень і організаціяінформаційних складів. Звичайно, можна сказати, що для роботи з подібнимидодатками в першу чергу необхідні висока продуктивність введення -виводу і швидкодію при виконанні цілочисельних операцій, акомп'ютерні системи, найбільш оптимальні для таких програм, наприклад,
MPP-системи Himalaya компанії Tandem, SMP-комп'ютери SGI CHAL ENGE,
AlphaServer 8400 від DEC - це не зовсім суперЕОМ. Але варто згадати, щотакі вимоги виникають, зокрема, з боку ряду додатків ядерноїфізики, наприклад, при обробці результатів експериментів на прискорювачахелементарних частинок. Адже ядерна фізика - класична областьзастосування суперЕОМ з дня їх виникнення.

Як би там не було, намітилася явна тенденція до зближення понять
"мейнфрейм", "багатопроцесорний сервер" і "суперЕОМ". Не зайвим буде зауважити, щоце відбувається на тлі що почався в багатьох областях масованогопереходу до централізації і укрупнення на противагу процесуразукрупненіяі децентралізації.

Традиційною сферою застосування суперкомп'ютерів завжди були науковідослідження: фізика плазми та статистична механіка, фізикаконденсованих середовищ, молекулярна та атомна фізика, теорія елементарнихчастинок, газова динаміка і теорія турбулентності, астрофізика. У хімії --різні галузі обчислювальної хімії: квантова хімія (включаючи розрахункиелектронної структури для цілей конструювання нових матеріалів, наприклад,каталізаторів і надпровідників), молекулярна динаміка, хімічнакінетика, теорія поверхневих явищ і хімія твердоготіла, конструювання ліків. Природно, що ряд областей застосуваннязнаходиться на стиках відповідних наук, наприклад, хімії та біології, іперекривається з технічними додатками. Так, завдання метеорології,вивчення атмосферних явищ і, в першу чергу, завдання довгостроковогопрогнозу погоди, для вирішення якої постійно не вистачає потужностейсучасних суперЕОМ, тісно пов'язані з вирішенням ряду перерахованих вищепроблем фізики. Серед технічних проблем, для вирішення яких використовуютьсясуперкомп'ютери, вкажемо на завдання аерокосмічній і автомобільнійпромисловості, ядерної енергетики, прогнози і розробки родовищкорисних копалин, нафтовидобувної та газової промисловості (в тому числіпроблеми ефективної експлуатації родовищ, особливо тривимірні задачіїх дослідження), і, нарешті, конструювання нових мікропроцесорів ікомп'ютерів, в першу чергу самих суперЕОМ.

Суперкомп'ютери традиційно застосовуються для військових цілей. Крімочевидних задач розробки зброї масового знищення та конструюваннялітаків і ракет, можна згадати, наприклад, конструювання безшумнихпідводних човнів і ін Найзнаменитіший приклад - це американська програма
СОІ. Вже згадуваний MPP-комп'ютер Міністерства енергетики США будезастосовуватися для моделювання ядерної зброї, що дозволить взагалі скасуватиядерні випробування в цій країні.

Аналізуючи потенційні потреби в суперЕОМ існуючих сьогоднідодатків, можна умовно розбити їх на два класи. До першого можна віднестидодатки, у яких відомо, який рівень продуктивності требадосягти в кожному конкретному випадку, наприклад, довгостроковий прогнозпогоди. До другого можна віднести завдання, для яких характерний швидкийзростання обчислювальних витрат зі збільшенням розміру досліджуваного об'єкта.
Наприклад, у квантовій хімії неемпіріческіе розрахунки електронної структуримолекул потребують витрат обчислювальних ресурсів, пропорційних N ^ 4 або
І ^ 5, де N умовно характеризує розмір молекули. Зараз багатомолекулярні системи вимушено досліджуються у спрощеному модельномуподанні. Маючи в резерві ще більші молекулярні освіти
(біологічні системи, кластери і т.д.), квантова хімія дає прикладдодатки, що є "потенційно нескінченним" користувачемсуперкомп'ютерних ресурсів.

Є ще одна проблема застосування суперЕОМ, про яку необхідносказати - це візуалізація даних, отриманих в результаті виконаннярозрахунків. Часто, наприклад, при рішенні диференціальних рівнянь методомсіток, доводиться стикатися з гігантськими розмірами результатів, яків числовий формі людина просто не в стані обробити. Тут в багатьохвипадках необхідно звернутися до графічної форми подання інформації.
У будь-якому випадку виникає завдання транспортування інформації з комп'ютерноїмережі. Вирішенню цього комплексу проблем останнім часом приділяється всебільшу увагу. Зокрема, знаменитий Національний центрсуперкомп'ютерних додатків США (NCSA) спільно з компанією Silicon
Graphics веде роботи за програмою "суперкомп'ютерного оточення майбутнього".
У цьому проекті передбачається інтегрувати можливості суперкомп'ютерів
POWER CHALLENGE і засобів візуалізації компанії SGI із засобамиінформаційної супермагістралі.

Архітектура сучасних суперЕОМ

Наведемо класичну систематику Флінна.

Відповідно до неї, всі комп'ютери діляться на чотири класиЗалежно від числа потоків команд і даних. До першого класу
(послідовні комп'ютери фон Неймана) належать звичайні скалярніоднопроцесорні системи: одиночний потік команд - одиночний потік даних
(SISD). Персональний комп'ютер має архітектуру SISD, причому не важливо,чи використовуються в ПК конвеєри для прискорення виконання операцій.

Другий клас характеризується наявністю одиночного потоку команд, алемножинного nomoka даних (SIMD). До цього архітектурного класуналежать однопроцесорні векторні або, точніше кажучи, векторно -конвеєрні суперкомп'ютери, наприклад, Cray-1. У цьому випадку ми маємо справуз одним потоком (векторних) команд, а потоків даних - багато: коженелемент вектора входить в окремий потік даних. До цього ж класуобчислювальних систем відносяться матричні процесори, наприклад, знаменитийсвого часу
ILLIAC-IV. Вони також мають векторні команди і реалізують векторнуобробку, але не за допомогою конвеєрів, як у векторних суперкомп'ютерах,а за допомогою матриць процесорів.

До третього класу - MIMD - відносяться системи, що мають множиннийпотік команд і множинний потік даних. До нього належать не тількибагатопроцесорні векторні суперЕОМ, а й взагалі все багатопроцесорнікомп'ютери. Переважна більшість сучасних суперЕОМ мають архітектуру
MIMD.

Четвертий клас у систематиці Флінна, MISD, не представляєпрактичного інтересу, принаймні для аналізованих нами комп'ютерів.
Останнім часом у літературі часто використовується також термін SPMD (однапрограма - множинні дані). Він відноситься не до архітектурикомп'ютерів, а до моделі розпаралелювання програм і не єрозширенням систематики Флінна. SPMD звичайно відноситься до MPP (тобто MIMD) --системам і означає, що кілька копій однієї програми паралельновиконуються в різних процесорних вузлах з різними даними.

Векторні суперкомп'ютери [SIMD]

Серед сучасних суперЕОМ цю архітектуру мають однопроцесорні векторнісуперкомп'ютери. Типова схема однопроцесорній векторногосуперкомп'ютера представлена на прикладі FACOM VP-200 японської фірми Fujitsu
. Схожу архітектуру мають і інші векторні суперкомп'ютери, наприклад,фірм Cray Research і Convex. Загальним для всіх векторних суперкомп'ютерівє наявність у системі команд векторних операцій, наприклад, складаннявекторів, що допускають роботу з векторами певної довжини, допустимо, 64елемента по 8 байт. У таких комп'ютерах операції з векторами зазвичайвиконуються над векторними регістрами, що, однак, зовсім не єобов'язковим. Наявність регістрів маски дозволяє виконувати векторні командине над усіма елементами векторів, а тільки над тими, на які вказуємаска.

З часів Cray-1 багато векторні суперкомп'ютери, у тому числі ЕОМсерії VP від Fujitsu та серії S компанії Hitachi, мають важливий засібприскорення векторних обчислень, зване зачеплення команд.
Розглянемо, наприклад, наступну послідовність команд, що працюють звекторними V-регістрами в комп'ютерах Cray:

V2 = V0 * V1
V4 = V2 + V3

Ясно, що друга команда не може почати виконуватися відразу услід заперша - для цього перша команда повинна сформувати реєстр V2, щовимагає певної кількості тактів. Засіб зачеплення дозволяє, тимне менше, другий командою почати виконання, не чекаючи повного завершенняперший: одночасно з появою перших результату в регістрі V2 йогокопія направляється до функціональний пристрій додавання, і запускаєтьсядруга команда. Зрозуміло, деталі можливостей зачеплення різних векторнихкоманд відрізняються у різних ЕОМ.

Що стосується скалярною обробки, то відповідна підсистема командв японських суперкомп'ютерах Fujitsu і Hitachi сумісна з IBM/370, щомає очевидні переваги. При цьому для буферизації скалярних данихвикористовується традиційна кеш-пам'ять. Навпаки, компанія Cray Research,починаючи з Сгау-1, відмовилася від застосування кеш-пам'яті. Замість цього в їїкомп'ютерах використовуються спеціальні програмно-адресуються буферні В-і Т -регістри. І лише в останній серії, Cray T90, була введена проміжнакеш-пам'ять для скалярних операцій. Відзначимо, що на тракті оперативнапам'ять - векторні регістри проміжна буферна пам'ять відсутній, щовикликає необхідність мати високу пропускну здатність підсистемиоперативної пам'яті: щоб підтримувати високу швидкість обчислень,необхідно швидко завантажувати дані у векторні регістри і записуватирезультати назад у пам'ять. Але деякі векторні суперЕОМ, наприклад, IBM
ES/9000, працюють з операндами-векторами, розташованими безпосередньо воперативної пам'яті. Швидше за все, такий підхід є менш перспективнимз точки зору продуктивності, зокрема, тому, що для підтримкивисокого темпу обчислень для кожної векторної команди потрібна швидкавибірка векторних операндів з пам'яті і запис результатів назад.

Багатопроцесорні векторні суперкомп'ютери (MIMD)

В архітектурі багатопроцесорних векторних комп'ютерів можна відзначитидві найважливіші характеристики: симетричність (рівноправність) всіхпроцесорів системи і поділ усіма процесорами загального поля оперативноїпам'яті. Подібні комп'ютерні системи називаються сильно пов'язаними. Якщо воднопроцесорних векторних ЕОМ для створення ефективної програми її требавекторізовать, то в багатопроцесорних з'являється завдання розпаралелюванняпрограми для її виконання одночасно на декількох процесорах.

Завдання розпаралелювання є, мабуть, більш складною, оскільки вній необхідно організувати синхронізацію паралельно що виконуютьсяпроцесів. Практика показала можливості ефективного розпаралелюваннявеликої кількості алгоритмів для розглянутих сильно зв'язаних систем.
Відповідний підхід до розпаралелюванню на таких комп'ютерах називаєтьсяіноді моделлю розділяється загальної пам'яті.

Продуктивність деяких сучасних мікропроцесорів RISC -архітектури стала порівнянної з продуктивністю процесорів векторнихкомп'ютерів. Як наслідок цього, з'явилися використовують ці досягненнясуперЕОМ нової архітектури, - сильно пов'язані комп'ютери класу MIMD,що представляють собою симетричні багатопроцесорні сервери з загальним полемоперативної пам'яті. У модулях пам'яті звичайно використовується технологія DRAM,що дозволяє досягти великих обсягів пам'яті при відносно низькійціні. Однак швидкість обміну даними між процесорами і пам'яттю в такихсерверах у багато разів нижче, ніж пропускна здатність аналогічного трактуу векторних суперЕОМ, де оперативна пам'ять будується на дорожчийтехнології ЯВАМ. У цьому полягає одна з основних відмінностей у підходах досуперкомп'ютерних обчислень, що застосовуються для багатопроцесорних векторних
ЕОМ і SMP-серверів. У першому зазвичай є відносно невелике числовекторних регістрів, тому, як уже зазначалося, для підтримання високоїпродуктивності необхідно швидко завантажувати в них дані або, навпаки,записувати з них інформацію в оперативну пам'ять. Таким чином, потрібновисока продуктивність тракту процесор-пам'ять.

Кластери є найдешевшим способом нарощуванняпродуктивності вже інстальованих комп'ютерів. Фактично кластерявляє собою набір з декількох ЕОМ, з'єднаних через деякукомунікаційну інфраструктуру. В якості такої структури може виступатизвичайна комп'ютерна мережа, однак з міркувань підвищенняпродуктивності бажано мати високошвидкісні з'єднання
(FDDI/ATM/HiPPI і т.п.). Кластери можуть бути утворені як з різнихкомп'ютерів (гетперогенние кластери), так і з однакових (гомогеннікластери). Очевидно, що всі такі системи відносяться до класу MIMD.
Кластери є класичним прикладом слабко зв'язаних систем. Укластерних системах для організації взаємодії між процесами,що виконуються на різних комп'ютерах при вирішенні однієї задачі, застосовуютьсярізні моделі обміну повідомленнями (PVM, MPI тощо). Однак завданнярозпаралелювання в таких системах з розподіленою між окремимикомп'ютерами пам'яттю в рамках цих моделей є набагато більш складною,ніж в моделі загального поля пам'яті, як наприклад, в SMP-серверах. До цьогослід додати суто апаратні проблеми наявності затримок при обмінахповідомленнями і підвищення швидкості передачі даних. Тому спектр завдань,які можуть ефективно вирішуватися на кластер?? их системах, у порівнянні зсиметричними сильно пов'язаними системами досить обмежений. Дляпаралельної обробки запитів до баз даних у подібних системах такожмає свої власні підходи.

У кластери можуть об'єднуватися різні суперкомп'ютери. Можливістьнаявності великої кількості процесорних вузлів у SP2 дозволяє одночасновіднести цей комп'ютер і до класу Mpp-сістем.MPP-системи належать докласу MIMD. Якщо говорити про MPP-комп'ютерах з розподіленою пам'яттю івідволіктися від організації вводу-виводу, то ця архітектура єприродним розширенням кластерної на велику кількість вузлів. Тому длятаких систем характерні всі переваги і недоліки кластерів.

Завдяки масштабованості, саме MPP-системи є сьогоднілідерами за досягнутої продуктивності комп'ютера; найбільш яскравийприклад цьому - Intel Paragon. З іншого боку, проблеми розпаралелюванняв MPP-системах в порівнянні з кластерами, що містять трохи процесорів,стають ще більш важко вирішити. Крім того, прирістпродуктивності з ростом числа процесорів зазвичай взагалі досить швидкозменшується. Легко наростити теоретичну продуктивність ЕОМ, але набагатоважче знайти завдання, які змогли б ефективно завантажити процесорнівузли.

Сьогодні не так вже й багато програм можуть ефективно виконуватися на Mpp -комп'ютері, крім цього є ще проблема переносимості програм між
Mpp-системами, що мають різну архітектуру. Започаткована в останніроки спроба стандартизації моделей обміну повідомленнями ще не знімає всіхпроблем. Ефективність розпаралелювання в багатьох випадках сильно залежитьвід деталей архітектури Mpp-системи, наприклад топології з'єднанняпроцесорних вузлів.

Найефективнішою була б топологія, в якій будь-який вузол міг бинапряму зв'язатися з будь-яким іншим вузлом. Однак у MPP-системах цетехнічно важко реалізовується. Зазвичай процесорні вузли в сучасних MPP -комп'ютерах утворюють або двовимірну грати (наприклад, в SNI/Pyramid RM1000)або Гіперкуб (як у суперкомп'ютерах nCube [18 ]).

Оскільки для синхронізації паралельно що виконуються у вузлахпроцесів необхідний обмін повідомленнями, які повинні доходити з будь-якоговузла системи в будь-який інший вузол, важливою характеристикою є діаметрсистеми з1 - максимальна відстань між вузлами. У разі двомірноїрешітки d ~ sqrt (n), у разі гіперкуба d ~ 1n (n). Таким чином, призбільшення числа вузлів архітектура гіперкуба є більш вигідною.

Час передачі інформації від вузла до вузла залежить від стартової затримкиі швидкості передачі. У будь-якому випадку за час передачі процесорні вузливстигають виконати багато команд, і це співвідношення швидкодіїпроцесорних вузлів і передавальної системи, ймовірно, буде зберігатися --прогрес у продуктивності процесорів набагато більше, ніж у пропускноїспроможності каналів зв'язку. Тому інфраструктура каналів зв'язку єодного з головних компонентів Mpp-комп'ютера.

Незважаючи на всі складності, сфера застосування MPP-комп'ютерів потрохурозширюється. Різні MPP-системи експлуатуються в багатьох провіднихсуперкомп'ютерних центрах світу, що наочно видно з списку ТОР500.
Крім вже згаданих, слід особливо відзначити комп'ютери Cray T3D і
Cray ТЗЕ, які ілюструють той факт, що світовий лідер виробництвавекторних суперЕОМ, компанія Cray Research, вже не орієнтуєтьсявиключно на векторні системи. Нарешті, не можна не згадати, щоновітній суперкомп'ютерний проект міністерства енергетики США буде заснованийна MPP-системі на базі Pentium Pro [10].

Висновок

Сьогодні в суперкомп'ютерному світі спостерігається нова хвиля, викликанаяк успіхами в області мікропроцесорних технологій, так і появоюнового кола завдань, що виходять за рамки традиційних науково -дослідних лабораторій. У наявності швидкий прогрес у продуктивностімікропроцесорів RISC-архітектури, яка росте помітно швидше, ніжпродуктивність векторних процесорів. Наприклад, мікропроцесор HP РА-
8000 відстає від Cray T90 всього приблизно в два рази. У результаті вНайближчим часом ймовірно подальше витіснення векторних суперЕОМкомп'ютерами, що використовують RISC-мікропроцесори, такими, як, наприклад,
IBM SP2, Convex/HP SPP, DEC AlphaServer 8400, SGI POWER CHALENGE.
Підтвердженням цього стали результати рейтингу ТОР500, де лідерами зачислу інсталяцій стали системи POWER CHALLENGE і SP2, що випереджають моделіпровідного виробника суперкомп'ютерів - компанії Cray Research.

Література

[1] ComputerWorld Росія, # 9, 1995.
[2] К. Вільсон, в сб. "Високошвидкісні обчислення". М. Радио и Связь, 1988,сс.12-48.
[3]. Б. А. Головкін, "Паралельні обчислювальні системи". М.. Наука, 1980,
519 с.
[4] Р. Хокні, К. Джессхоуп, "Паралельні ЕОМ. М.. Радіо та зв'язок, 1986, 390с.
[5] Flynn І., 7., IEEE Trans. Comput., 1972, О.С-21, N9, рр.. 948-960.
[6] Russel К.М., Commun. АСМ, 1978, v. 21, # 1, рр.. 63-72.
[7] Т. Мотоока, С. Томіта, Х. Танака, Т. Сайто, Т. Уехара, "Комп'ютери на
НВІС ", m.l. М. Світ, 1988, 388 с.
[8] М. Кузьмінський, Процесор РА-8000. Відкриті системи, # 5, 1995.
[9] Відкриті системи сьогодні, # 11, 1995.
[10] ComputerWorld Росія, # # 4, 6, 1995.
[11] ComputerWorld Росія, # 8, 1995.
[12] Відкриті системи сьогодні, # 9, 1995.
[13] ComputerWorld Росія, # 2, 1995.
[14] ComputerWorld Росія, # 12, 1995.
[15] В. Шнітман, Системи Exemplar SPP1200. Відкриті системи, # 6, 1995.
[16] М. Борисов, UNIX-кластери. Відкриті системи, # 2, 1995,cc.22-28.
[17] В. Шмідт, Системи IBM SP2. Відкриті системи, # 6, 1995.
[18] М. Дубова, Суперкомп'ютери nCube. Відкриті системи, # 2, 1995, сс.42-
47.
[19] Д. Французів, Тест оцінки продуктивності суперкомп'ютерів.
Відкриті системи, # 6, 1995.
[20] Д. Волков, Як оцінити робочу станцію. Відкриті системи, # 2, 1994,с.44-48.
[21] А. Волков, Тести ТРС. СУБД, # 2, 1995, сс. 70-78.