Кластерні системи
Розвиток кластерних систем (КС) в Росії
Кластер
- Це модульна багатопроцесорна система, створена на базі стандартних
обчислювальних вузлів, з'єднаних високошвидкісний комунікаційним середовищем.
Зараз слова «кластер» і «суперкомп'ютер» значною мірою синоніми, але
перш ніж про це стало можна з упевненістю говорити, апаратні засоби
пройшли тривалий цикл еволюції. Протягом перших 30 років з моменту появи
комп'ютерів, аж до середини 1980-х рр.., під «суперкомп'ютерних»
технологіями розуміли виключно виробництво спеціалізованих особливо
потужних процесорів. Однак поява однокристальної мікропроцесора
практично стер різницю між «масовими» і «особливо потужними» процесорами, і
з цього моменту єдиним способом створення суперкомп'ютера став шлях
об'єднання процесорів для паралельного рішення однієї задачі. Олексій Лацис,
один з творців російського суперкомп'ютера МВС-1000м, у своїй книзі «Як
побудувати і використовувати суперкомп'ютер »називає це« першими суперкомп'ютерної
революцією ».
Приблизно
до середини 1990-х рр.. основний напрямок розвитку суперкомп'ютерних
технологій було пов'язане з побудовою спеціалізованих багатопроцесорних
систем з масових мікросхем. Один з сформованих підходів - SMP
(Symmetric Multi Processing), мав на увазі об'єднання багатьох процесорів з
використанням загальної пам'яті, що сильно полегшувало програмування, але
висувало високі вимоги до самої пам'яті. Зберегти швидкодія таких
систем при збільшенні кількості вузлів до десятків було практично неможливо.
Крім того, цей підхід виявився найдорожчим в апаратній реалізації. На
порядок дешевшим і практично нескінченно масштабованим виявився спосіб МРР
(Massively Parallel Processing), при якому незалежні спеціалізовані
обчислювальні модулі об'єднувалися спеціалізованими каналами зв'язку, причому і
ті й інші створювалися під конкретний суперкомп'ютер і ні в яких інших цілях
не застосовувалися.
Ідея
створення так званого кластеру робочих станцій фактично стала розвитком
методу МРР, адже логічно МРР-система не сильно відрізнялася від звичайної
локальної мережі. Локальна мережа стандартних персональних комп'ютерів, при
відповідному ПО використовувалась як багатопроцесорний суперкомп'ютер, і
стала прародителькою сучасного кластеру. Ця ідея отримала більше
досконале втілення в середині 1990-х рр.., коли завдяки повсюдного
оснащення ПК високошвидкісної шиною PCI і появі дешевої, але швидкої мережі.
Fast Ethernet кластери стали наздоганяти спеціалізовані МРР-системи по
комунікаційних можливостей. Це означало, що повноцінну МРР-систему можна
було створити зі стандартних серійних комп'ютерів за допомогою серійних
комунікаційних технологій, причому така система обходилася дешевше в середньому
на два порядки.
Ось
найзнаменитіші суперкомп'ютери з кластерної архітектурою «першого покоління»:
Beowulf (1994, NASA Goddard Space Flight Center) - 16-процесор-ний кластер на
процесорах Intel 486DX4/100 МГц; Avalon (1998, Лос-Аламоської національна
лабораторія) - Linux-кластер на базі процесорів Alpha 21164А/533 МГц.
Спочатку Avalon складався з 68 процесорів, потім їх число збільшилося до
140; його продуктивність на тесті LINPACK 48,6 GFlops * дозволила йому зайняти
113-е місце в 12-й редакції рейтингу самих потужних комп'ютерів світу Тор500 поруч
зі 152-процесорної SMP-системою IBM RS/6000 SP. Першою вітчизняною системою,
що увійшла в ТорбОО, став кластер МВС-1000м, виготовлений НДІ «Квант» і
Інститутом прикладної математики Російської академії наук. Він складався з 384
вузлів на базі процесорів Alpha 21164 компанії DEC-Compaq.
*
Flops (floating point operations per second) - кількість операцій з плаваючою
крапкою в секунду, одиниця виміру продуктивності суперкомп'ютерів. GFlops
(гігафлопс) - мільярд операцій з плаваючою крапкою в секунду; TFlops
(терафлопс) - трильйон операцій з плаваючою крапкою в секунду. Реальна
продуктивність найпотужнішого на сьогодні суперкомп'ютера перевищує 136
TFlops; лише рік тому цей показник складав 35 TFlops.
Розрізняють
пікову і реальну продуктивність суперкомп'ютерів. Пікова
продуктивність багатопроцесорної системи (кластера, SMP-системи і т. д.) --
теоретичне значення, недосяжне на практиці. Воно виходить множенням
пікової продуктивності процесора на число процесорів в системі. Пікова
продуктивність ЦП у загальному випадку виходить шляхом множення його тактовою
частоти на максимальне число операцій, які виконуються за один такт. Реальна
продуктивність кластера - це продуктивність, отримана при вирішенні
реального завдання (академічної чи промислової). Наприклад, системи в рейтингу
Тор500 ранжуються за результатами тесту LINPACK - реальної академічної завдання
на вирішення системи лінійних рівнянь.
Новий
потужний поштовх розвитку кластерних технологій, крім появи більш
скоєних комунікаційних мереж, дав швидке зростання продуктивності знову
випускаються масових процесорів, що зробило високопродуктивні рішення
доступними як ніколи. Наприклад, «СКІФ К-500», другий вітчизняний кластер,
увійшов до ТорбОО, побудований на базі 128 процесорів Intel Xeon і системної мережі
SCI. Побудований восени 2003 р. для російсько-білоруського державного
суперкомп'ютерної програми «СКІФ», цей кластер зайняв в рейтингу 407-е місце з
реальною продуктивністю в 423,6 GFlops. Другий «топовий» кластер
програми державної, «СКІФ К-1000» на базі 576 процесорів AMD Opteron і
системної мережі InfiniBand, з'явився в жовтні 2004 р. і увійшов до першої сотні
Тор500 з реальною продуктивністю 2,032 TFlops. Обидва кластеру «СКІФ»,
встановлених в Білорусі, побудовані компанією «Т-Платформи» за участю ІПС
РАН і білоруських партнерів і використовують російські суперкомп'ютерні технології.
Найпотужніший на даний момент кластер на території Росії - МВС 15000БМ з
реальною продуктивністю більше 5,3 Tflops, він займає 56-е місце в Тор500
і встановлено в Міжвідомчій суперкомп'ютерному центрі (МСЦ РАН). Кластер
побудований з обчислювальних вузлів компанії IBM на базі процесорів PowerPC та
системної мережі Myrinet.
Бурхливий
розвиток кластерних технологій за останні роки добре видно з аналізу списку
Тор500: з 2000 по 2004 р. частка кластерів у списку збільшилася з 2,2 до 60,8%.
Якщо в 2000 р. в числі 40 найпотужніших установок були присутні лише два
кластеру (найпотужніший - 31-е місце), то до 2004 р. їх число серед перших 40
машин склало 24). При цьому, за даними останньої редакції Тор500, більше 71,5%
процесорів, використаних для ерзданія суперкомп'ютерів, - це масово
випускаються процесори компаніями Intel і AMD.
Кластерні
технології застосовуються і в новітніх суперкомп'ютерних розробках провідних
виробників: наприклад, в самому потужному на сьогодні суперкомп'ютері IBM
BlueGene/L з продуктивністю більше 136 TFlops використано багато елементів
кластерної архітектури.
Сфера
застосування кластерних систем зараз анітрохи не вужче, ніж суперкомп'ютерів з
інший архітектурою: вони не менш успішно справляються із завданням моделювання
самих різних процесів і явищ. Суперкомп'ютерні моделювання може під
багато разів здешевити і прискорити виведення на ринок нових продуктів, а також поліпшити
їх якість. Наприклад, замість того щоб будувати дорогі тестові моделі
нових автомобілів, щоб потім розбити їх об стінку заради проведення інженерних
розрахунків, можна швидше і точніше все порахувати на комп'ютерних моделях.
Завдяки цьому багатьом західним автомобільним концернам вдалося скоротити термін
розробки нової моделі автомобіля в п'ять разів - з 10 до 2 років. Комп'ютерна
обробка геофізичних даних дозволяє створювати високодеталізірованние
моделі нафтових і газових родовищ, забезпечуючи більш ефективну,
безпечну і дешеву розробку свердловин.
Саме
розвиток кластерних технологій зробили високопродуктивні обчислення широко
доступними і дозволило самим різним підприємствам скористатися їх
перевагами. Ось як розподіляються області застосування 500 найпотужніших
комп'ютерів світу: 44,3% - добувна, електронна, автомобільна, авіаційна і
ін галузі важкої промисловості та машинобудування, трохи більше 20% - наука і
освіта, суперкомп'ютерні центри. Понад 18% припадає на погодні та
кліматичні дослідження, 7% - ядерні, космічні, енергетичні та військові
державні програми, 3,5% - фінансові компанії та банки. Крім того, в
списку є компанії та організації, що займаються медициною і розробкою нових
ліків, комп'ютерною графікою, перевезеннями, торгівлею, виробництвом
продуктів харчування, консалтингом і державним управлінням.
Що
стосується використання суперкомп'ютерів в Росії, то в поточному рейтингу
суперкомп'ютерів СНД Тор50, уперше виданому в грудні 2004 р., представлені
тільки три класи користувачів: наукові інститути та університети, підприємства,
зайняті у важкій та нафтовидобувної промисловості, а також фінансові
структури.
В
середньому вітчизняні суперкомп'ютери поки ще сильно поступаються західним по
продуктивності: машини, що використовуються для наукових досліджень, в 15 разів,
обчислювальні ресурси фінансових компаній - у 10 разів, промислові
суперкомп'ютери - у 9 разів. Проте вже друга редакція списку Тор50,
опублікована в квітні 2005 р., демонструє швидкий розвиток галузі. Так,
кількість систем, що працюють у промисловій сфері, збільшилася з 2 до 16%,
причому їх середня продуктивність виросла відразу на 135%. Число
суперкомп'ютерів фінансових компаній і банків також зросла з 2 до 18%. Частка
комп'ютерів, які використовуються для наукових досліджень, скоротилася з 96 до
66%, а їх середня продуктивність зросла на 70%. В цілому друга редакція
вітчизняного суперкомп'ютерного рейтингу демонструє істотне зростання частки
систем комерційного використання. Найбільша кількість вітчизняних
суперкомп'ютерів поставлено фірмою IBM (26%), але російські виробники лише
трохи поступаються їй.
Кластерні системи - статистика
Нижче
наведено порівняльний аналіз оснащеності суперкомп'ютерами підприємств СНД і
найбільш розвинених світових держав у різних галузях економіки на основі
світового суперкомп'ютерного Тор500 рейтингу та рейтингу самих потужних комп'ютерів
СНД Тор50, а також порівняння першого і другого редакцій рейтингу Тор50 з цього
показником.
Порівняльні
дані з використання суперкомп'ютерів
Області використання
Світ (Тор500),%
У СНД (Тор50, 2-а редакція),%
У СНД (Тор50, 1-а редакція),%
Промисловість: електронна;
важка (автомобільна, авіаційна, металургія та ін); видобувна
(геологорозвідка, нафто-і газовидобуток)
44,3
16
2
Обчислювальні центри, наука і
Освіта: суперкомп'ютерні центри, університети і наукові інститути
(фізика, математика, хімія, біологія, генетика), постачальники суперкомп'ютерів,
системні інтегратори
21,2
66
96
Прогнози погоди і кліматичні
дослідження
18,5
-
-
Стратегічні дослідження,
програми Міністерства оборони, космічна і ядерна програми
7,1
-
-
Фінанси: банки, фінансові
корпорації, страхування, фінансові прогнози і консалтинг
3,5
18
2
Споживчий сектор,
медицина та фармакологія, транспорт, торгівля, виробництво споживчих
товарів, продуктів харчування
3
Медіа: цифрові
відеотехнологій, комп'ютерні ігри тощо
2,2
-
-
Державне управління
0,2
-
-
Порівняльні
дані по продуктивності суперкомп'ютерів
Області використання
Максимальний рівень, GFIops
Середній рівень,
GFIops
У світі
У СНД (Тор50-2)
У світі
У СНД (Тор50-2)
Дослідження
136800
3052 (менше в 44 рази)
1800
120 (менше в 15 разів)
Фінанси
4713
438,6 (менше в 10,7 рази)
1500
139 (менше в 10,7 рази)
Промисловість
3755
2032 (менше в 1,8 рази)
1500
165 (менше в 9 разів)
Типові завдання кластерних систем
Сьогодні
можна говорити про те, що кластерні системи успішно застосовуються для всіх завдань
суперкомпьютінга - від розрахунків для науки і промисловості до управління базами
даних. Практично будь-які додатки, що вимагають високопродуктивних
обчислень, мають зараз паралельні версії, які дозволяють розбивати
завдання на фрагменти і обраховувати її паралельно на багатьох вузлах кластеру.
Наприклад, для інженерних розрахунків (міцнісні розрахунки, аеромеханіки, гідро-і
газодинаміка) традиційно застосовуються так звані сіткові методи, коли
область обчислень розбивається на комірки, кожна з яких стає
повністю незалежна організація обчислень. Ці комірки обраховуються незалежно на різних
вузлах кластеру, а для одержання загальної картини на кожному кроці обчислень
відбувається обмін даними, поширеними в прикордонних областях.
Для
практичних розрахунків (3D-анімація, креш-тести, розвідка нафтових і газових
родовищ, прогнозування погоди) зазвичай використовуються кластери з 10-200
вузлів. При цьому основне завдання - забезпечення ефективної роботи кластеру з
конкретним додатком. Архітектура кластеру повинна забезпечувати
масштабованість ПО при збільшенні кількості вузлів, тобто приріст
продуктивності при додаванні нових обчислювальних модулів. Для цього важливо
правильно вибрати конфігурацію кластеру в залежності від профілю обміну даними
між примірниками програми, запущеними на різних вузлах. Тут потрібно
враховувати загальний обсяг даних, що пересилаються, розподіл довжин повідомлень,
використання групових операцій і т. п.
Сьогодні
навіть ті завдання, для вирішення яких традиційно застосовувалися багатопроцесорні
системи з загальною пам'яттю, такі, як управління великими базами даних, успішно
вирішуються на кластерах. Поява на ринку таких продуктів, як, наприклад,
Oracle RAC (Real Applications Cluster), дало можливість застосовувати кластерні
системи в області баз даних, а нова версія СУБД Oracle 10g, побудована на
базі GRID-технологій, забезпечує максимально ефективне використання
кластерної архітектури для вирішення цих завдань. Таким чином, завдяки
доступності кластерних рішень число підприємств, які можуть дозволити собі
кардинально спростити і прискорити роботу з корпоративною базою даних,
істотно збільшується.
Кластерні
рішення - найбільш економічно обгрунтований вибір. На відміну від більшості
серверних систем зі спільною пам'яттю кластерні рішення легко масштабуються до
систем більшої продуктивності. Таким чином, при посиленні вимог
замовника до продуктивності необов'язково купувати нову систему - можна
додати стандартні обчислювальні вузли і легко наростити стару. Причому
діапазон масштабованості дуже широкий: наприклад, 288-вузловий кластер «СКІФ
К-1000 »з пікової продуктивністю 2,5 TFlops можна наростити до системи
потужністю 30 TFlops шляхом об'єднання стандартних обчислювальних модулів.
Кластерні
рішення мають найкращим на сьогодні співвідношенням ціна/проізводітелиюсть і
мають істотно більш низьку сукупну вартість володіння. Це досягається
завдяки масштабованості та використання стандартних загальнодоступних
компонентів, ціна яких постійно знижується. Два кластерних двопроцесорних
вузла в середньому на 35% дешевше, ніж один чотирипроцесорний SMP-сервер, причому
зі зростанням кількості процесорів перевагу кластерних рішень з цього
параметру збільшується. Крім того, кластерна архітектура забезпечує
чудову відмовостійкість системи: при виході з ладу одного або
декількох обчислювальних модулів (або вузлів) кластер не втрачає
працездатності і нові завдання можуть бути запущені на меншій кількості вузлів.
Що вийшов з ладу вузол легко і швидко виймається зі стійки і замінюється новим,
який відразу ж включається в роботу. Це можливо завдяки комутованої
топології сучасних системних мереж, «коли обмін повідомленнями між двома
вузлами може йти багатьма шляхами. У ходіексплуатації система типу «СКІФ
К-1000 »передбачає можливий вихід з ладу не більше 2 вузлів на рік.
Архітектура кластерних систем
Отже,
в даний час кластер складається з обчислювальних вузлів на базі стандартних
процесорів, з'єднаних високошвидкісний системної мережею (інтер-Коннект), а
також, як правило, допоміжного та сервісної мережами. Більшість кластерних
систем списку Тор500 виконані на процесорах Intel (Intel Xeon, Intel Xeon
EM64T, Intel Itanium 2). Часто використовуються процесори Power і PowerPC компанії
IBM. Останнім часом популярністю користуються процесори AMD (особливо AMD
Opteron і його нещодавно вийшла двоядерний версія).
В
як обчислювальних вузлів найчастіше використовуються двопроцесорні
SMP-сервери в корпусі від 1U до 4U, зібрані в 19-дюйм стійки. Компактні
пристрої дозволяють створювати високопродуктивні рішення з максимальною
питомою щільністю, більші - недорогі системи. Іноді провідні
виробники пропонують власний формфактор: наприклад, IBM, Verari,
LinuxNetworx й інші компанії пропонують обчислювальні вузли на основі
блейд-технологій, які забезпечують високу щільність установки, але здорожують
рішення. На російському ринку блейд-рішення поки мало затребувані через їх
високу вартість.
Кожен
вузол працює під управлінням своєї копії стандартної операційної системи, у
більшості випадків - Linux. Склад і потужність вузлів можуть бути різними в
рамках одного кластера, однак частіше будуються однорідні кластери. Вибір
конкретної комунікаційного середовища (інтерконнекта) визначається багатьма
чинниками: особливостями вирішуваних завдань, доступним фінансуванням,
вимогами до масштабованості і т. п. У кластерних рішеннях застосовуються такі
технології інтерконнекту, як Gigabit Ethernet, SCI, Myrinet, QsNet,
InfiniBand.
Кластер
- Це складний програмно-апаратний комплекс, і завдання побудови кластерів не
обмежується об'єднанням великої кількості процесорів в один сегмент. Для
того щоб кластер швидко і правильно вважав завдання, всі комплектуючі повинні
бути ретельно підібрані один до одного з урахуванням вимог програмного
забезпечення, тому що продуктивність кластерного ПО сильно залежить від архітектури
кластеру, характеристик процесорів, системної шини, пам'яті і інтерконнекта.
Використання тих чи інших компонентів сильно залежить від задачі, для якої
будується кластер. Для деяких добре распараллеліваемих завдань (таких, як
рендеринг незалежних сюжетів в відеофрагменти) основний фактор швидкодії
- Потужний процесор, і продуктивність інтерконнекта не грає основної ролі.
У той же час для задач гідро-та аеродинаміки, розрахунку креш-тестів важлива
продуктивність системної мережі, оскільки збільшення числа вузлів в кластері
буде мало впливати на швидкість вирішення задачі.
Системна
мережу, або високошвидкісна комунікаційна Середа, виконує завдання забезпечення
ефективності обчислень. Gigabit Ethernet - найбільш доступний тип
комунікаційного середовища, оптимальне рішення для задач, що не вимагають інтенсивних
обмінів даними (наприклад, візуалізація тривимірних сцен або обробка
геофізичних даних). Ця мережа забезпечує пропускну здатність на рівні
MPI * (близько 70 Мбайт/с) і затримку (час між відправленням і отриманням пакету з
даними) приблизно 50 мкс. Myrinet - найбільш поширений тип
комунікаційного середовища з пропускною спроможністю до 250 Мбайт/с і затримкою 7
мкс, а нове, нещодавно анонсоване ПЗ для цієї мережі дозволяє скоротити цю
цифру в два рази. Мережа SCI відрізняється невеликими затримками - менше 3 мкс на
рівні MPI - і забезпечує пропускну здатність на рівні MPI від 200 до 325
Мбайт/с. QsNet - дуже продуктивне і дороге устаткування, що забезпечує
затримку менше 2 мкс і пропускну здатність до 900 Мбайт/с. Найбільш
перспективна на сьогодні технологія системної мережі - InfiniBand. Її поточна
реалізація має пропускну спроможність на рівні MPI до 1900 Мбайт/с і час
затримки від 3 до 7 мкс. Один з найбільш цікавих продуктів, що з'явилися в
Останнім часом, - високошвидкісний адаптер компанії PathScale, який
реалізує стандартні комутатори та кабельну структуру InfiniBand, використовуючи
власний транспортний протокол. Це дозволило досягти рекордно низького
часу затримки - 1,3 мкс.
*
MPI - найбільш поширений і продуктивний протокол передачі повідомлень
в кластерних системах, а також інтерфейс програмування для створення
паралельних програм.
Зараз
існують два способи внутрішнього пристрою стандартних системних мереж.
Наприклад, мережа SCI має топологію дво-чи тривимірного тора і не вимагає
застосування комутаторів, що зменшує вартість системи. Проте ця технологія
має суттєві обмеження по масштабованості.
Решта
загальнодоступні високошвидкісні технології системних мереж Myrinet, QsNet,
InfiniBand використовують комутовану топологію Fat Tree. Обчислювальні вузли
кластеру з'єднуються кабелями з комутаторами нижнього рівня (leaf, або edge
switches), які в свою чергу об'єднуються через комутатори верхнього
рівня (core, або spine switches). За такої топології є багато шляхів
передачі повідомлень між вузлами, що дозволяє підвищити ефективність передачі
повідомлень завдяки розподілу завантаження при використанні різних маршрутів.
Крім того, за допомогою Fat Tree можна об'єднати практично необмежену
кількість вузлів, зберігши при цьому гарну масштабованість додатків.
Завдання
ефективного доступу вузлів до даних (наприклад, до зовнішнього сховища) найчастіше
вирішується за допомогою допоміжної мережі (як правило, Gigabit Ethernet). Іноді
для цього застосовують канали Fibre Channel (це значно збільшує вартість
системи) або системну мережу (наприклад, InfiniBand у кластерах баз даних).
Допоміжна (або сервісна) мережа також відповідає за розподіл завдань
між вузлами кластеру і керування роботою завдань. Вона використовується для
файлового обміну, мережевий завантаження ОС вузлів і управління вузлами на рівні ОС, в
тому числі моніторингу температурного режиму та інших параметрів роботи вузлів.
Сервісна мережа застосовується і для так званого керування вузлами out-of-band,
тобто без участі операційної системи. До нього належать «плавне»,
послідовне включення і виключення вузлів вр уникнути великого стрибка
напруги, апаратний скидання вузла і доступ до його консолі на всіх етапах роботи,
що дозволяє діагностувати поломки в недоступних вузлах, змінювати налаштування
ОС та ін Провідні виробники суперкомп'ютерів, такі, як IBM, SUN, HP, вводять
до складу вузла спеціальні плати, що дозволяють здійснювати управління
out-of-band, що в перерахунку на весь кластер досить дорогі. На щастя,
є набагато більш доступне російське рішення з аналогічною функціональністю
- Мережа ServNet, розроблена в Інституті програмних систем РАН і успішно
що застосовується у вітчизняних кластерних системах, зокрема у кластерах
«СКІФ». Компактна плата ServNet (всього 66х33 мм) легко вбудовується в
обчислювальний вузол і дозволяє, крім усього перерахованого вище, змінювати
параметри BIOS вузла, вибирати завантажується ОС, змінювати параметри завантаження ядра
Linux, контролювати критичні повідомлення ОС і проводити «посмертне» читання (з
незалежній пам'яті плати ServNET) кількох останніх повідомлень ОС.
Суперкомп'ютери
- Це завжди дуже великі потужності. У сформованій ситуації вже неможливо
розглядати високопродуктивні обчислювальні системи окремо від систем
їх розміщення, охолодження та електроживлення. Наприклад, «СКІФ К-1000» споживає
понад 89 кВт, і практично все йде в тепло. Такої потужності було б
достатньо для обігріву невеликого будинку, але всі 288 вузлів формфактора 1U стоять
у восьми стійках, і без продуманого теплового дизайну не обійтися. У першу
суперкомп'ютерах використовувалося рідинне охолодження, але такі охолоджувальні
системи нерідко виходили з ладу. У сучасних суперкомп'ютерах застосовують
повітряне охолодження, і необхідний температурний режим забезпечується двома
чинниками. По-перше, продуманим тепловим дизайном обчислювального вузла:
стандартні шасі необхідно модернізувати для того, щоб повітряний потік,
створюваний внутрішніми вентиляторами, максимально ефективно охолоджував
процесори. По-друге, підтриманням робочої температури в приміщенні: гарячий
повітря повинен бути або відведена від вузлів і кондиційованих, або виїхали за
межі приміщення.
Оптимізація
енергоспоживання - не менш серйозне завдання. На думку світових експертів, при
сучасних темпів зростання продуктивності систем і збереженні характеристик
їх енергоспоживання вже до 2010 р. найпотужніші суперкомп'ютери будуть
споживати стільки енергії, що забезпечити її подачу і відведення тепла буде
неможливо. Однак проблема забезпечення безперебійного живлення існує і для
систем з середньою продуктивністю, і кожен виробник вирішує її
по-своєму.
Класифікація кластерних систем
Кластерні
системи можуть використовувати самі різні платформи і типи інтерконнекта л, як
правило, класифікуються не по набору комплектуючих, а по областях застосування.
Виділяють чотири типи кластерних систем: обчислювальні кластери, кластери баз
даних, відмовостійкі кластери та кластери для розподілу завантаження. Самая
численна група - обчислювальні кластери. Вона може бути розбита на
підгрупи, справедливість, класифікації усередині цієї групи підлягають вже не власне
обчислювальні машини, а готові програмно-апаратні кластерні рішення.
Такі системи «під ключ» мають встановлене прикладне ПЗ, необхідне
замовника для вирішення його завдань. Рішення, оптимізовані для різних
додатків, розрізняються підбором компонентів, що забезпечує найбільш
продуктивну роботу саме цих додатків при найкращому співвідношенні
ціна/якість.
Основні
типи готових рішень у світовій практиці:
промислові
кластери для інженерних завдань;
кластери
для нафто-і газодобувної промисловості;
кластери
для досліджень в області «наук про життя», або life sciences (пошук нових
ліків, генетика, молекулярне моделювання, біоінформатика);
кластери
для стратегічних досліджень (дослідження погоди та клімату, ядерна фізика
та фізика частинок, космічні дослідження, оборонні програми);
кластери
для індустрії розваг (комп'ютерна графіка і спецефекти, комп'ютерні
онлайнові ігри);
грід-рішення *;
кластери
для високопродуктивних обчислень в різних галузях науки і освіти.
Кластери
баз даних з'явилися нещодавно. Ці системи працюють з паралельними версіями баз
даних і використовуються у великих організаціях для роботи CRM-і ERP-систем, а
також трапзакціонних баз даних. Сьогодні ці системи - серйозний конкурент
традиційним серверів із загальною пам'яттю завдяки кращому співвідношенню
ціна/продуктивність, масштабованості і відмовостійкості.
Відмовостійкі
кластери будують для того, щоб найкращим чином забезпечити надійність роботи
критично важливих додатків. Робота програми дублюється у різних вузлах, і
у разі помилки на одному з них додаток продовжує працювати або
автоматично перезапускається на іншому. Такі кластери не бувають великими, і
користувачі часто будують їх самі. Кластерні технології також використовуються для
розподілу великого потоку запитів з багатьох серверів. Такі рішення часто
застосовуються для підтримки Web-сайтів з динамічним вмістом, постійно
що звертаються до баз даних, наприклад, пошукових систем. Залежно від
розмірів сервісу кластери розподілу завантаження можуть мати досить велику
кількість вузлів.
* Грід
(GRID) - перспективний напрямок розвитку ІТ технологій. Хоча воно поки що не
втілено в індустріальних стандартах, всі країни - лідери ІТ-ринку - мають
державні програми розробки грід-технологій. Мета цих програм;
інтеграція
обчислювальних потужностей - інтеграція різнорідних обчислювальних систем в
єдиний простір з динамічним розподілом ресурсів між додатками;
інтеграція
ємностей сховищ - щось подібне територіально розподіленим RAID-систем;
інтеграція
джерел даних - наприклад, інтеграція в єдину віртуальну базу різнорідних
баз даних, розподілених територіально, реалізованих на різних апаратних
платформах і принципах.
Термін
«Грід» створений за аналогією з поняттям «power grid» - система, що інтегрує
генеруючі потужності електричних мереж до єдиного «сховище» енергії, звідки
вона перерозподіляється незалежно від її джерела. Впровадження таких
технологій у сфері високопродуктивних обчислень дозволить кардинально
спростити доступ до обчислювальних ресурсів і зробити їх використання на
порядок більш ефективним. Крім інтеграції обчислювальних ресурсів
грід-технології дозволять інтегрувати різнорідні ємності зберігання інформації
і бази даних для створення глобального інформаційного простору. Сьогодні
ясно, що грід-системи отримають велике поширення в наукових і
академічних колах, тобто в умовах відносної відкритості інформаційних
ресурсів. У комерційному сегменті, де дуже гостро стоїть питання забезпечення
безпеки обміну інформацією і захисту інтелектуальної власності, такі
системи, очевидно, будуть затребувані в меншому ступені.
Спеціалізоване ПЗ
Робота
кластерних систем забезпечується чотирма видами спеціалізованих додатків,
як то: операційні системи (як правило, Linux), засоби комунікації (для
обчислювальних кластерів це звичайно бібліотека MPI), засоби розробки
паралельних додатків, ПЗ для адміністрування кластерів.
Для
написання паралельних програм, що забезпечують взаємодію між вузлами
кластеру, використовуються бібліотеки програмування MPI. MPI стандартизує набір
інтерфейсів програмування, на яких можна писати програми, легко
переносяться на різні кластерні архітектури. Існує кілька
популярних реалізацій MPI, сумісних з різними типами інтерконнекту,
серед яких є як вільно розповсюджуються, так і комерційні (наприклад,
від компаній Scali, Intel, Verari Systems). Деякі кластерні програми
замість інтерфейсу MPI використовують стандартний TCP/IP, але, як правило, з меншою
ефективністю.
Засоби
розробки паралельних програм містять компілятори з різних мов
програмування (наприклад, компаній Absoft, Intel, PathScale, Portland Group),
відладчик паралельних програм (компаній Absoft, Allinea, Etnus), а також
засоби оптимізації паралельних програм (наприклад, компанії PathScale). ПО
для адміністрування кластерів дозволяє контролювати запуск і планування
виконання пакетних завдань, а також їх розподіл між обчислювальними
вузлами кластера. Ці програмні засоби управляють розподілом навантаження і
збільшують ефективність роботи високопродуктивних обчислювальних систем.
Найбільш поширені пакети компаній Altair, Platform, Sun і Scali.
Що
стосується управління та моніторингу кластерів, то це ПО сильно залежить від
використовуваних апаратних засобів і звичайно поставляється
обладнання. Можна також знайти чимало вільно розповсюджуваних версій
різної функціональності. Є й російський версія такого ПО --
розроблений в ІПС РАН програмний пакет FLAME SKIP.
Найбільш
популярні паралельні прикладні програмні пакети:
1)
інженерні:
CFD,
CAD, CAE, тобто гідро-і газодинаміка, міцнісні аналіз, проектування і
розрахунок конструкцій: програмні пакети FLUENT компанії Fluent, пакети STAR-CD і
STAR CCM +, створені CD adapco Group, MAGMASOFT від MAGMA, Altair HyperWorks від
Altair Engineering та інші, в тому числі россійская розробка FlowVision компанії
«ТЕСИС»;
розрахунки
зіткнення конструкцій і FF.A (кінцево-елементний аналіз): LS-DYNA від LSTC,
програмні пакети від ABAQUS, ANSYS, MSC.Software;
2)
пошук нових ліків, генетика та ін програмні пакети від TurboWorx;
3)
ПЗ для обробки геофізичних даних для нафтовидобувної галузі: програмні
кошти компаній Paradigm, Schlumberger.
Перспективи
розвитку кластерних технологій на російському ринку
Перспективи
вітчизняного ринку суперкомп'ютерів в цілому безпосередньо залежать від розвитку
російської економіки. Якщо економіка, зокрема вітчизняне виробництво,
буде розвиватися, все більше число підприємств знайдуть кошти на
придбання високопродуктивних рішень. Вітчизняні підприємства вже
усвідомлюють, що для того щоб конкурувати із західною п?? одукціей навіть на
внутрішньому ринку, їм необхідна потужна обчислювальна техніка. Підтвердженням
цьому може служити ВАТ «Силові машини»: сильне виробництво, продукція
високої якості, переможець багатьох тендерів і одночасно власник однієї з
30 найпотужніших суперкомп'ютерних систем Росії (див. www.supercomputers.ru).
Серед інших провідних вітчизняних підприємств, що активно займаються
технологічного переоснащення виробництва, - РКК «Енергія», ФГУП ММПП
«САЛЮТ», НДІКІЕТ, ВАТ «Ленінградський металевий завод», ВАТ «Електросила»,
ЦНДІ ім. А. Н. Крилова, ФГУП ЦКБМТ «Рубін», НВО ЦКТІ ім. І. І. Ползунова, АТ
«АвтоВАЗ», ОКБМ ім. Афрікантова, НВО «Мотор», НВО «Геофізика», ГосНІІАС,
ВНІІЕФ, ВНІІТФ, ЦАГІ, ЦІАМ, ВАТ «ОКБ Сухого», ВАТ «Російський алюміній» та багато
інші.
За
прогнозами учасників вітчизняного ринку суперкомп'ютерів, його зростання за
найближчі 3-5 років складе кілька сотень відсотків. І якщо ще рік тому
замовниками кластерних систем виступали в основному науково-дослідні
інститути і вузи, то в найближчому майбутньому ці рішення будуть знаходити все більший
попит у комерційному секторі, як це поступово відбувається вже зараз. При
цьому, на думку виробників, основну частку ринку будуть як і раніше займати
кластерні рішення з найкращим на сьогодні співвідношенням ціна/продуктивність.
Учасники
ринку виділяють три основних класу споживачів кластерних рішень в Росії.
По-перше, це промислові підприємства, що займаються розвідкою і видобутком
корисних копалин, машинобудуванням, виробництвом лікарських препаратів.
По-друге, це наукові інститути та університети, для яких оснащеність
високопродуктивної технікою не тільки умова конкурентоспроможності наукових
розробок. Як показує практика МДУ ім. М. В. Ломоносова, Південно-Уральського
державного університету, Санкт-Петербурзького державного
політехнічного університету та ін, наявність високопродуктивних
обчислювальних ресурсів дозволяє науковим організаціям виступати в ролі
регіональних центрів інноваційної активності, здатних надати
промисловим підприємствам сучасну комп'ютерну підтримку. У цих навчальних закладах вже
ведуться інженерні розрахунки та розробки в інтересах промислових підприємств
регіонів, і така практика довела свою ефективність. Треба відзначити, що
учасники російського ринку суперкомп'ютерів прагнуть забезпечити сприятливі
умови для його розвитку, не чекаючи підтримки держави. Так,
Науково-дослідний обчислювальний центр МДУ ім. М. В. Ломоносова в
співпраці з російськими комерційними компаніями - постачальниками
кластерного обладнання, ПЗ впроваджує спеціальну програму, що дозволяє вузам
і науковим інститутам купувати техніку і навчати фахівців на особливих
умовах.
Нарешті,
третя група споживачів - користувачі кластерних баз даних. Кластерні
рішення можуть бути з успіхом використані у великих компаніях практично поза
залежно від галузі для ведення корпоратив
