НМС для серверних системних плат

Системна плата - основа практично будь-якого комп'ютера, в тому числі і сервера. Тому не дивно, що саме в системній платі реалізовані специфічні риси тієї чи іншої платформи. Оскільки архітектура серверів молодшого рівня лише незначно відрізняється від архітектури звичайних персональних комп'ютерів, схожий і дизайн системних плат. Високопродуктивні багатопроцесорні «мастодонти», будуються за модульним принципом, можуть і зовсім не мати системної плати в звичному розумінні - їх характеристики визначає тільки НМС системної логіки, а від плати, на якій НМС зібраний, характеристики системи практично не залежать. У разі серверів молодшого та середнього рівнів НМС має величезне значення, проте у зв'язку з універсальністю компонентів і наявністю додаткових мікросхем-контролерів спектр можливих рішень, побудованих на базі одного набору мікросхем, може бути значно ширше.

Набір мікросхем. Набори мікросхем для серверів молодшого рівня практично не відрізняються від НМС для настільних ПК, однак зі зростанням складності обчислювальної системи підхід до проектування мікросхем змінюється: на перший план виходять завдання масштабованості. Серверні НМС для багатопроцесорних систем, як правило, складаються з великої кількості спеціалізованих мікросхем і передбачають масштабування обчислювальних засобів і пристроїв введення-виведення без застосування загальних каналів передачі даних. Нижче наведено детальний огляд найбільш поширених серверних НМС.

Нерідко великі виробники серверів - такі, як Sun, NEC і деякі інші, розробляють власні НМС для процесорів AMD Opteron, Intel Xeon та Itanium 2. Це необхідно для створення архітектур з більш ніж 16 процесорами - для таких систем готових НМС мало і не завжди їх характеристики і можливості достатні для ряду завдань. Однак у зв'язку з тим, що фірмові набори мікросхем не надходять у відкритий продаж, компанії використовують їх тільки в своїх серверах, а технічні характеристики й подробиці архітектури, як правило, не розкривають.

Процесорні гнізда. Основна риса серверів - застосування багатопроцесорних конфігурацій. Тому, попри те, що більша частина серверних ЦП - по суті модифіковані процесори для ПК, вони мають помітні конструктивні відмінності, і перш за все це стосується процесорних гнізд.

Сучасні процесори Xeon мають системну шину, майже повністю аналогічну шині Pentium 4 (вони навіть можуть працювати з одними і тими ж НМС, в однопроцесорній, зрозуміло, конфігурації), але загальна шина багатопроцесорних IA-систем вимагає наявності додаткових контактних ліній. Сучасні ЦП Xeon встановлюються в 603 - (400-МГц шина) і 604-контактні (533-МГц шина) гнізда ZIF (Zero Insertion Force - забезпечують відсутність тиску на контакти при установці ЦП), у той час як для Pentium 4 достатньо 478-контактного гнізда.

У процесорів AMD Opteron кількість контактів більше - 940. Це пояснюється тим, що в ядро процесора вбудований контролер пам'яті і кілька шин HyperTransport.

Процесори Itanium першого і другого покоління встановлюються в інший тип гнізда - VLIF (Very Low Insertion Force - мінімальний тиск на контакти при установці) і мають 418 і 611 контактів відповідно.

Шини для плат розширення. Хоча архітектура сервера не передбачає таку високу гнучкість і модернізується, як у ПК, тим не менше вона передбачає можливість розширення. Однак найбільш поширена в ПК шина для підключення плат розширення (32-біт 66-МГц PCI) в серверах майже не застосовується. Як правило, серверні системні плати оснащуються контролерами шини PCI-X (ширина 64 біт, частота 66, 100, 133 або 266 МГц), основна відмінність PCI-X від традиційної PCI - з'єднання типу «точка-точка». Контролери PCI-X присутні практично у всіх серверних НМС.

НМС для систем з одним-чотирма ЦП

Opteron

NVIDIA nForce Professional 2200 і 2050. Позиції компанії NVIDIA на ринку НМС для процесорів сімейства Athlon 64 дуже сильні: користуючись перевагами вбудованого в ядро ЦП контролера пам'яті Athlon 64, інженери компанії розробили мікросхему nForce, що виконує функції і «північного» і «Південного мостів». Рішення виявилося настільки вдалим, що NVIDIA, випустив третій покоління цієї мікросхеми, претендує на лідерство на ринку систем Athlon 64.

Враховуючи близькість архітектур Athlon 64 і Opteron, не дивно, що керівництво NVIDIA прийняло рішення випустити модель мікросхеми для ринку серверів та робочих станцій.

В початку цього року NVIDIA представила сімейство мікросхем nForce Professional з двох моделей - 2200 і 2050. Ці мікросхеми призначені для побудови двопроцесорних серверів на базі процесорів Opteron. Кожна мікросхема являє собою повноцінне ядро обчислювальної системи (вони оснащені системним інтерфейсом HyperTransport для зв'язку з ЦП, двадцятьма лініями PCI Express, потужними мережевими і дисковими контролерами), передбачена можливість створення RAID-масивів і підключення до 1-Гбіт/с Ethernet-мережах. Мікросхема 2050 дещо спрощена в порівнянні із старшою моделлю: у ній відсутні контролери звичайного паралельного інтерфейсу АТА (є тільки Serial ATA), USB, шини PCI, а також звуковий контролер.

Запропоновані NVIDIA набори мікросхем орієнтовані в першу чергу на високопродуктивні робочі станції, але вони знайшли застосування і в традиційних двопроцесорних серверах деякі марки.

Примітно, що нерідко для рівномірного розподілу завантаження в одній системі застосовують обидві мікросхеми, які підключаються до різних ЦП. Крім того, нерідко nForce Professional 220 доповнюють мікросхемою AMD-8132, що забезпечує роботу PCI-X-пристроїв (про неї буде розказано нижче); за цією схемою побудований, наприклад, сервер HP Proliant DL145 G2.

ServerWorks HT-2000, НТ-1000. Набори мікросхем підрозділи Broadcom компанії ServerWorks добре відомі на ринку Xeon-серверів, на якому вони дуже успішно конкурували з продукцією самої Intel і нерідко перевершували її по можливостями і характеристиками. Нещодавно в модельному ряду компанії з'явилися дві нові моделі мікросхем, призначені для побудови двох-й чотирипроцесорних серверів на базі Opteron - НТ-2000 і НТ-1000.

Мікросхема НТ-1000 оснащена шиною HyperTransport 8x8 (3,2 Гбайт/с) для зв'язку з ЦП, інтерфейсами PCI (32-біт, 33-МГц) і PCI-X (64-біт, 133-МГц), дисковими контролерами АТА і Serial ATA (300-Мбайт/с), USR 2.0.

Мікросхема НТ-2000 обладнана двома інтерфейсами HyperTransport - для зв'язку з ЦП використовується більш високопродуктивний 16x16 (8 Гбайт/с), а для підключення контролерів вводу-виводу - 8x8 (3,2 Гбайт/с). Додаткові контролери вводу-виводу можуть знадобитися, оскільки ПТ-2000 не оснащений ні дисковими інтерфейсами, ні звичайної 32-біт PCI, ні USB. Але зате ця мікросхема забезпечує роботу 17 каналів PCI Express, і, крім того, вона оснащена вбудованим двоканальним 1-Гбіт/с Ethernet-контроллером.

Мікросхеми НТ-2000 і НТ-1000 дозволяють створювати системи самого різного рівня як по продуктивності, так і по функціональних можливостях. Примітно, що ці мікросхеми можуть застосовуватися окремо і спільно як єдиний НМС. НТ-1000 орієнтований на використання в двопроцесорних блейд-серверах. Крім того, він може бути застосований як "південного моста» (роль «північного мосту» буде грати відповідно НТ-2000) у складі більш потужних двопроцесорних систем. А для створення високопродуктивної чотирипроцесорний конфігурації необхідні дві мікросхеми НТ-2000 і один НТ-1000.

Xeon

Intel E75OO, Е75О1, Е75О5. Сімейство НМС Intel Е750х призначено для побудови двопроцесорних серверів на базі процесорів Intel Xeon. Набори мікросхем цього сімейства складаються з трьох компонентів: основний мікросхеми - контролера пам'яті (МСН - Memory Controller Hub), а також контролерів вводу-виводу (Integrated Controller Hub) і 64-біт шини PCI/PCI-X.

двопроцесорні Xcon-системи будуються за принципом «загальної шини» (див. розділ «Процесори»), тому пропускна здатність процесорної шини ділиться між двома ЦП. Головна риса набору мікросхем Е750х - збалансованість пропускної спроможності підсистеми пам'яті і процесорної шини. Перша модифікація цього НМС (Е7500) дозволяла використовувати ЦП Xeon з 400-МГц шиною і пам'ять DDR200, завдяки тому що МСН оснащена двоканальним контролером пам'яті, пропускні здатності шини пам'яті і процесорної шини були однакові і рівні 3,2 Гбайт/с.

Наступна модифікація - Е7501 - призначена для використання з новими процесорами Xeon, що мають 533-МГц системну шину. МСН, як і раніше, використовує для звернень до пам'яті два канали і дозволяє застосовувати пам'ять DDR266. Відповідно баланс пропускної здатності збережений, процесорна шина і два каналу пам'яті забезпечують 4,3 Гбайт/с.

Другий компонент системи - контролер 64-біт шини PCI/PCI-X (мікросхема Р64Н2), забезпечує роботу двох незалежних каналів PCI і може бути використаний як для підключення додаткових мікросхем/контролерів, що вбудовуються в системну плату, так і для організації відкритих шин, для установки плат розширення. До МСН може бути підключені до трьох контролерів Р64Н2 по фірмовому 16-біт інтерфейсу Hub Interface 2.0, сумарна пропускна здатність трьох таких інтерфейсів 3,2 Гбайт/с.

Мікросхема Р64Н2 застосовується у всіх трьох НМС сімейства Е750х (про останню на даний момент модифікації - Е7505 - буде розказано трохи нижче) і не зазнала жодних змін. Третій компонент НМС Е750х - контролер вводу-виводу - був змінений. У перших двох модифікаціях (Е7500 і Е7501) застосовувалася мікросхема 82801СА (ICH3-S, Integrated Controller Hub), що містить контролери дискових інтерфейсів (два канали UltraATA/l00), USB 1.1 (до шести портів), 10/100-Мбіт/с мережевого адаптера Ethernet, шин PCI 2.2 і SMBus. У новій же модифікації (Е7505) застосована мікросхема 82801DB (ICH4), що відрізняється контролером інтерфейсу USB 2.0 і наявністю шестиканальної звукової підсистеми. Контролери вводу-виводу підключаються до МСН через інтерфейс Hub Interface 1.5.

Головне відміну Е7505, зрозуміло, не в більш потужної звукової підсистеми: цей НМС оснащений контролером AGP 8X і надає деякі додаткові можливості, такі, як технологія х4 SDDC (х4 Single Device Data Correction, забезпечує коректність операцій з пам'яттю при збої будь-якого системного пристрою) і Alert On LAN 2.0 (реалізована на апаратному рівні, без участі ОС, функція відправки по локальній мережі попередження в разі збою або несанкціонованого доступу до системи).

Що стосується параметрів процесорної шини і контролера пам'яті, то вони в Е7505 по порівняно з Е7501 залишилися без змін.

Intel E732O і Е7520. З появою процесорів Xeon з 667 - і навіть 800-МГц шиною характеристики НМС сімейства Е75хх перестали задовольняти сучасним вимогам. Крім того, контролери пам'яті, вбудовані в «північні мости» цих наборів мікросхем, не дозволяли використовувати пам'ять DDR2, яку компанія Intel прагне зробити галузевим стандартом. Ці недоліки були усунені в новому поколінні НМС - Lindenhurst. Компанія Intel представила дві модифікації цього НМС, що отримали після офіційного анонса назви Е7320 і Е7520.

Нові набори призначені для двопроцесорних серверів на базі процесорів Xeon DP з 800-МГц системною шиною і технологією ЕМ64Т.

Як і колись, у Xeon-системах компанія Intel зберегла топологію загальної шини: процесори розділяють пропускну здатність системної шини, що становить 6,4 Гбайт/с.

«Північні мости »обох НМС оснащені двоканальними контролерами пам'яті і дозволяють використовувати модулі одного з трьох типів: DDR266, DDR333 або DDR2-400. Максимальна пропускна здатність шини пам'яті складає 6,4 Гбайт/с (при використанні DDR2-400) і забезпечує баланс з системною шиною. Необхідно відзначити, що максимальний об'єм оперативної пам'яті - 16 Гбайт при використанні 333 - и 400-МГц модулів, при застосуванні DDR266 сумарний обсяг може бути збільшений удвічі - до 32 Гбайт.

Для підключення контролерів вводу-виводу (використання терміну «південний міст» в даному випадку буде не зовсім правомірно, тому що в Е7520/Е7320 інженери Intel відійшли від «двополюсної» архітектури НМС, і контролерів вводу-виводу може бути декілька) використовується звична вже фірмова шина Hub Interface з пропускною здатністю до 266 Мбайт/с і інтерфейс PCI Express x8. B MCH E7320 вбудований один контролер PCI Express х8, а в Е7520 - три таких контролера. Інтерфейс PCI Express може бути використаний як для підключення інших мікросхем, так і плат розширення з цим інтерфейсом.

В склад наборів мікросхем Е7520/Е7320 можуть входити наступні контролери вводу-виводу:

підключається по Hub Interface мікросхема 82801ER (ICH-5),

підключається по Hub Interface мікросхема 6300ESB,

підключається по PCI Express x4 або х8 мікросхема 6700РХН.

Контролер ICH-5, добре знайомий з НМС для настільних ПК, забезпечує роботу шини РГЛ, двох каналів Serial ATA, передбачає створення RAID-конфігурацій. Характеристики мікросхеми 6300ESB практично не відрізняються від параметрів ICH-5, але цей контролер вводу-виводу більше підходить для серверних систем, тому що в ньому передбачено додатково два 64-біт 66-МГц шини PCI-X, що дозволяють підключити до чотирьох пристроїв з цим інтерфейсом.

Мікросхема 6700РХН виконує функції тунелю PCI Express-PCI-X і оснащена двома незалежними шинами PCI, кожна з яких може працювати в одному з наступних режимів: 32-біт PCI або 64-біт PCI-X з частотою від 33 до 133 МГц. Передбачена «Гаряча» заміна PCI-пристроїв.

В наборах мікросхем Е7520/Е7320 реалізовані деякі спеціалізовані технології, об'єднані під загальною назвою Advanced Platform RAS. Серед них вже знайомі х4 SDDC, а також CRC-корекція даних, переданих по PCI Express, віддзеркалення пам'яті та ін

Intel E8500. Набори мікросхем серії Е7ххх призначені для побудови двопроцесорних систем. Крім них, в арсеналі Intel є й моделі для створення серверів з чотирма і більше ЦП - вони входять у сімейство Е8ххх. Однак до останнього часу в цьому сімействі було тільки два НМС, призначених для процесорів Itanium 2 (про них розповімо нижче), і лише в 2005 р. компанія Intel представила перший набір мікросхем для чотирьох процесорів Xeon. Ним став НМС Е8500.

В цей набір входять мікросхеми E85OONB (North Bridge, «північний міст»), Е8500ХМВ (external Memory Bridge, зовнішній контролер пам'яті), а також контролери вводу-виводу ICH-5 і 6700РХН, про які вже було докладно розказано. «Північний міст »набору оснащений двома незалежними 667-МГц системними шинами, сумарна пропускна спроможність яких складає 8,6 Гбайт/с. Вбудованих контролерів пам'яті не передбачено; вони виконані у вигляді окремих мікросхем (ХМВ) і підключаються до «північного мосту» по чотирьох незалежним високошвидкісним інтерфейсів IMI (Independent Memory Interface, незалежна шина пам'яті) топології «точка-точка».

Інтерфейс IMI несиметричний, пропускна здатність від NB. До ХМВ 2,67 Гайт/с, а в зворотному напрямку 5,33 Гбайт/с.

Контролери ХМВ - двоканальні, сумісні з пам'яттю DDR266, DDR333 і DDR2-400. До кожного ХМВ може бути підключено до восьми модулів пам'яті (по чотири на кожен канал) обсягом до 1 Гбайт. Таким чином, сумарний обсяг оперативної пам'яті системи, побудованої на базі НМС Е8500, може досягати 128 Гбайт (4x32 Гбайт).

«Північний міст »оснащений також інтерфейсом Hub Interface, трьома PCI Express x8 і одним PCI Express х4: вони використовуються для підключення контролерів вводу-виводу і плат розширення.

Набір мікросхем Е8500 забезпечує когерентність кешей всіх чотирьох процесорів (ЦП працюють з єдиним адресним простором в SMP-режимі), 40-біт адресацію. Передбачені і засоби RAS, такі, як код корекції помилок (ЕСС), віддзеркалення і «гаряча» заміна модулів пам'яті, автоматична перевірка і відновлення даних в пам'яті - за запитом або чергова. Крім того, в Е8500 реалізована технологія Memory RAID, функціональні можливості якої аналогічні дисковим RAID-масивів.

ServerWorks GC-HE, GC-SL, GC-LE. Сімейство наборів мікросхем Grand Champion, призначених для Xeon-систем, користується у виробників системних плат не меншою популярністю, ніж фірмові рішення Intel. До нього входять чотири модифікації, але тільки три з них призначені для побудови серверів, тому варіант Grand Champion WS, що позиціонується, як нескладно здогадатися з назви, в системні плати для робочих станцій, ми залишимо за кадром. Набори мікросхем сімейства Grand Champion розроблені вже більше двох років тому, але внаслідок консервативності серверного ринку залишаються актуальними до цих пір. В даний час ServerWorks входить до складу компанії Broadcom, яка, судячи з усього, не планує в найближчому майбутньому оновлювати модельний ряд серверних НМС.

Всі набори мікросхем Grand Champion будуються за модульним принципом і складаються здебільшого з однакових компонентів. Цим вони в чималому ступені нагадують НМС Intel E8870, про який буде рассказано нижче. Також, як і Е8870, кожен НМС Grand Champion має ключову мікросхему, комутуючих потоки даних між ЦП, пам'яттю і додатковими пристроями - CMIC (Memory Interface Controller). До неї підключаються контролери пам'яті REMC, мости вводу-виводу CIOB (Input/Output Bridge) і аналог «південного мосту» - контролер додаткових інтерфейсів CSB (South Bridge).

Флагман модельного ряди - набір мікросхем Grand Champion HE (абревіатура НЕ позначає, судячи з усього, High-End) призначений для створення дво-або чотирипроцесорних систем на базі Xeon. Його ядро, мікросхема CMIC-HE, має 400-МГц системну шину і дозволяє підключити до чотирьох процесорів Intel Xeon MP. Вона з'єднується з чотирма контролерами пам'яті DDR200 (завдяки технології чергування каналів вони дозволяють отримати реальну пропускну здатність, близьку до теоретичного максимуму - 6,4 Гбайт/с) і дає можливість використовувати до 64 Гбайт пам'яті. Крім того, CMIC-HE оснащена трьома фірмовими 1,6-Гбайт/с інтерфейсами IMB (Inter-Module Bus), через які до мікросхемі підключаються контролери СIOВ * Х (кожен з них забезпечує два 64-біт 100-М Гц каналу PCI-X), і одним інтерфейсом Thin-IMB для зв'язку з мікросхемою CSB6. Остання відповідає за роботу 64-біт шини PCI 2.2, трьох каналів АТА, контролера USB (до чотирьох портів) і деяких сервісних інтерфейсів (клавіатура, миша, VGA) і функцій (моніторинг та управління системою електроживлення).

НМС Grand Champion LE (Low-End) використовується в системних платах для двопроцесорних серверів молодшого рівня. Мікросхема CMIC-LE має 533-МГц системну шину, її пропускна здатність 4,3 Гбайт/с. Число каналів пам'яті зменшено вдвічі, контролери дозволяють використовувати пам'ять DDR266, так що продуктивність підсистеми пам'яті відповідає до системної шини - 4,1 Гбайт/с. Максимальний об'єм оперативної пам'яті у цього НМС 16 Гбайт.

Розширюваність системи дещо нижче, ніж у НМС Grand Champion HE - мікросхема CMIC-LE оснащена тільки двома інтерфейсами 1MB і одним Thin-IMB. Проте пропускна здатність інтерфейсів 1MB вдвічі вище - 3,2-Гбайт/с кожен, а, крім того, в НМС складу входять більш сучасна версія мосту введення-виведення СЮВ-Х2, забезпечує роботу двох 64-біт каналів PCI-X з частотою до 133 МГц, і універсальний контролер СЮВ-Е, що відповідає за роботу ще однієї 133-МГц шини PCI-X і двох 1-Гбіт/с Ethernet-портів. «Південний міст» системи не відрізняється від використовуваного в Grand Champion HE, його функції також виконує мікросхема CSB6.

Третій НМС сімейства - Grand Champion SL, це спрощена версія модифікації LE. Мікросхема CMIC-SL має тільки один 2,1-Гбайт/с канал пам'яті, максимальний обсяг оперативної пам'яті обмежений 8 Гбайт. До одного скорочено і кількість інтерфейсів 1MB, так що до складу НМС може входити лише одна з двох доступних мостів вводу-виводу.

Найбільш помітне гідність НМС сімейства Grand Champion, крім масштабованості і збалансованості системи, - це кошти RAS (Reliability, Availability, Serviceability, надійність, доступність, простота обслуговування), що виконують функції захисту від помилок пам'яті, контроль ЕСС, автоматичне відключення несправних модулів пам'яті і навіть (в модифікації Grand Champion HE) «гарячу» заміну модулів пам'яті.

Itanium

Intel E8870. Для самих високопродуктивних процесорів Intel, Itanium 2, призначений набір мікросхем Е8870, побудований за модульною архітектурі, завдяки чому він володіє такими перевагами, як масштабованість (використовуючи компоненти Е8870, можна будувати системи самого різного рівня) та високий ступінь уніфікації (в НМС Е8870 використані компоненти від більш простих наборів мікросхем, але вони не стають «вузьким місцем» системи). Основна ідея, реалізована в Е8870, - організація високошвидкісних каналів, з'єднують основні компоненти системи.

Ядро системи - мікросхема Е8870 (SNC, Scalable Node Controller), що відповідає за зв'язок процесорів з іншими компонентами системи. Мікросхема SNC оснащена 6,4-Гбайт/с процесорної шиною і дозволяє підключити до чотирьох процесорів Itanium 2 на загальній шині. Крім процесорної шини мікросхема SNC оснащена чотирма інтерфейсами для підключення контролерів пам'яті. Пропускна здатність кожного інтерфейсу - 1,6 Гбайт/с, відповідно сумарне значення для всіх чотирьох шин 6,4 Гбайт/с, тобто одно пропускної здатності процесорної шини. Опції контролерів пам'яті виконують мікросхеми E8870DH (DMH, DDR Memory Hub), кожна з них контролює два канали пам'яті DDR. Максимальна кількість модулів пам'яті, що підключаються до DMH, - вісім, відповідно всього до мікросхеми SNC через чотири контролера DMH може бути підключено 32 модуля, що при використанні 2-Гбайт модулів складе 64 Гбайт. Застосування контролерів DMH, крім високого рівня масштабованості ОЗУ, дозволяє значно скоротити затримки при роботі з великими обсягами пам'яті, завдяки наявності чотирьох незалежних каналів.

В набір інтерфейсів мікросхеми SNC входять також два порти SP (Scalability Port) -- двонаправлені інтерфейси, пропускна спроможність яких в кожному напрямку 3,2 Гбайт/с, сумарна для двох двонаправлених портів SP - 12,8 Гбайт/с. Використовуються ці порти для підключення мікросхем Е8870IО (SIOH, Server Input/Output Hub), до кожного порту SP може бути підключена одна така мікросхема. Завдання вузла вводу-виводу SIOH - забезпечити підключення залишилися двох компонентів набору мікросхем - контролерів Р64Н2 і ICH4 (детально описаним вище). Мікросхема SIOH оснащена чотирма інтерфейсами Hub Interface 2.0 і одним - Hub Interface 1.5, і до неї може бути підключено до чотирьох контролерів Р64Н2 і один ICH4. Теоретично кожен контролер SNC може бути з'єднаний з двома вузлами введення-виведення, що дозволяє оснастити систему на НМС Е8870 шістнадцятьма каналами PCI-X.

Таким чином, що складається з п'яти компонентів НМС Е8870 можна логічно розділити на дві частини: систему взаємодії ЦП і ОЗУ і систему введення-виведення. Як було показано вище, обидві вони відрізняються високим ступенем масштабованості, а в підсистему введення-виведення, завдяки універсальним інтерфейсів Hub Interface, входять контролери, які застосовуються і в НМС для менш потужних систем.

HP zxl. Компанія Hewlett-Packard - основний партнер Intel в галузі розробки 64-біт процесорів Itanium і один з найбільших постачальників серверів високого рівня, побудованих на базі цього процесора. Інженери HP розробили два фірмових набору мікросхем, призначених для цього ЦП.

Найбільш поширений НМС zxl, призначений для побудови двох-або чотирипроцесорних систем (про набір sxlOOO, розробленому для створення систем з числом ЦП до 128, буде розказано нижче).

Базова комплектація zxl складається всього з двох мікросхем - zxl MIO (Memory & Input/Output Controller, контроллер пам'яті) і zxl IOA (Input/Output Adapter, контролер вводу-виводу). Контролер пам'яті zxl MIO оснащений 6,4-Гбайт/с процесорної шиною і дозволяє використовувати дві або чотири процесори Itanium 2 на загальній шині. У мікросхемі zxl IOA передбачені контролери шин PCI і PCI-X, інтерфейси AGP і АТА. До центральної мікросхемі zxl MIO може бути підключено до восьми контролерів вводу-виводу, сумарна пропускна спроможність каналів, з'єднують їх з zxl MIO, 4 Гбайт/с.

Пам'ять підключається до zxl MIO або безпосередньо (є контролер пам'яті DDR266), або через мікросхеми zxl SME (Scalable Memory Expander, масштабований інтерфейс пам'яті). До двох 6,4-Гбайт/с інтерфейсів може бути підключено до дванадцяти мікросхем zxl SME, максимальний об'єм оперативної пам'яті 96 Гбайт.

Більше чотирьох процесорів, комутовані системи

Opteron

AMD 8000. Архітектура набору мікросхем AMD 8000, що складає «всього» з трьох компонентів, але дозволяє створювати обчислювальні системи з кількістю процесорів від одного до восьми, досить незвичайна. Пояснюється це тим, що, в відміну від більшості поширених серверних ЦП, процесори Opteron мають вбудовані засоби для створення багатопроцесорних систем. Кожен ЦП Opteron може мати до трьох вбудованих контролерів шипи HyperTransport, за допомогою яких він прямо підключається до інших процесорів. Контролер пам'яті і комутатор також вбудовані безпосередньо в процесорний ядро, і з деякою часткою умовності можна сказати, що для створення симетричного багатопроцесорної системи з процесорами Opteron зовсім не потрібні додаткові мікросхеми (докладніше див «Процесори»). Проте це, зрозуміло, не так: останні необхідні для організації підсистеми вводу-виводу.

Як зазначалося вище, набір мікросхем AMD 8000 складається з трьох компонентів. У Як основна сполучною шини застосовується інтерфейс HyperTransport, а дві мікросхеми з трьох - AMD 8151 і AMD 8131 - представляють собою HyperTransport-тунелі. Перша мікросхема, AMD 8151, виконує функції AGP-контролера, крім двох інтерфейсів HyperTransport (16x16, 6,4 Гбайт/с) вона оснащена інтерфейсом AGP 8Х для підключення високопродуктивних графічних адаптерів. Однак необхідно відзначити, що в системних платах для серверів вона, як правило, не використовується, а застосовується при побудові потужних робочих станцій. Друга мікросхема, AMD 8131, також HyperTransport-тунель, але несиметричний: один з двох інтерфейсів HyperTransport, якими оснащена AMD 8131, має меншу ширину, тактову частоту і відповідно пропускну здатність - 800 Мбайт/с. Крім інтерфейсів HyperTransport, AMD 8131 оснащена двоканальним контролером 64-біт 133-МГц шини PCI-X. Нещодавно компанія AMD представила оновлену версію цієї мікросхеми - AMD 8132. У неї більше високопродуктивний інтерфейс 1-ГГц HyperTransport (16x16, 8 Гбайт/с) і удосконалений PCI-X-контролер, який може працювати на частоті до 266 МГц.

Третя мікросхема, AMD 8111, відіграє роль «південного мосту» і відповідає за роботу шини PCI, інтерфейсів USB, ATA, портів 10/100-Мбіт/с Ethernet, має тільки один контролер HyperTransport з пропускною здатністю 800 Мбайт/с і не може бути підключена до ЦП безпосередньо, а тільки через мікросхему AMD 8131.

Itanium

Intel E887OSP. Модульна архітектура набору мікросхем Е8870, про який докладно розказано вище, дозволяє використовувати його компоненти для створення більш складних - восьмипроцесорних серверних систем. Однак для отримання симетричною багатопроцесорної системи (SMP) не можна просто з'єднати з допомогою портів SP дві мікросхеми SNC - в цьому випадку мікросхем SNC доведеться вирішувати завдання управління потоками даних, спрямованих до локальних та віддалених обчислювальних ресурсів. Очевидно, що ці механізми не були реалізовані в НМС Е8870, призначеному для більш простих систем.

Рішенням цієї проблеми став додатковий комутатор E8870SP (SPS, Scalability Port Switch). Ця мікросхема оснащена чотирма 6,4-Гбайт/с двонаправленими інтерфейсами SP і застосовується для об'єднання двох НМС Е8870 в одну восьмипроцесорний систему. Точніше, для організації симетричного восьмипроцесорний НМС потрібно два таких комутатора.

Мікросхема SPS виконує дві основні функції - перенаправляє потоки даних до «Будівельним блокам" набору мікросхем і від них, а також забезпечує когерентність пам'яті. Мікросхема оснащена спеціальними високошвидкісними внутрішніми шинами (bypass busses), які дозволяють критичним для підтримки когерентності ОЗУ даними поза чергою досягати контролерів пам'яті SNC. На малюнку зображена схема каналів даних у наборі мікросхем E887OSP. Видно, що для кожного SNC контролери Р64Н2 логічно рівновіддалені, внаслідок чого звернення до будь-якого з них для SNC відбувається однаковим чином.

Параметри НМС E8870SP - це по суті подвоєні характеристики набору Е8870 - до «кожному SNC по 400-МГц системної шини з пропускною здатністю 6,4 Гб/с підключається по чотири процесори Intel Itanium 2. Загальна кількість контролерів пам'яті DMH в системі вісім, що дозволяє довести максимальний обсяг оперативної пам'яті до 248 Гбайт! Удвічі (до восьми) у порівнянні з Е8870 збільшено і Максимальна кількість контролерів Р64Н2, кожний з яких забезпечує роботу двох каналів PCI-X.

Як і у випадку з Е8870, набір мікросхем E887OSP можна логічно розділити на два частини: обчислювальну підсистему та підсистему введення-виведення. Сумарна пропускна спроможність каналів даних, що з'єднують дві ці підсистеми, досягає 25,6 Гбайт/с.

IBM Summit (XA-32, XA-64). IBM Summit - це фірмову назву не одного, а двох наборів мікросхем: ХА-32 і ХА-64, призначених для 32-біт процесорів Intel Xeon та 64-біт Itanium. Однак у цих НМС практично однакова архітектура.

В найпростіший варіант Summit (НМС ХА-32 для чотирипроцесорних систем) входить дві мікросхеми: контролер пам'яті, що має два канали для підключення пам'яті і два - для зв'язку з мостами вводу-виводу. До останніх можуть бути підключені адаптери PCI-X (64-біт, 133 МГц) або універсальний контролер вводу-виводу, що містить комунікаційні засоби (1-Гбіт/с Ethernet), дискові інтерфейси (Ultral60 SCSI) та ін

Розширений варіант НМС (ХА-32 і ХА-64 для серверів з більш ніж 4 процесорами) дозволяє створювати більш складні системи - в нього входить контролер шини розширення і кеша L4. Цей контролер оснащений трьома портами для зв'язку з іншими модулями (комплект контролерів, які обслуговують ОЗУ і до чотирьох ЦП, називається в термінології IBM «SMP expansion module»), сумарна пропускна здатність цих портів 3,2 Гбайт/с. Системи на основі НМС Summit масштабуються збільшенням кількості модулів розширення.

Найбільш цікаве технічне рішення, реалізоване в НМС IBM Summit, - наявність вбудованого в набір контролера кеш-пам'яті L4. Контролер кешу L4 самостійно (без участі ЦП) поміщає дані з ОЗУ в швидший буфер, який і перенаправляються запити від процесора до пам'яті. У випадку вірного предсказания це помітно прискорює обмін даними ЦП з ОЗУ, що важливо для Intel-систем, що використовують загальну процесорну шину.

HP sx1000. Цей НМС дозволяє створювати системи самого різного рівня - від 4 до 128 процесорів. Він пропонує такі функції, як RAS і керування когерентністю кешей.

В основі НМС sxl000 лежить використання так званих процесорних осередків (socket cell), кожна з яких містить набір шин для підключення чотирьох ЦП Itanium 2 або РА-8700/8800, чотирьох контролерів пам'яті (максимальна кількість модулів пам'яті, що використовуються однією осередком, 32, граничний обсяг пам'яті 64 Гбайт) і шестнадцатіканального контролера шини PCI-X. Примітно, що, в відміну від НМС попереднього покоління, Yosernite, процесорна осередок будується не по топології «точка-точка», а за схемою з двома загальними шинами - по два ЦП на кожній. Процесорні осередку з'єднуються безпосередньо (восьмипроцесорний система) або через хресний комутатор (crossbar switch). Використання комутатора дозволяє масштабувати НМС (до 16 процесорних осередків), зберігаючи симетричність системи.

Список літератури

Журнал Upgrade4_08_05