В Южно-Уральском государственном университете (ЮУрГУ) была проведена первая демонстрация работы суперкомпьютера «СКИФ-Аврора ЮУрГУ» с пиковой производительностью 24 TFLOPS (1 TFLOPS – один триллион операций с числами с плавающей точкой в секунду).
В церемонии открытия нового вычислительного комплекса на территории суперкомпьютерного центра ЮУрГУ приняли участие Губернатор Челябинской области Михаил Юревич и ректор Южно-Уральского государственного университета Александр Шестаков.
«СКИФ-Аврора ЮУрГУ» – это первый в мире суперкомпьютер на базе современных процессоров Intel Xeon (серии 5500) и высокоэффективного жидкостного охлаждения, содержащий в себе целый ряд уникальных отечественных разработок мирового уровня.
«Разработка суперкомпьютеров ряда 4 семейства «СКИФ» – «СКИФ-Аврора»,- ведется в 2009-2010 годах в рамках суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства, Непосредственно в этой работе участвуют группы из шести российских организаций (ИПС имени А.К. Айламазяна РАН головной). Используется равноправное сотрудничество с западными партнерами – с корпорацией Intel и другими. При соблюдении всех интересов российской стороны, это позволило обеспечить серьезные улучшения таких показателей проекта, как стоимость, сроки и качество разработки. – говорит член-корреспондент РАН, директор ИПС имени А.К. Айламазяна РАН, научный руководитель от России суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства Сергей Михайлович Абрамов. – Достигнутые на данный момент результаты совместных работ позволяют обеспечить перспективу развития отечественных суперкомпьютеров на платформе решения «СКИФ-Аврора» и мировое лидерство по ряду технологий как минимум до 2012 года. Сегодня платформа «СКИФ-Аврора» обеспечивает возможность создания самого компактного в мире суперкомпьютера с производительностью в 1 PFLOPS – всего из 25 стоек – с невысоким для такой системы уровнем энергопотребления в 2,84 МВт. В планах развития стоит улучшение этих показателей».
В марте 2009 года ИПС имени А.К. Айламазяна РАН заключил контракты на изготовление первого опытного образца суперкомпьютера «СКИФ-Аврора» с компанией «РСК СКИФ». Руководство программы «СКИФ-ГРИД» самой эффективной площадкой для размещения опытного образца признало Южно-Уральский государственный университет. Со своей стороны университет дал согласие на размещение опытного образца, выделил необходимые ресурсы для его расширения, обеспечения эксплуатации и использования в составе грид-сети «СКИФ-Полигон».
С момента принятия решения о расположении в ЮУрГУ опытного образца за данным суперкомпьютером было закреплено имя «СКИФ-Аврора ЮУрГУ».
Таким образом, финансовые ресурсы на создание «СКИФ-Аврора ЮУрГУ» были выделены на паритетных началах как из бюджета Союзного государства (средства программы «СКИФ-ГРИД»), так из собственных средств ЮУрГУ. А реализация вычислительного комплекса «СКИФ-Аврора ЮУрГУ» выполнена компанией «РСК СКИФ» в кооперации с другими исполнителями программы «СКИФ-ГРИД», при активной технической поддержке корпорации Intel и участии других западных партнеров.
«Сегодня мы можем продемонстрировать первый результат не только кропотливой работы специалистов нашей компании над созданием сложного интеграционного проекта «под ключ» и фактически суперкомпьютерного решения нового поколения, – каковым является вычислительный комплекс «СКИФ-Аврора ЮУрГУ», – но и эффективность совместных усилий в рамках широкой кооперации как российских участников, в большей степени отечественных исполнителей суперкомпьютерной программы «СКИФ-ГРИД», так и западных технологических партнеров, в первую очередь, корпорации Intel», – отметил Алексей Шмелев, исполнительный директор «РСК СКИФ».
Уже на этапе предварительного тестирования суперкомпьютер «СКИФ-Аврора ЮУрГУ»:
- Вошел в список Тор50 и сразу занял 8 место среди 50 мощнейших суперкомпьютеров СНГ согласно новой, 12-ой редакции рейтинга, опубликованной 30 марта 2010г. Максимальная производительность суперкомпьютера «СКИФ-Аврора ЮУрГУ», полученная на тесте Linpack, составляет 21,86 TFLOPS, а пиковая производительность – 24 TFLOPS.
- Показал высокую вычислительную эффективность на реальных промышленных задачах, решаемых на базе суперкомпьютерного центра ЮУрГУ, продемонстрировав более чем 3-х кратный прирост производительности на ряде задач по сравнению с предыдущим кластером «СКИФ Урал».
- В апреле этого года была реализована возможность использования в платформе «СКИФ-Аврора» 6-ядерных процессоров Intel Xeon серии 5600, что позволяет повысить производительность системы в том же конструктиве в 1,7 раза.
«Такие высокопроизводительные и энергоэффективные суперкомпьютерные решения, как «СКИФ-Аврора ЮУрГУ», демонстрируют реальные возможности российских инновационных начинаний в области разработки и реализации сложных вычислительных комплексов, что позволяет Челябинской области и России в целом использовать самую передовую технологию для развития российских научно-образовательных организаций и промышленных предприятий. Использование процессоров старших моделей линейки Intel Xeon, в том числе новейших 6-ядерных моделей серии 5600, позволяет участникам Альянса создавать суперкомпьютерные комплексы с лучшими в индустрии показателями в области быстродействия, вычислительной плотности, масштабируемости и экономичности», – подчеркнул Николай Местер, директор по развитию корпоративных проектов корпорации Intel в России и странах СНГ.
Суперкомпьютерную платформу «СКИФ-Аврора», которая стала основой для создания вычислительного комплекса «СКИФ-Аврора ЮУрГУ», отличает высочайшая производительность, сверхвысокая плотность монтажа вычислительных узлов, повышенная надежность и управляемость. Отсутствие шума и вибрации в вычислительной системе достигается за счет применения жидкостного охлаждения всех компонентов вычислителя и использования твердотельных накопителей Intel SSD. Благодаря такому «зеленому дизайну» решение «СКИФ-Аврора» демонстрирует наилучшие в индустрии показатели энергоэффективности, что обеспечивает среднегодовую экономию затрат на электроэнергию до 60% по сравнению с решениями других разработчиков.
Метод жидкостного охлаждения является на сегодня самым инновационным и эффективным в суперкомпьютерной индустрии. Он позволяет строить вычислительные системы с высочайшим уровнем плотности, с пониженным уровнем энергопотребления, практически бесшумные и исключающие вибрацию, то есть более надежные. Именно такой системой охлаждения оснащен суперкомпьютерный комплекс «СКИФ-Аврора ЮУрГУ» – это первый в России и в мире суперкомпьютер на базе стандартных процессоров Intel Xeon (серии 5500) и технологии высокоэффективного жидкостного охлаждения, содержащий в себе целый ряд уникальных отечественных разработок мирового уровня.
Специалисты Южно-Уральского государственного университета принимали непосредственное участие в создании одного из элементов системы жидкостного охлаждения суперкомпьютера «СКИФ-Аврора ЮУрГУ» – охлаждающей пластины для вычислительных узлов суперкомпьютера. Опытное производство данных пластин налажено на базе ЮУрГУ.
Суперкомпьютерная платформа «СКИФ-Аврора» имеет следующие уникальные характеристики:
- Передовое решение по технологии охлаждения, наилучшая в отрасли эффективность использования электроэнергии- «зеленый дизайн»:
- Значительная среднегодовая экономия электроэнергии.
- Возможности использования особенностей климатических зон- беззатратное охлаждение (free cooling).
- Максимальная плотность упаковки вычислительной мощности стандартной архитектуры:
- Самая высокая вычислительная плотность в суперкомпьютерной отрасли на базе стандартных процессоров архитектуры x86- более 10 CPU в 1U.
- На базе 6-ядерных процессоров Intel Xeon 5600 достигается рекордная производительность на одну стойку- свыше 40 TFLOPS.
- Как минимум двукратное уменьшение занимаемой площади, по сравнению с решениями других производителей.
- Возможность создания самого компактного в мире суперкомпьютера с производительностью 1 PFLOPS – на базе всего 25-ти стоек «СКИФ-Аврора» (энергопотребление – 2,84 МВт).
- Уникальная системная сеть отечественной разработки с топологией 3D-тор:
- Повышенная пропускная способность системной сети- до 60ГБ/с,- в 1,5 раза лучше показателей любых других доступных решений.
- Высочайшая масштабируемость системной сети- возможность на сегодняшних решениях создать суперкомпьютер с производительностью 3PFLOPS.
- Аппаратная поддержка в системной сети некоторых операций MPI.
- Возможность поддержки не только MPI, но и новых, перспективных подходов к реализации параллельных вычислений.
- Полная совместимость с существующим стандартным программным обеспечением в комбинации с возможностью использования FPGA-ускорителей, установленных в каждом вычислительном узле:
- Обеспечена полная совместимость с программным обеспечением суперкомпьютеров с архитектурой x86, поддержка всех суперкомпьютерных приложений, как созданных и разрабатываемых в рамках программ «СКИФ» и «СКИФ-ГРИД», так и широко используемых во всем мире суперкомпьютерных приложений от иных разработчиков.
- Все характеристики производительности суперкомпьютеров «СКИФ-Аврора» приведены из расчета использования только стандартных процессоров, без учета применения FPGA-ускорителей. Доработка программного кода под использование последних позволяет обеспечить втрое большую реальную производительность суперкомпьютеров «СКИФ-Аврора» для ряда приложений.
- Использование FPGA-ускорителей поддержано программным обеспечением «СКИФ-Аврора».
- Высочайшая надежность и отказоустойчивость суперЭВМ:
- Отсутствие механически подвижных частей в вычислителе. Отсутствие вибрации.
- Простые и надежные подсистемы электропитания и охлаждения. Резервирование всех важных узлов.
- Высокая теплоемкость хладоносителя- защита оборудования от «тепловых ударов».
- Уникальная отечественная сенсорная и управляющая сеть СКИФ-Servnetv.4. Три независимых системы мониторинга и управления суперкомпьютером.
- Поддержка режима «горячей замены» модулей и узлов.
- Эффективная система электропитания повышенной безопасности (для персонала и оборудования).
- Улучшенные эргономические и эстетические показатели:
- Система бесшумная. Персонал может без средств защиты органов слуха долго и комфортно находиться в машинном зале.
- Управление «на кончиках пальцев»- с использованием сенсорных LCD-панелей.
- Опора на широкую кооперацию российских разработчиков в сочетании с сотрудничеством с западными партнерами.
Вычислитель системы содержит 256 компактных и мощных вычислительных blade-модулей с жидкостным охлаждением.
Технические характеристики:
- Число вычислительных узлов/процессоров/ядер: 256/512/2048
- Тип процессора: Intel Xeon X5570 (4 ядра с тактовой частотой 2,93 ГГц)
- Суммарная оперативная память вычислительных узлов: 3 TБ (DDR3)
- Суммарная дисковая память вычислительных узлов: 60 TБ, твердотельные накопители
- Тип системной сети: Трехмерный тор, 60 Гбит/с, макс. задержка 1 мкс
- Тип вспомогательной сети: InfiniBand QDR, 40 Гбит/с, макс. задержка 2 мкс
- Сервисная сеть: три независимые сенсорные и управляющие сети, включая СКИФ-Servnet v.4
- Выделенная сеть глобальной синхронизации
- Программируемые FPGA‑ускорители в каждом вычислительном узле. Связь FPGA‑ускорителя со стандартными процессорами: 80 Гбит/с
- Пиковая производительность установки (без учета FPGA‑ускорителей): 24TFLOPS
- Производительность на тесте LINPACK: 21.84 TFLOPS.
Суперкомпьютер «СКИФ-Аврора ЮУрГУ» в полной мере унаследовал все уникальные характеристики (подробно описаны выше) платформы «СКИФ-Аврора»: высокие энергоэффективность, совместимость программного обеспечения, надежность, отказоустойчивость и другие.
Суперкомпьютерная платформа «СКИФ-Аврора» разработана для эффективной реализации суперкомпьютеров в широком спектре производительности. Запланировано дальнейшее развитие суперкомпьютерной платформы «СКИФ-Аврора».
Сегодня компания «РСК СКИФ», с опорой на СКИФ-кооперацию, готова обеспечить с высоким качеством выпуск, установку, ввод в эксплуатацию, гарантийное и послегарантийное обслуживание самых различных систем:
- от систем с производительностью в несколько единиц и десятков TFLOPS- суперкомпьютеры для лабораторий, конструкторских бюро, организаций науки и образования, предприятий;
- до мощных систем в сотни и тысячи TFLOPS (на сегодняшних решениях до 3000TFLOPS= 3PFLOPS)- суперкомпьютеры для отраслевых, региональных и национальных суперкомпьютерных центров.