Запущен суперкомпьютер «СКИФ-Аврора ЮУрГУ»

В Южно-Уральском государственном университете (ЮУрГУ) была проведена первая демонстрация работы суперкомпьютера «СКИФ-Аврора ЮУрГУ» с пиковой производительностью 24 TFLOPS (1 TFLOPS — один триллион операций с числами с плавающей точкой в секунду).

В церемонии открытия нового вычислительного комплекса на территории суперкомпьютерного центра ЮУрГУ приняли участие Губернатор Челябинской области Михаил Юревич и ректор Южно-Уральского государственного университета Александр Шестаков.

Запущен суперкомпьютер «СКИФ-Аврора ЮУрГУ»
Запущен суперкомпьютер «СКИФ-Аврора ЮУрГУ»

«СКИФ-Аврора ЮУрГУ» — это первый в мире суперкомпьютер на базе современных процессоров Intel Xeon (серии 5500) и высокоэффективного жидкостного охлаждения, содержащий в себе целый ряд уникальных отечественных разработок мирового уровня.

«Разработка суперкомпьютеров ряда 4 семейства «СКИФ» — «СКИФ-Аврора»,- ведется в 2009-2010 годах в рамках суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства, Непосредственно в этой работе участвуют группы из шести российских организаций (ИПС имени А.К. Айламазяна РАН головной).  Используется равноправное сотрудничество с западными партнерами — с корпорацией Intel и другими.  При соблюдении всех интересов российской стороны, это позволило обеспечить серьезные улучшения таких показателей проекта, как стоимость, сроки и качество разработки. — говорит член-корреспондент РАН, директор ИПС имени А.К. Айламазяна РАН, научный руководитель от России суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства Сергей Михайлович Абрамов. — Достигнутые на данный момент результаты совместных работ позволяют обеспечить перспективу развития отечественных суперкомпьютеров на платформе решения «СКИФ-Аврора» и мировое лидерство по ряду технологий как минимум до 2012 года. Сегодня платформа «СКИФ-Аврора» обеспечивает возможность создания самого компактного в мире суперкомпьютера с производительностью в 1 PFLOPS — всего из 25 стоек — с невысоким для такой системы уровнем энергопотребления в 2,84 МВт.  В планах развития стоит улучшение этих показателей».

В марте 2009 года ИПС имени А.К. Айламазяна РАН заключил контракты на изготовление первого опытного образца суперкомпьютера «СКИФ-Аврора» с компанией «РСК СКИФ».  Руководство программы «СКИФ-ГРИД» самой эффективной площадкой для размещения опытного образца признало Южно-Уральский государственный университет.  Со своей стороны университет дал согласие на размещение опытного образца, выделил необходимые ресурсы для его расширения, обеспечения эксплуатации и использования в составе грид-сети «СКИФ-Полигон».

С момента принятия решения о расположении в ЮУрГУ опытного образца за данным суперкомпьютером было закреплено имя «СКИФ-Аврора ЮУрГУ».

Таким образом, финансовые ресурсы на создание «СКИФ-Аврора ЮУрГУ» были выделены на паритетных началах как из бюджета Союзного государства (средства программы «СКИФ-ГРИД»), так из собственных средств ЮУрГУ.  А реализация вычислительного комплекса «СКИФ-Аврора ЮУрГУ» выполнена компанией «РСК СКИФ» в кооперации с другими исполнителями программы «СКИФ-ГРИД», при активной технической поддержке корпорации Intel и участии других западных партнеров.

«Сегодня мы можем продемонстрировать первый результат не только кропотливой работы специалистов нашей компании над созданием сложного интеграционного проекта «под ключ» и фактически суперком­пьютерного решения нового поколения, — каковым является вычислительный комплекс «СКИФ-Аврора ЮУрГУ», — но и эффективность совместных усилий в рамках широкой кооперации как российских участников, в большей степени отечественных исполнителей суперкомпьютерной программы «СКИФ-ГРИД», так и западных технологических партнеров, в первую очередь, корпорации Intel», — отметил Алексей Шмелев, исполнительный директор «РСК СКИФ».

Уже на этапе предварительного тестирования суперкомпьютер «СКИФ-Аврора ЮУрГУ»:

  • Вошел в список Тор50 и сразу занял 8 место среди 50 мощнейших суперкомпьютеров СНГ согласно новой, 12-ой редакции рейтинга, опубликованной 30 марта 2010г. Максимальная производительность суперкомпьютера «СКИФ-Аврора ЮУрГУ», полученная на тесте Linpack, составляет 21,86 TFLOPS, а пиковая производительность — 24 TFLOPS.
  • Показал высокую вычислительную эффективность на реальных промышленных задачах, решаемых на базе суперкомпьютерного центра ЮУрГУ, продемонстрировав более чем 3-х кратный прирост производительности на ряде задач по сравнению с предыдущим кластером «СКИФ Урал».
  • В апреле этого года была реализована возможность использования в платформе «СКИФ-Аврора» 6-ядерных процессоров Intel Xeon серии 5600, что позволяет повысить производительность системы в том же конструктиве в 1,7 раза.

«Такие высокопроизводительные и энергоэффективные суперкомпьютерные решения, как «СКИФ-Аврора ЮУрГУ», демонстрируют реальные возможности российских инновационных начинаний в области разработки и реализации сложных вычислительных комплексов, что позволяет Челябинской области и России в целом использовать самую передовую технологию для развития российских научно-образовательных организаций и промышленных предприятий. Использование процессоров старших моделей линейки Intel Xeon, в том числе новейших 6-ядерных моделей серии 5600, позволяет участникам Альянса создавать суперкомпьютерные комплексы с лучшими в индустрии показателями в области быстродействия, вычислительной плотности, масштабируемости и экономичности», — подчеркнул Николай Местер, директор по развитию корпоративных проектов корпорации Intel в России и странах СНГ.

Суперкомпьютерную платформу «СКИФ-Аврора», которая стала основой для создания вычислительного комплекса  «СКИФ-Аврора ЮУрГУ», отличает высочайшая производительность, сверхвысокая плотность монтажа вычислительных узлов, повышенная надежность и управляемость. Отсутствие шума и вибрации в вычислительной системе достигается за счет применения жидкостного охлаждения всех компонентов вычислителя и использования твердотельных накопителей Intel SSD. Благодаря такому «зеленому дизайну» решение «СКИФ-Аврора» демонстрирует наилучшие в индустрии показатели энергоэффективности, что обеспечивает среднегодовую экономию затрат на электроэнергию до 60% по сравнению с решениями других разработчиков.

Метод жидкостного охлаждения является на сегодня самым инновационным и эффективным в суперкомпьютерной индустрии. Он позволяет строить вычислительные системы с высочайшим уровнем плотности, с пониженным уровнем энергопотребления, практически бесшумные и исключающие вибрацию, то есть более надежные. Именно такой системой охлаждения оснащен суперкомпьютерный комплекс «СКИФ-Аврора ЮУрГУ» — это первый в России и в мире суперкомпьютер на базе стандартных процессоров Intel Xeon (серии 5500) и технологии высокоэффективного жидкостного охлаждения, содержащий в себе целый ряд уникальных отечественных разработок мирового уровня.

Специалисты Южно-Уральского государственного университета принимали непосредственное участие в создании одного из элементов системы жидкостного охлаждения суперкомпьютера «СКИФ-Аврора ЮУрГУ» — охлаждающей пластины для вычислительных узлов суперкомпьютера. Опытное производство данных пластин налажено на базе ЮУрГУ.

Суперкомпьютерная платформа «СКИФ-Аврора» имеет следующие уникальные характеристики:

  • Передовое решение по технологии охлаждения, наилучшая в отрасли эффективность использования электроэнергии- «зеленый дизайн»:
    • Значительная среднегодовая экономия электроэнергии.
    • Возможности использования особенностей климатических зон- беззатратное охлаждение (free cooling).
  • Максимальная плотность упаковки вычислительной мощности стандартной архитектуры:
    • Самая высокая вычислительная плотность в суперкомпьютерной отрасли на базе стандартных процессоров архитектуры x86- более 10 CPU в 1U.
    • На базе 6-ядерных процессоров Intel Xeon 5600 достигается рекордная производительность на одну стойку- свыше 40 TFLOPS.
    • Как минимум двукратное уменьшение занимаемой площади, по сравнению с решениями других производителей.
    • Возможность создания самого компактного в мире суперкомпьютера с производительностью 1 PFLOPS — на базе всего 25-ти стоек «СКИФ-Аврора» (энергопотребление — 2,84 МВт).
  • Уникальная системная сеть отечественной разработки с топологией 3D-тор:
    • Повышенная пропускная способность системной сети- до 60ГБ/с,- в 1,5 раза лучше показателей любых других доступных решений.
    • Высочайшая масштабируемость системной сети- возможность на сегодняшних решениях создать суперкомпьютер с производительностью 3PFLOPS.
    • Аппаратная поддержка в системной сети некоторых операций MPI.
    • Возможность поддержки не только MPI, но и новых, перспективных подходов к реализации параллельных вычислений.
  • Полная совместимость с существующим стандартным программным обеспечением в комбинации с возможностью использования FPGA-ускорителей, установленных в каждом вычислительном узле:
    • Обеспечена полная совместимость с программным обеспечением суперкомпьютеров с архитектурой x86, поддержка всех суперкомпьютерных приложений, как созданных и разрабатываемых в рамках программ «СКИФ» и «СКИФ-ГРИД», так и широко используемых во всем мире суперкомпьютерных приложений от иных разработчиков.
    • Все характеристики производительности суперкомпьютеров «СКИФ-Аврора» приведены из расчета использования только стандартных процессоров, без учета применения FPGA-ускорителей. Доработка программного кода под использование последних позволяет обеспечить втрое большую реальную производительность суперкомпьютеров «СКИФ-Аврора» для ряда приложений.
    • Использование FPGA-ускорителей поддержано программным обеспечением «СКИФ-Аврора».
  • Высочайшая надежность и отказоустойчивость суперЭВМ:
    • Отсутствие механически подвижных частей в вычислителе. Отсутствие вибрации.
    • Простые и надежные подсистемы электропитания и охлаждения. Резервирование всех важных узлов.
    • Высокая теплоемкость хладоносителя- защита оборудования от «тепловых ударов».
    • Уникальная отечественная сенсорная и управляющая сеть СКИФ-Servnetv.4. Три независимых системы мониторинга и управления суперкомпьютером.
    • Поддержка режима «горячей замены» модулей и узлов.
  • Эффективная система электропитания повышенной безопасности (для персонала и оборудования).
  • Улучшенные эргономические и эстетические показатели:
    • Система бесшумная. Персонал может без средств защиты органов слуха долго и комфортно находиться в машинном зале.
    • Управление «на кончиках пальцев»- с использованием сенсорных LCD-панелей.
  • Опора на широкую кооперацию российских разработчиков в сочетании с сотрудничеством с западными партнерами.

Вычислитель системы содержит 256 компактных и мощных вычислительных blade-модулей с жидкостным охлаждением.

Технические характеристики:

  • Число вычислительных узлов/процессоров/ядер: 256/512/2048
  • Тип процессора: Intel Xeon X5570 (4 ядра с тактовой частотой 2,93 ГГц)
  • Суммарная оперативная память вычислительных узлов: 3 TБ (DDR3)
  • Суммарная дисковая память вычислительных узлов: 60 TБ, твердотельные накопители
  • Тип системной сети: Трехмерный тор, 60 Гбит/с, макс. задержка 1 мкс
  • Тип вспомогательной сети: InfiniBand QDR, 40 Гбит/с, макс. задержка 2 мкс
  • Сервисная сеть: три независимые сенсорные и управляющие сети, включая СКИФ-Servnet v.4
  • Выделенная сеть глобальной синхронизации
  • Программируемые FPGA‑ускорители в каждом вычислительном узле. Связь FPGA‑ускорителя со стандартными процессорами: 80 Гбит/с
  • Пиковая производительность установки (без учета FPGA‑ускорителей): 24TFLOPS
  • Производительность на тесте LINPACK: 21.84 TFLOPS.

Суперкомпьютер «СКИФ-Аврора ЮУрГУ» в полной мере унаследовал все уникальные характеристики (подробно описаны выше) платформы «СКИФ-Аврора»: высокие энергоэффективность, совместимость программного обеспечения, надежность, отказоустойчивость и другие.

Суперкомпьютерная платформа «СКИФ-Аврора» разработана для эффективной реализации суперкомпьютеров в широком спектре производительности.  Запланировано дальнейшее развитие суперкомпьютерной платформы «СКИФ-Аврора».

Сегодня компания «РСК СКИФ», с опорой на СКИФ-кооперацию, готова обеспечить с высоким качеством выпуск, установку, ввод в эксплуатацию, гарантийное и послегарантийное обслуживание самых различных систем:

  • от систем с производительностью в несколько единиц и десятков TFLOPS- суперкомпьютеры для лабораторий, конструкторских бюро, организаций науки и образования, предприятий;
  • до мощных систем в сотни и тысячи TFLOPS (на сегодняшних решениях до 3000TFLOPS= 3PFLOPS)- суперкомпьютеры для отраслевых, региональных и национальных суперкомпьютерных центров.