Построение высокопроизводительного вычислительного кластера

Основным направлением деятельности ОАО ОКБ «ГИДРОПРЕСС»,входящего в состав государственной корпорации по атомной энергии «Росатом», является разработка проектов реакторных установок. ОКБ «ГИДРОПРЕСС» выполняет сложный комплекс конструкторских, расчетно-теоретических, экспериментально-исследовательских и производственных работ по созданию реакторных установок для АЭС различного назначения, обладающих свойствами повышенной безопасности, надежности и экономичности, конкурентоспособных в Российской Федерации и за рубежом.

В настоящее время ОКБ «ГИДРОПРЕСС» является единственной в мире компанией, по проектам которой сооружаются реакторные установки одновременно пяти энергоблоков за пределами своей страны: АЭС «Куданкулам» в Индии, АЭС «Бушер» в Иране, АЭС «Белене» в Болгарии. Каждый из проектов уникален, и каждая из сооружаемых атомных электростанций имеет свои, присущие только ей, особенности. Общее для всех проектов: высокие стандарты качества работ и максимальные требования к уровню безопасности.

Долгосрочной программой госкорпорации «Росатом» определены работы по проектам быстрых реакторов. В этом направлении будут продолжены работы над проектом многоцелевого быстрого реактора СВБР-100, охлаждаемого свинцово-висмутовым теплоносителем, и проектами парогенераторов для установок с реакторами на быстрых нейтронах с натриевым теплоносителем.

Задачи бизнеса

Для проведения научно-технических расчетов в обоснование проекта СВБР-100 ОАО ОКБ «ГИДРОПРЕСС» поставил задачу построения высокопроизводительного вычислительного кластера. Конкурс, объявленный на официальном сайте госзакупок zakupki.rosatom.ru, выиграла компания ЗАО «ИНЛАЙН ГРУП». Договор на создание вычислительного кластера был заключен в январе 2011 г.

Необходимость в создании вычислительного кластера (ВК) была вызвана потребностями ОКБ «ГИДРОПРЕСС» в проведении конструкторских расчетов и обосновании безопасности ядерных паропроизводящих реакторных установок ВВЭР и СВБР с использованием наборов кодов, моделирующих поведение реакторной установки и АЭС, как в режимах нормальной эксплуатации , так и в условиях отклонения от нормы. Взаимосвязанное решение подразумевает целый комплекс сложнейших расчетов: полей энерговыделения в активной зоне и внутрикорпусной радиационной защите, гидравлический расчет, расчет температуры конструкции, расчет температурных полей, расчет температурных расширений и формоизменений, корректировка расчетной сетки для нейтронно- физических расчетов, расчет полей излучения, расчет защитной задачи. Такой подход к обоснованию безопасности реакторных установок (РУ) реализуется как в специализированном программном комплексе STAR-CCM+*, так и при использовании других расчетных кодов.

Для выполнения расчетных обоснований с использованием CFD-кодов с требуемыми параметрами по стоимости и затратам было необходимо увеличить компьютерные мощности с применением технологий многопроцессорных систем. Для решения этой задачи было принято решение о создании вычислительного кластера для параллельных вычислений с использованием оборудования и программного обеспечения Hewlett-Packard (НР).

Создаваемый центр обработки данных должен был обеспечивать следующую функциональность:

• компиляцию и выполнение пользовательских параллельных приложений, разработанных с применением библиотек параллельного программирования стандарта MPI и использующих системную сеть в качестве коммуникационной среды;
• возможность выполнения параллельного приложения на всех узлах вычислительного комплекса;
• возможность разделения заданий между узлами вычислительного комплекса.

По условиям технического задания вычислительный кластер должен был быть протестирован на предложенных Заказчиком задачах моделирования.

Решение

Высокопроизводительные кластерные решения являются наиболее экономичными по соотношению цена - производительность. Они создаются на базе серийных серверных компонентов с использованием высокопроизводительных межузловых соединений для коммуникации между узлами вычислительного кластера.

Кластерное решение, построенное в ОАО ОКБ «ГИДРОПРЕСС» - это один из первых проектов в России, реализованных на платформе SL- серверов компании НР. Построенный кластер состоит из 30 серверных вычислительных узлов, дисковый массив насчитывает 144 терабайта сырой емкости, пиковая теоретическая производительность достигает 4,798 терафлопс. Его реальная производительность на тесте Linpack составила 4,284 терафлопс, а эффективность - 89,34% от пиковой производительности.

Применение в расчетной практике суперкомпьютерных технологий с использованием пакета программ STAR-CCM+ придает очевидный импульс развитию кодов в двух направлениях:

• разработка и внедрение в расчетную практику методик сопряженного полномасштабного моделирования нейтронно-физических, теплогидродинамических и термомеханических процессов, а также вероятностных методик оценки неопределенностей в расчетах, замещающих консервативные подходы к обоснованию безопасности;
• разработка и включение в расчетные комплексы новых моделей, таких как массоперенос радионуклидов, стратификация теплоносителя в контуре МПЦ, конденсационные гидроудары, пространственное моделирование силовых воздействий в результате разрывов высокопотенциальных трубопроводов и т.п.

Эти направления отвечают современным тенденциям развития расчетных обоснований проектов и в ближайшем будущем начнут выходить на уровень мировых стандартов качества обоснования проектов.

Описание вычислительного комплекса

В качестве аппаратной платформы вычислительного комплекса используется специализированное решение - SL6500 на базе процессоров Intel Xeon, предназначенное для внедрения в крупных слабосвязанных вычислительных инфраструктурах (grid-системы, облачные системы), где максимальное внимание уделяется показателю цена/производительность.

Строительным блоком SL6500 является корпус высотой 4U с интегрированными системами разделяемого питания и охлаждения, в который устанавливается до 8 серверных двухпроцессорных модуля (HP ProLiant, SL170, SL160, SL390), различающиеся количеством слотов под оперативную память и количеством дисков.

Отличительной особенностью SL6500 является то, что все разъемы серверов и плат расширения располагаются в передней части шкафа, что позволяет при ответствующей организации инфраструктуры центра обработки данных повысить эффективность использования пространства, легкость в обслуживании и эффективность отвода тепла.

В состав вычислительного комплекса входят следующие компоненты:

• вычислитель;
• системная сеть;
•  управляющая сеть;
• сервисная сеть;
• служебные серверы;
• система хранения данных.

Вычислительная система включает рабочие места CFD-инженеров, серверы с большим объемом оперативной памяти (до 256 GB) для пре/постпроцессинга, расчетный кластер на 360 ядер и удаленный доступ на супервычислительные ресурсы (кластер пентафлопного уровня) в РФЯЦ-ВНИИЭФ, город Саров.

ВК укомплектован двумя графическими станциями и тремя графическими консолями, устанавливаемыми в стойку для организации рабочих мест инженеров, участвующих в подготовке модели (препроцессинге) для дальнейшего расчета и администраторов соответственно.

Вычислительные узлы связаны между собой высокоскоростной коммуникационной (системной) сетью построенной на технологии Infiniband (пропускная способность 40 Гбит/сек), сервисной сетью и управляющей сетью, построенных на технологии Gigabit Ethernet.

Управляющая сеть Gigabit Ethernet предназначена для взаимодействия узлов кластера, передачи служебной информации о ходе вычислительного процесса и состоянии подсистем, а также для соединения управляющих узлов кластера с АРМ операторов для мониторинга и управления кластером.

Для обеспечения доступа пользователей сети предприятия к ресурсам ВК управляющие узлы кластера подключены к сети ОКБ «ГИДРОПРЕСС» через интерфейсы 10 Gigabit Ethernet.

Транспортная и управляющая сети кластера, а также сеть ОКБ «ГИДРОПРЕСС» реализованы как виртуальные локальные сети (VLAN) на центральном коммутаторе HP Procurve 6600, выполняющем роль межсетевого маршрутизатора.

Результаты проекта

В мае 2011 года, всего спустя месяц с момента поставки оборудования, ОКБ «ГИДРОПРЕСС» приступило к ведению расчетов на данном высокопроизводительном кластере.

Мощность вычислительной системы дает возможность разрабатывать СFD- модели размером до 200 миллионов контрольных объемов. Это в свою очередь позволяет перейти к разработке полномасштабных элементов конструкции реакторных и стендовых установок и определять их теплогидравлические характеристики на стадии выбора оптимального варианта конструкции и макета экспериментального рабочего участка.

Ввод в эксплуатацию кластерной установки позволил завершить создание в ОАО «ГИДРОПРЕСС» четырехуровневой вычислительной системы для внедрения CFD-технологии в технологический процесс проектирования с целью оптимизации конструкции новых ядерных реакторных установок и модернизации существующих энергоблоков АЭС.

Внедрение вычислительной системы сокращает время выполнения проекта и повышает удельные характеристики разрабатываемого оборудования.