Внедрение системы автоматизированного резервного копирования критичных для бизнеса данных

Предпосылки проекта

Для обслуживания бизнеса в Собинбанке используется мощная ИТ-инфраструктура с обширным парком серверного оборудования, насчитывающая несколько десятков машин, на которых работает автоматизированная банковская система (АБС) и ряд других крайне важных для Банка приложений (базы данных, система электронной почты, файловые сервисы), а также выполняется тестирование этих приложений. Кроме того, для обеспечения бесперебойной работы наиболее критичных приложений их серверы резервированы, т.е. для них выделены серверы-дублеры, которые функционируют в режиме горячего резерва и в случае сбоя основного сервера готовы мгновенно «подхватить» приложение. Наконец, в Банке развернуты 30 виртуальных машин VMware на восьми физических серверах с пакетом ESX Infrastrucure.

Основу системы хранения ИТ-инфраструктуры Банка образуют два модульных высокопроизводительных массива EMC Clariion CX3-40, объединенных в сеть хранения SAN с помощью коммутаторов Fibre Channel производства Brocade. На этих массивах хранятся данные критически важных приложений, для которых  большую роль играет не только емкость дисков, но также и высокая скорость чтения и записи на массив, а также постоянная доступность данных. На базе этих массивов реализована популярная сегодня технология резервного копирования на жесткие диски Disk-to-Disk (D2D), позволяющая за счет использования вместо ленточных накопителей более быстрые дисковые  существенно ускорить процесс резервного копирования и восстановления данных с резервных копий. Резервные копии создаются с помощью функций самого приложения (Oracle, Microsoft SQL Server) и записываются на специально выделенные диски того же массива. 

Однако запись резервных копий на жесткие диски ведет к быстрому исчерпанию свободной емкости массива, поэтому старые резервные копии периодически переписывались вручную с помощью ленточной библиотеки начального уровня в архив на ленточные картриджи. Такая ручная процедура «сбрасывания» резервных копий на ленту создавала риск потери данных из-за ошибки оператора и поэтому для страховки на дисковом массиве сохранялись не только последние по времени резервные копии данных, но и несколько предыдущих. 

По мере роста бизнеса Банка общие объемы баз данных АБС, как и число серверов приложений, постоянно увеличивались, что крайне затрудняло контроль за формированием резервных и архивных копий и привело к возрастанию общих расходов на хранение данных на дисковых массивах, а также на внутренних дисках серверов. Например, общий объем данных, записанных на двух Clariion CX3-40, превысил 200 Тбайт, а суммарный размер ежедневных резервных копий – 8 Тбайт. Для решения проблемы Банк решил внедрить новую автоматизированную систему резервного копирования на базе ленточных технологий, которая улучшила бы надежность хранения данных на ленте и реализовала централизованный автоматизированный процесс формирования резервных и архивных копий важных для бизнеса данных. 

Выбор решения

Собинбанк объявил тендер на поставку системы резервного копирования, в котором приняли участие ведущие российские системные интеграторы, представившие решения на основе продуктов крупнейших мировых вендоров. Как рассказывает начальник управления эксплуатации Собинбанка Максим Рудольфович Рябочкин, Банк не ограничился только анализом спецификаций предложенных решений, но и провел их внутреннее тестирование, в ходе которого оценивалась скорость резервного копирования и восстановления.

После сравнения решений участников тендера Банк сделал окончательный выбор в пользу системы на основе ленточных библиотек HP StorageWorks MSL6000 и пакета резервного копирования HP Data Protector 6.0, которую предложила партнер Hewlett-Packard компания «ИНЛАЙН ГРУП». По словам Максима Рябочкина, тесты показали, что это решение на основе технологий Hewlett-Packard обеспечивает максимальное быстродействие резервного копирования, что крайне важно с учетом постоянного роста объемов ежедневной резервной копии. Еще одно преимущество этого решения – поддержка в HP Data Protector всех серверных платформ и приложений, которые эксплуатируются в ИТ-департаменте Банка, в том числе разных версий операционных систем Windows Server, Solaris и Linux и разных релизов СУБД Oracle. Стоимость предложенного «ИНЛАЙН ГРУП» решения соответствовало бюджету ИТ-департамента Банка, а поддержка для  StorageWorks MSL6000 от вендора гарантировала «быстрое реагирование» в течение шести часов после поступления заявки. Наконец, при выборе решения на базе StorageWorks и HP Data Protector ИТ-специалисты заказчика учитывали свой положительный опыт эксплуатации продуктов и технологий Hewlett-Packard, а использование в этом решении оборудования и программного обеспечения от одного вендора упрощало организацию технической поддержки комплекса и устранение проблем совместимости его аппаратной и программной части. 

Описание решения

В качестве устройств резервного копирования используются пять библиотек StorageWorks MSL6000 с высокоскоростными приводами LTO-4 Ultrium 1840 – четыре MSL6060 и одна MSL6030. Все библиотеки установлены в одной стойке и объединены в два стека (первый состоит из двух MSL6060 и одной MSL6030, второй - из двух MSL6060) с помощью механизма Pass-Through, передающего между ними ленточные картриджи. Основной компонент (Manager) пакета Data Protector работает на отказоустойчивом кластере MSCS из двух стоечных двухпроцессорных серверов HP ProLiant DL360 G5, размещенных в той же стойке. Агенты Data Protector инсталлированы на 80 серверах, включая продуктивные, тестовые и резервные серверы (хотя для тестовых и резервных серверов резервное копирование не производится, для них нужно обеспечить возможность восстановления данных продуктивных серверов с резервной копии). 

Всего в пяти библиотеках установлено шесть приводов LTO-4 и слоты для 270 картриджей LTO-4 суммарной физической емкостью около 250 Терабайт. Внутри стеков библиотек организовано 22 набора (пула) лент, которые распределены по разным физическим библиотекам и отличаются по времени сохранения резервных копий на ленте (от недели и до пяти лет). Такая виртуализация ресурсов библиотек позволила выделить каждому критически важному приложению по несколько пулов лент как для оперативного, так и долговременного хранения резервных копий, и в то же время обеспечить высокую эффективность использования ленточных приводов LTO-4, каждый из которых обслуживает несколько пулов и самих физических библиотек. 

Специалисты «ИНЛАЙН ГРУП» разработали для разных ситуаций и задач защиты данных более 100 сценариев резервного копирования и восстановления для баз данных Oracle и SQL Server, почтовых серверов Microsoft Exchange и файловых серверов, которые работают на разных операционных системах. Кроме того, было настроено удаленное резервное копирование данных с серверов из филиала Банка. Поскольку эти серверы не защищены межсетевым экраном, то для передачи данных с них используется аппаратное шифрование. 

Поддержка в Data Protector виртуальных машин VMware, включая технологию VMware Consolidated Backup (VCB), позволила легко организовать резервное копирование данных с развернутых в ИТ-инфраструктуре Банка виртуальных серверов ESX. Сначала Data Protector с помощью VCB создает мгновенные снимки виртуальных машин, затем эти мгновенные снимки записываются на прокси-сервер, а с него они сбрасываются на ленту. 

«Данный проект – хороший пример комплексного подхода к решению задачи, как со стороны заказчика, так и со стороны исполнителя, - комментирует Андрей Альтергот, директор по развитию бизнеса компании ИНЛАЙН ГРУП, - В ходе проекта было много интересных технологических особенностей и нюансов, которые должны были быть учтены при реализации Системы, что позволило нашим специалистам в полной мере использовать опыт, накопленные знания и нестандартные подходы в проектировании решения». 

Результаты

За первые три месяца эксплуатации новой системы резервного копирования Собинбанка была зафиксирована только одна внештатная ситуация, возникшая из-за ошибки оператора. По словам Максима Рябочкина, в результате внедрения системы существенно улучшилась производительность и надежность резервного копирования на ленту. Теперь на дисковых массивах хранится только последняя резервная копия данных, что позволило высвободить емкость массивов для оперативных данных приложений. 

Он также подчеркнул, что «ИНЛАЙН ГРУП» предоставил Собинбанку все необходимые тщательно отлаженные сценарии резервного копирования и восстановления вместе с инструкциями по обслуживанию комплекса, что позволило Банку быстро приступить к эксплуатации системы в автоматизированном режиме и сразу получить отдачу от сделанных в этот проект инвестиций. 

Производительность и емкость системы сегодня вполне соответствует объему резервных копий, а в будущем для повышения быстродействия достаточно будет докупить для библиотек системы дополнительные ленточные приводы (сейчас в пяти StorageWorks MSL6000 остаются свободными 12 мест для приводов из 18).