Рейтинг
+6.28

Система хранения данных NetApp в Hoster.KZ

Блог компании Hoster.KZ /
Добрый день.

В этом посте я хочу рассказать вам о системе хранения данных NetApp, которую мы себе приобрели.

Сейчас готово немного фотографий в офисе, систему мы тестируем и настраиваем, ждем 16 новых серверов HP. NetApp прибыл намного быстрее всего остального оборудования, привезли ровно за месяц после заказа. Стоимость того, что на фото (вместе с коммутаторами, лицензиями, не только NetApp) вышла около (чуть меньше) 100 000 долларов.

Мы стали партнерами я поехал на партнерскую академию, после нее остались материалы (схд в материалы не входила):



После партнерской академии NetApp остались, конечно же, не только материалы, но много положительных эмоций.

В первую очередь — уровень организации, все было сделано очень хорошо. Фотографий, к сожалению, не делал.

Во вторую очередь — люди, очень интересные, вменяемые, как со стороны компании NetApp, так и со стороны дистрибьютора — Мерлион. Отдельное спасибо хочется сказать за быструю доставку — прошел ровно месяц и оборудование было у нас в офисе.

Какие задачи нам нужно было решить:

1. Надежное сетевое хранилище для различных бекапов.

Сейчас бекапы делаются на 2 сервера и дополнительные большие жесткие диски по 2Tb, что в принципе очень дешево, не очень надежно, но работает уже долго время без каких-то проблем.

После внедрения новой системы мы уберем 2 сервера и 4 жестких диска и получим около 26Тб под бекапы. Благодаря функции дедупликации мы сможем набекапить данных гораздо больше, чем 26Тб, как минимум в 2-4 раза.

2. Надежное хранилище для виртуальных машин и контейнеров.

Как все работает сейчас у нас и у многих компаний. Есть несколько серверов, на них есть локальные жесткие диски. Если хорошо сделано — нормальный raid контроллер и быстрые SAS диски.

В процессе работы возникает несколько проблем — делаем перезагрузку сервера, с сервером перезагружается и его локальное хранилище — данные недоступны. Если сервер не поднимается или ломается — данные нужно вытаскивать и не всегда это получается сделать оперативно.

Другая проблема — миграция с сервера на сервер виртуальных машин и контейнеров. В Parallels это делается без проблем без остановки сервисов, но в чем печаль — очень медленно, так как нужно физически скопировать данные с одного сервера на другой. Перемещение виртуальной машины размером 150Gb занимает примерно час, а если машина не одна или контейнер не один — очень много времени тратится впустую.

3. Получаем новые возможности, о чем даже не думали.

Берем любую виртуальную машину — с одним сайтом клиента или с большим количеством сайтов. Делаем Snapshot (снимок), устанавливаем обновление ПО — если что-то не заработало и нужно быстро восстановить работы, сделать откат системы — делаем восстановление со снимка до установки ПО. Экономим время, нервы.

FlexClone — мгновенное создание виртуальных копий баз данных или виртуальных машин. Нужно сделать копию — нажали на кнопку и она готова, моментально. Делать с этими копиями можно дальше все, что захотите.

Гибкое выделение ресурсов — виртуальная машина занимает не столько диска, сколько выделили при создании, а сколько фактически занимает.

4. Облака, облака, облака.

Мы планируем запустить сначала внутреннее облако, перенести в него весь наш виртуальный хостинг. Параллельно будем запускать в этом же облаке услуги виртуализации серверов, десктопов, приложений.

Делаем определенные выводы и отделяем хранилище от серверов, на новых 16 серверах у нас будет только по 2 жестких диска для операционной системы, все данные будут храниться на нашей системе хранения данных. К новым серверам, конечно же, добавим и старые сервера.

Система очень надежная — в «голове» FAS2240-4 установлено 4 блока питания, 2 контроллера — при выходе одного контроллера второй заменит его и работа не остановится. Так же мы будем зеркалировать 2 полки с быстрыми SAS 600G 15k дисками — это выходит в 2 раза дороже, но и надежность будет еще больше плюс добавится производительность.

С одной полки с 24 SAS дисками мы получаем 9.6Тб дискового пространства. 2 диска уходит на hotspare, 2 диска уходит на четность. В любой момент из строя могут выйти 2 диска — полка продолжит работу и данные не потеряются. Даже если выйдет из строя целая полка — мы продолжим работу, так как она будет зазеркалирована.

Конечно же для системы хранения данных обьем это не самое главное — гораздо важнее IOPS. Добавление полок в систему позволит нам нарастить дисковый обьем и увеличить производительность.

Когда выбирали систему я смотрел фото с блога:
habrahabr.ru/company/netapp/blog/134064/

И информация с официального сайта:

Сравнение продуктов серии NetApp FAS2200, у нас FAS2240-4
www.netapp.com/ru/products/storage-systems/fas2200/fas2200-product-comparison-ru.html

Сравнение дисковых полок NetApp, у нас DS4243
www.netapp.com/ru/products/storage-systems/disk-shelves-and-storage-media/disk-shelves-comparison-ru.html

Сделали фотографии в офисе:

FAS2240-4, 2 контроллера, 4 блока питания, 24 диска по 2Tb SATA 7.2k, подключение 4 порта по 10G:


Техническое описание можно посмотреть на сайте:
www.netapp.com/ru/library/datasheets/ds-fas2200-ru.html

Именно в эту модель можно было установить только SATA диски или смешанные SSD+SATA, мы выбрали SATA диски для бекапов.

Вид без передней крышки, точно такой же вид у полки DS4243 с дисками SAS 600G 15k. Если сделать фото полок с 2Tb и 600G дисками и выложить рядом — будет не отличить, так как они отличаются только маленькой надписью про обьем диска, которой на фото не видно:


Сняли крышку, вытащили все диски, положили рядом рельсы для стойки. Сверху Ipad (в комплект не входит) с открытым сайтом www.netapp.com/ru и благодарственное письмо за покупку оборудования:


Достали 2 верхних блока питания, контроллер и заглушку, 4 жестких диска, в самой системе диски поставили лесенкой:


Вид лесенки спереди, можно увидеть, что железка «разделена» пополам — на 2U помещается 12 дисков, 3 ряда по 4 диска:


Собрали все диски, блоки питания, контроллер и заглушку, вид системы с одним диском сверху:


Если открыть все диски — выглядит это так:


Диски выглядят более чем мощными, тяжелые, большие.

А спереди вот так:


Убираем все диски и видим такую картину:


Разворачиваем и смотрим на то, что у нас сзади системы. Разворачиваем без дисков и блоков питания, потом их подключаем, так как вес получается большой и постоянно крутить на большом столе не сильно удобно:


4 блока питания по 580W, 2 контроллера, 2 заглушки.

Если вытащить все блоки питания получится такая картина:


Но ведь у нас не только «голова» системы с контроллерами, у нас сейчас есть 2 дополнительные полки DS4243, каждая с 24 дисками SAS по 600G 15k.

В нашем случае голова и полка являются практически близнецами, отличие только в контроллерах, жестких дисках и передней крышке.

Каждая полка в полном сборе очень тяжелая — около 50 кг и ставить их друг на друга нельзя. Если убрать жесткие диски, блоки питания, модули — вес получается всего 9.7 кг:


А чего же в них такого тяжелого, на целых 50 кг? Взял весы и все замерил:

FAS2240-4

Жесткий диск SATA 2Tb 7.2k 860г * 24шт
Блок питания — 2.250кг * 4шт
Контроллер 2.860кг * 2шт
Крышка передняя c логотипом NetApp 576г
Заглушки сзади — 500г * 2шт
Голая полка 9.7кг
Рельсы — около 1кг * 2шт

DS4243

Жесткий диск SAS 600G 15k — 925г * 24шт
Блок питания — 2.250кг * 4шт
IOM3 — 1.530кг * 2шт
Заглушки сзади — 500г * 2шт
Голая полка 9.7кг
Рельсы — около 1кг * 2шт

При установке в датацентре рекомендуют нести без блоков питания и без контроллеров-модулей, при весе около 50 кг минус около 15 кг реально облегчает ношу.

Когда убирается передняя крышка и боковые заглушки — все выглядит абсолютно одинаково:


Третью полку ставить сверху я не стал — картина от этого не поменяется, а давить на нижнюю полку будет сильнее. Положил заглушки от третьей полки.

Вид сверху с рельсами:


Подключать мы будем к коммутаторам Cisco 3750X, 48 портов 1G, 2 порта 10G на каждой. Коммутаторы стекируются по сети и питанию. На фото снизу голова, потом полка DS4243, потом 2 коммутатора.

Для внимательных — убрали 4 блока питания, которые весят вместе больше 10кг, убрали все жесткие диски — общий вес больше 20 кг, что бы не раздавить самую нижнюю систему.

2 контроллера с FAS 2240-4 подключены 4 кабелями SAS к полке DS4243, каждый контроллер 2 шнурками в кажый модуль IOM3.

В каждый контроллер подключен шнурок в консольный порт, потом к серверу в COM порт, красные шнурки — удаленное управление, по 2 шнурка 10G и по шнурку питания в каждый блок питания:


На этих фото с полки DS4243 убрали блоки питания и жесткие диски, что бы она не раздавила то, что находится снизу. Можно увидеть, что внутри полок ничего интересного нет — одна большая плата с разьемами, в которые подключаются блоки питания с модулями, а с другой стороны жесткие диски.

И вид сверху:


Что делать, если у нас некуда подключить 10G? В базе есть 4 порта по 1G на каждом контроллере — подключены синие и желтые шнурки:


А что делать в будущем, если нужно расти? Меняем в голове контроллер на модуль IOM3, как в полке и получаем еще одну полку, которую можно подключить к более мощной голове, а можно просто отдельно размещать.

Вот как выглядят контроллер от FAS2240-4 (справа) и модуль IOM3 (слева) с полки DS4243:


Вид сзади:


Друг на друге:


Контроллер можно открыть:


В ближайшем будущем мы планируем расширять систему хранения в несколько этапов:

1. Добавим еще 2 полки с SAS дисками, для увеличения производительности и обьема, после этого практически упремся в максимальный возможный обьем по дискам — можно будет добавить еще всего 1 полку.

2. Заменим «голову» на более производительную систему из FAS3200, обязательно с модулем Flash Cache, возможно новую модель уже выпустят — еще более производительную. Добавление Flash Cache ударит по бюджету, но даст примерно в 2 раза больше IOPS на системе.

3. Текущая голова FAS2240-4, скорее всего будет работать как отдельная система для бекапов, для увеличения обьема и производительности будем добавлять полки парами.

18 комментариев

Denisc
Добрый день.

Готовлю текст для поста, если возникнут вопросы — буду рад ответить.
drushka
Мои поздравления!
Система хорошая. Главное пусть работает на благо =)
parallaksus
Если предвидеть развитие дальнейших обытий, то можно полностью отключать мозг и просто пользоваться услугами компании hoster.kz Только не забывайте про инертность КТ.На вашем уровне больше подойдет датаентр где-нибудь в благоприятной инфроструктуре.
Denisc
Дорастем и до ДЦ, какие наши годы.
parallaksus
Если это случится-Вам не будет конкурентных вариантов.Что Казахстан, вся Азия.Весь азиатский рынок.Рады что появляется смысл, смысл думать что все стойко и на вечно.Удачи.
Netgl
серьёзный аппарат, и цена у него однако))
armand
Пользуюсь услугами только hoster.kz )) Сервис супер ) про других промолчу, заминусуют )
FeDeRaL
Спасибо за фотки, где ещё кроме как не здесь можно посмотреть на такую вещь за столь немалую сумму))) 4 блока питания просто поразили… Привык что в системнике он один.
Denisc
Пожалуйста. На коммутаторах тоже не один блок питания — там по 2 штуки. На сервера обычно 2 блока питания, один горячей замены, тут тоже самое — половина под запас.
kasik89
Денис, Добрый день!
Как обстоят дела с зап. частями для сие чуда?

Покупка хороша, пусть до копеечки оправдает себя!
Удачи Вам в Вашем НЕЛЕГКОМ деле!
Denisc
С запчастями проблем, насколько я понимаю, нет. В системе есть супер-штука, которая называется автосуппорт. Если что-то ломается, система сообщает о поломке в NetApp и уже на следующих рабочий день приходит посылка с запасным диском, контроллером или что могло выйти из строя. Если не ошибаюсь — отправлять будут с Алматы, этот момент я еще уточню в рабочем порядке.

Прочитать про автосуппорт можно тут, с примером — blog.aboutnetapp.ru/archives/1168
ZeeLax
Картинки — неинтересно. Расскажите, как работает, как справляется с мегабитами, иопсами и прочим!
Denisc
Добрый день.

А я же в самом начале написал, что ждем 16 серверов HP, которые будем подключать к системе хранения данных, они заказаны, но еще не приехали.

Конечно же я расскажу, когда все соберем, подключим и запустим в работу. Пока из того, что было показать — картинки, их и показали.
Denisc
Установили в ДЦ, подключили к 2 тестовым серверам, скоро напишу о том, как работает.
maxis
Че сказать то тут, молодец Денис, успехов тебе в твоем бизнесе, молодец что вкладываешь деньги в развитие бизнеса, ты как бизнесмен пример для многих, я рад что есть такие люди в КЗ. с уважением, руководитель Веб студии «W» Тулегенов Азамат
Denisc
Спасибо, будем стараться и дальше.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.