ВСЕХ НА SSD!!!

Блог компании ТОО "LiO Programs" /
Вчера перевели всех клиентов на SSD. Была выбрана топовая модель от Sumsung 850.

До этого на SSD (Intel) был только сервер баз данных.
Жаль vmware не «скушала» PCI-E SSD, ему подавай только из его списка. Хотел его поставить на сервер баз.

И так с апреля 2012 года использовали SSD. Можно сказать одни первых из хостеров в КЗ :) пост того года на эту тему http://jnet.kz/LiO/2012/04/06/nash-pervyy-server-na-ssd.html

3 года, полет нормальный!!!
К слову, тот ссд что был 3 года назад еще и живой. А кто-то (по комментам) и боялся их

И еще
Переработал тарифные планы. Многие тарифы обзавелись 2-3 гб ОЗУ для
скриптов и 60 одновременных подключений

Тарифы http://hosthouse.kz/page/shared-hosting.html

34 комментария

ruzmat
Какой контроллер используете, если не секрет.
LiO
на ссд самсунга?
ruzmat
да, ссд ведь у вай в рейде?
LiO
железо все бренд от dell
H710 P
www.dell.com/downloads/global/products/pvaul/en/dell-perc-h710p-spec-sheet.pdf

самое приятное в нем что он при отключении питания хранит кеш. сервер до этого не имел такой прелести рейде, и мы один раз оч хорошо споткнулись на этом. когда в казтелекоме отключили свет.

На ssd рейда не делали. Место в 1тб нам для клиентов хватает.
Под рейдом 10 сейчас 6 cac харда по 300 гб. Тоже dell.
Пока даже не решил куда его использовать.
ruzmat
т.е. SSD у вас подключен напрямую без RAID-контроллера?
LiO
а на мазере (как мне админ сказал) есть всего 1 гнездо для хардов. и то не в оч удобном месте. так что ssd подключен через рейд контроллер. но он не в рейде. хотя забавно – рейд контроллер кеширует (1гб), и сам ссд имеет кеш в 1гб. двойное кеширование :)
Denisc
На HP серверах кеш контроллера отключается, когда есть SSD. Пишут, что кеш работает медленнее, чем полноценный SSD диск.
LiO
«Пишут, что кеш работает медленнее, чем полноценный SSD диск.»

На ссд от самсунга стоит кеш на LPDDR2 SDRAM, а у рейд контроллера стоит кеш DDR3 на 1333 MHz. Сомневаюсь что самсунг ставят на свои ссд кеш который замедляют работу самого ссд :) тогда зачем использовать кеш на dram и отключать его же на рейде когда есть ссд?

Грубо говоря по типу кеша, кеш на рейде быстрее чем на ссд.

другое дело когда в вмваре кеширование простых хардов на основе ссд делается.
ruzmat
Вы не боитесь что ваш единственный SSD вылетит сегодня завтра к примеру а может и через месяц.

Почему бы в RAID 1 не собрать 2 SSD диска?
LiO
а чем рейд 1 спасет?
если износ будет одинаковый и там и там (на обоих хардах)?
производственный брак? он проявляется в течении 1-2 дня работы
общие бекапы делаются каждый день

откуда у вас такой страх к ссд?
наш хостинг юзает ссд с 2012 года, и пока не было ни одного случая сбое
jnet.kz/LiO/2012/04/06/nash-pervyy-server-na-ssd.html тут тоже поднимал тему «страхов»
ruzmat
Износ у вас не будет день в день одинаковый, вы увидите что вылетит диск тут же поменяете.

Страха нету абсолютно никакого, мы тоже используем SSD вот только в RAID 1 (Intel)
LiO
поспорю. износ один в один. потому что идет зеркальная запись 1 диска на другой.

Те изменения что есть на 1м автоматом производятся на 2м. если допустим износ диска №1 80% то столько же будет и на 2м.

Единственный плюс в рейд 1 для ссд это если физически что-то произойдет с одним из дисков. Но это оч маловероятно. Больше шансов с простыми хардами – там масса механических узлов. Головки, диски и т.д.

Варианты выхода ссд:

1. брак – проявится почти сразу
2. износ блоков (количество записей) – smart даст инфо об этом, да и запас зачастую огромный. При 2х летнем износе диска и записи чуть более 100 тб в смарте износ всего на 14%
3. износ блоков (по времени) там времени от 1 до 2 лямов частов
4. перегрев и из воздействия на диск. тут уже и рейд не спасет. да и маловероятно. новые сервера отключатся по датчикам задолго до критического порога

Самый лучший выход все же бекапы. Полные бекапы. Чтоб при сбое можно было за считанные минуты развернуть рабочий бекап.
ruzmat
Ну сделайте так чтобы ресурсы разные были, это намного надежнее.
Чем в панике что всё упало поднимать бэкапы.

К примеру запустить RAID 1, пускай поработает полгода, снять 1 дсик и заменить новым, тем самым разный ресурс.

Возможно я не прав :)
Моё мнение просто…
Denisc
Ресурсы говорите. Вот у меня один диск говорит так, который уже почти год работает как кеш — на него пишется все, что читается:

Size: 100 GB
Model: ATA MK0100GCTYU
Usage remaining: 98.07%
Estimated Life Remaining based on workload to date: 11727 days

11727 дней на 365 разделить :)
LiO
не понял так вы не используете ссд для клиентов, а используете их для кеширования?
Denisc
А тут я не понял, что имеете ввиду? Кеширование это что, не для клиентов? :)
LiO
это в смысле не сами ссд клиентам давать, а делать кеширование через рейд контроллеры или др. способами. бюджетные варианты
Denisc
Знаете, что самое обидное? Когда ставишь на сервере 4 дорогих SSD в RAID 1+0, переносишь туда клиентов и тестируешь скорость работы. А потом переносишься еще раз на «бюджетный вариант» а разницы то никакой не видно…

У нас не самое «бюджетное» решение, отдельный контроллер, лицензия на это кеширование на уровне железа, не самый дешевый SSD.

Про решение, если интересно, можете почитать вот тут:
h18004.www1.hp.com/products/servers/proliantstorage/arraycontrollers/smartcache/

На более новых серверах и более новых контроллерах поддерживается сразу кеш для чтения и для записи. 2 небольших SSD в зеркало, остальные данные на SAS и производительность почти 1 в 1 как на чистых SSD, а места в разы больше.
LiO
«а разницы то никакой не видно» как это? тоесть вы хотите сказать что допустим сас харды в рейд 10 + кеш на ссд дают такое же IOPS как и ссд? :) любой желающий может в этом убедится. скажем купив shdd харды. да они на порядок быстрее чем простые харды, но им до ссд оч далеко.

да и зачем надо было ставить в рейд 1 ссд харды?

«Когда ставишь на сервере 4 дорогих SSD в RAID 1+0, » у вас скорее всего уже были сас харды в наличии вот вы и выбрали бюджетный вариант с ссд кешированием. а по цене сейчас ссд уже обошли сас того же HP к примеру. хотя странно что самая передовая хостинг компания казахстан!!! экономит на железе и клиентах. но уверен что я ошибся в своих выводах.

немного цен
HDD HP/SAS/1000 Gb/7200 rpm/6G SFF (2.5-inch) SC Midline ~140 тыс тнг (и это мало скоростной!!!) а 300 гб на 10к оборота последнюю цену что я помню ~30 тыс тнг
SSD диск SAMSUNG 1TB 850 EVO Series 2.5 ~ 122 тыс тнг
Denisc
Сколько у вас сейчас на серверах IOPS на чтение и на запись?

А ставить десктопные винты в сервера это разве не экономия? :)
LiO
замеры на самом сервере по IOPS не делал, но нагруз на 15-20% по атоп
делали замеры ссд до установки, на простом компе, они близки к заявленной производителем. хотя на сервере еще и плюс дает кеш на рейд контроллере. да и тестировали на винде ;)

«А ставить десктопные винты в сервера это разве не экономия? :)» это не экономия, если и их хватает за глаза (ресурсов записи).
и IOPS тот же что и на серверных. там разница только в ресурсах на износ. вообще термин серверные в ссд это маркетинг не более.

используйте допустим 500 гб только на половину, а остальную оставьте не размеченной и вот тебе уже «серверный» вариант :)

экономия это если бы я заюзал ссд кеш для своих 8 установленных сас хардов по 300 гб :) ибо «они та есть?» или допустим поставил бы не цпанель для клиентов, а скажем «ипсвсякие» с ущербным функционалом, но менее нагруженной на проц. ну или не делал бы бекапы на другой сервер или предлагал его за деньги :)
Denisc
Так сделайте замеры, это ведь не сложно и посмотрите на цифры, возможно, что они вас очень сильно удивят.

Ну да, все экономия это маркетинг :) Ресурс «серверных» дисков во сколько раз больше, в 10? Профессиональный, серверные, больше ресурс — голый маркетинг.

Еще раз уточняю — я лично протестировал производительность-нагрузку всех решений — чистый SSD, SSD в рейде, SSD кеширования и не увидел какой-то разницы. Нагрузка виртуального хостинга не такая огромная, что бы использовать всю мощь SSD на 100%.

Посмотрите на количество операций на серверах и поделитесь информацией. Можете написать в процентах от «максимальной» нагрузки SSD диска.
ruzmat
Бэкапы это само собой, без этого никак, тут основная суть это простой…
LiO
И так какие варианты у нас есть?

1. рейд 1. = 2 харда пишут друг на друга. но у них в теории и общий износ идет, при слете 1 на подходе и 2й

2. рейд 1 но с разными ресурсами (по времени) = допустим 1 хард работает 1 год, а 2й подключили 2 мес назад. ресурсы разные, износ разный. При слете самого старшего в теории «младший» останется жив.

3. рейд 1 на разных по объему хардах = допустим 1 хард на 500 гб, а 2й на 1тб. Это позводит 2й который на 1тб увеличить износ и быть «гарантием». Но тут не все рейд контроллеры смогут это позволить сделать (не скажу точно), так что этот вариант скорее всего можно реализовать софтрейд.

ничего не забыл?
ruzmat
Идея с объемом тоже хорошая…
ruzmat
К примеру REG.RU использует SSD Intel 3500.3700 они в RAID 10

Источник: habrahabr.ru/company/regru/blog/242121/
LiO
написать много чего можно :)

по примеру jnet.kz/lioprograms/2015/04/05/razocharovanie-rossiyskim-hostingom.html лучше 100 раз проверить. хотя рейд не проверишь

ну даже использование рейд1 не избавляет от его «минусов»
LiO
к слову. поищите рейд контроллеры (точно не помню их название) которые кешат на ссд. то есть ряд простых хардов с наших магазов на 1-4тб + ссд подешевле дают примерно скорость сас на 15к в рейде.
еще есть ссд кеш в вмваре

оба варианта дешевое решение. да и при слете ссд херится только сам кеш.
ruzmat
Это я и сам прекрасно знаю, суть не в этом…

Зачем включать кэш когда собираете рейд из SSD дисков.
LiO
я тоже не про кеш для ссд
Denisc
Кеши бывают разные. Есть только на чтение, а есть чтение + запись. При использовании второго варианта разницы в скорости нет — горячие данные обрабатываются ssd, холодные живут на sas-sata.
Denisc
Картинки у них красивые, только это маркетинг.

Кто хоть раз собирал и тестировал RAID 1+0 из SSD понимает, что в реальности циферок таких нет. Да, если тестировать только чтение — будет много. Только запись — тоже много. А вот когда идет реальная нагрузка, где смешанное чтение и запись — цифры резко меняются, и никаких 50-80 000 операций в секунду не увидеть.

Да и на боевых серверах что должно быть, что бы нагрузило SSD на 100%? :)
Denisc
По моему опыту есть 2 варианта брака — появился сразу или отработал 3-6 месяцев и умер. Хорошо, если сразу на тестах — DOA, а если брак — может и несколько месяцев нормально отработать :)
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.