• Так ли плох dmraid ?

    From Dmitriy Orlov@2:5090/958.1 to All on Sat Aug 14 15:13:56 2021
    Привет All!

    В инете все пишут что dmraid зло ужасное! Hо я помню когда-то давным давно настраивал виндовый сервер еще для 1C 7.7 и поставил его подняв Raid на материнской плате.

    Работал он долго и стабильно, потом уже модернизировали железо и переехали на 1С восьмерку, а этот системник списали.

    Тогда я уже специально пытался его положить - отключал винты на горячую, потом снова подключал, но они ребилделись и он похал дальше пока его в конце концов не выключили навсегда.

    В общем на практике ничего плохого не могу сказать про материнский рэйд, но в инете его матерят чуть ли не на каждом форуме.

    У кого нибудь были траблы с этими рэйдами? Hо только не по рассказам, а на личном опыте?

    Пока.
    Dmitriy
    --- Merisel packet v1.2
    * Origin: Hello world! (2:5090/958.1)
  • From Alexey Vissarionov@2:5020/545 to Dmitriy Orlov on Tue Aug 17 00:15:50 2021
    Доброго времени суток, Dmitriy!
    14 Aug 2021 15:13:56, ты -> All:

    В инете все пишут что dmraid зло ужасное!

    Правильно пишут.

    Hо я помню когда-то давным давно настраивал виндовый сервер

    С проприетарными драйверами? А какое отношение это имеет к эхотагу?

    У кого нибудь были траблы с этими рэйдами? Hо только не по рассказам,
    а на личном опыте?

    Есть опыт восстановления данных (в том числе за хорошие деньги) практически со всех типов массивов. Общие впечатления примерно такие:

    1. Полноценный аппаратный RAID. Опознается по наличию поддержки RAID-5 и иногда его дальнейших модификаций - RAID-5.1 и RAID-6. Реально хорош, но если дохнет контроллер - нужно искать точно такой же (а иногда просто покупать запасной с самого начала, чтобы лежал на полочке). А так все пряники вплоть до кеша, но и ценник соответствующий.

    2. Полусофтовый RAID. В реальности - просто контроллер для подключения жестких дисков, который дополнительно хранит информацию для драйвера SoftRAID. Сочетает недостатки аппаратного RAID-контроллера (привязка к оборудованию) и софтовых реализаций. Железо рекомендуется использовать в качестве обычного дискового контроллера, а массив сделать полностью софтовым (следующий пункт).

    3. Классический SoftRAID. Полностью реализуется средствами эхотажного ядра, выглядит как устройства /dev/md0.../dev/md127 и программа mdadm для управления оными. Абсолютно неубиваемая штука, поддерживает размещение корня на зеркале (RAID-1) из любого количества дисков, при использовании syslinux (extlinux) поддерживает fallback загрузки, если /dev/sda внезапно сдох (это, разумеется, требует настройки, но ничего сложного в ней нет). Иногда называется MD RAID (соответствующие параметры конфигурации ядра называются CONFIG_MD_RAID*). е следует путать с DM RAID (следующий пункт). Рекомендуется для промышленной эксплуатации на компутерах, не оснащенных аппаратными RAID-контроллерами.

    4. DM RAID. Реализован поверх Device Mapper (ядерный параметр CONFIG_DM_RAID), поэтому наследует все его недостатки, включая плавающий баг в арифметике (при определенных условиях неправильно вычисляется адрес блока на физическом диске). Использование для чего-то кроме CONFIG_DM_MIRROR (RAID-1 через Device Mapper) может привести (и время от времени приводит) к повреждению данных. е следует путать с предыдущим пунктом. Для промышленной эксплуатации не рекомендуется. Если угораздило вляпаться (например, сервер достался по наследству от прошлого админа) - следует обязательно организовать резервное копирование на нормальное хранилище.

    5. LVM. Строго говоря, массивом не является, но разработчики этой технологии (RedHat) настолько активно ее продвигают, что я уже видел админов, которые не могли примонтировать к серверу LUN на СХД без создания для него volume group. Реализовано поверх Device Mapper (см. предыдущий пункт), полностью наследует баги оного и добавляет некоторое количество своих, не менее фееричных. Для промышленной эксплуатации не рекомендуется, резервное копирование является обязательным, чужие утверждения "у меня все работает" дополняем словом "пока".


    --
    Alexey V. Vissarionov aka Gremlin from Kremlin
    gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

    ... Связь - как воздух: пока кто-то не испортит, никто не замечает
    --- /bin/vi
    * Origin: ::1 (2:5020/545)
  • From Dmitry Protasoff@2:5001/100.1 to Dmitriy Orlov on Tue Aug 17 16:37:22 2021
    Hello, Dmitriy!

    Saturday August 14 2021 15:13, you wrote to All:

    У кого нибудь были траблы с этими рэйдами? Hо только не по рассказам,
    а на личном опыте?

    Опыт сугубо отрицательный.

    В 2021 году стоит присматриваться к ZFS, а не к маретинговым уловкам производителей материнских плат.


    Best regards,
    dp.

    --- GoldED+/W64-MSVC 1.1.5-b20180707
    * Origin: No rest for the wicked (2:5001/100.1)
  • From Eugene Grosbein@2:5006/1 to Alexey Vissarionov on Wed Aug 18 15:15:30 2021
    17 авг. 2021, вторник, в 00:15 NOVT, Alexey Vissarionov написал(а):

    В инете все пишут что dmraid зло ужасное!
    Правильно пишут.
    Hо я помню когда-то давным давно настраивал виндовый сервер
    С проприетарными драйверами? А какое отношение это имеет к эхотагу?
    У кого нибудь были траблы с этими рэйдами? Hо только не по рассказам,
    а на личном опыте?
    Есть опыт восстановления данных (в том числе за хорошие деньги) практически со
    всех типов массивов. Общие впечатления примерно такие:
    1. Полноценный аппаратный RAID.
    2. Полусофтовый RAID.
    3. Классический SoftRAID.
    4. DM RAID. Реализован поверх Device Mapper (ядерный параметр CONFIG_DM_RAID)
    5. LVM. Реализовано поверх Device Mapper (см. предыдущий пункт)

    Hа самом деле ответ на первоначальный запрос в квоте
    зависит в основном от количества багов в реализациях,
    остальное мелочи жизни.

    У полноценного аппаратного рейда недостатки являются продолжением
    его основного достоинства: он работает независимо от операционной
    системы за счет собственного специализированного процессора
    со своей оперативной и даже энергонезависимой памятью (акуумулятор), высвобождая ресурсы системы и её администратора.

    Это же и минус: со временем аппаратные ресурсы систем растут -
    мощность CPU, объёмы памяти под кеши, скорости шин и дисков,
    квалификация админа и аппаратный контроллер может стать
    ограничением сам по себе, плюс он вмешивается в доступность
    S.M.A.R.T. и т.д.

    Для зеркала разница между "полусофтовым" и "полностью софтовым"
    рейдом заключается только в моменте загрузки:
    BIOS полусофтового рейда (HostRAID) умеет находить в конце дисков
    параметры тома и обеспечивать загрузку операционки с тома
    даже при сбоях на одном из компонентов зеркала. После того как
    стартовало ядро OS, дальше уже драйвер рейда в любом случае работает
    с дисками только самостоятельно, без обращений к BIOS,
    полностью одинаково в случае полностью софтового или полусофтового рейда.

    И тут нет никакой привязки к оборудованию, на практике абсолютно
    ничего не мешает создать на дисках метки зеркала полусофтового рейда
    любого типа даже на материнке вообще без какого-либо HostRAID,
    что я неоднократно успешно делал. Hапример, существует такой
    Promise HostRAID с форматом метаданных, поддерживающим несколько
    томов на массив: можно взять два диска (или SSD), выделить
    первые N гигабайт под зеркальный том в массиве, а на остатке
    дисков создать либо один том RAID0, либо два тома SINGLE
    и отдать их операционке, скажем, под ZFS mirror, или под что угодно.

    Преимущество такого подхода в том, что по-блочное зеркало
    начала дисков гарантирует зеркалирование таблиц разбиения
    и начальных загрузчиков, при этом размер самого зеркала может
    быть очень небольшим, так что оно быстро синхронизируется.

    Плюс снимается ограничение 2TB для MBR: в массив можно
    ставить диски по 3TB или больше, зеркальный том 10GB
    размечается в MBR и любой BIOS (даже без поддержки HostRAID)
    успешно загрузит OS, которая расположена в пределах
    первых 10GB. Всё остальное пространство управляется самой
    операционной системой на основе двух томов типа SINGLE
    или одного тома RAID0 или ещё как угодно. При замене
    диска в массиве происходит быстрая синхронизация зеркала,
    не нужно ничего переразбивать и переустанавливать загрузчики,
    их по-блочно копирует драйвер рейда.

    Файловые системы с основной части дисков при этом
    никто не мешает монтировать как /usr или /home или ещё как.

    А если массив псевдо-рейда не загрузочный, то на нём
    можно и RAID5 держать без поддержки в BIOS, и что хочешь.

    Eugene
    --- slrn/1.0.3 (FreeBSD)
    * Origin: RDTC JSC (2:5006/1@fidonet)
  • From Dmitriy Orlov@2:5090/958.1 to Alexey Vissarionov on Thu Aug 19 08:24:52 2021
    Привет Alexey!

    17 Авг 21 00:15, Alexey Vissarionov -> Dmitriy Orlov:

    Hо я помню когда-то давным давно настраивал виндовый сервер
    С проприетарными драйверами? А какое отношение это имеет к эхотагу?

    А сейчас я решил так же сделать под эхотагом

    У кого нибудь были траблы с этими рэйдами? Hо только не по
    рассказам, а на личном опыте?
    Есть опыт восстановления данных (в том числе за хорошие деньги) практически со всех типов массивов. Общие впечатления примерно такие:

    Ого! Огромное спасибо за такой развёрнутый ответ!
    До твоего письма я думал что вот эти два пункта одно и то же:

    2. Полусофтовый RAID. В реальности - просто контроллер для

    [skip]

    4. DM RAID. Реализован поверх Device Mapper (ядерный параметр


    Пока.
    Dmitriy
    --- Merisel packet v1.2
    * Origin: Hello world! (2:5090/958.1)