1. Forum
  2. FidoNet Russia
  3. RU.LINUX

  • Снапшоты

    From Michael Dukelsky@2:5020/1042 to All on Tue May 21 09:24:30 2024
    Привет, All!

    Хотелось использовать снапшоты на рутовом разделе на RAID1 для резервного копирования со снапшота. Потестировал btrfs. Тестирование закончилось крэшем, после которого восстановление из снапшота было невозможно.

    Теперь вопрос про LVM. асколько надёжна конфигурация RAID1 (два диска) поверх LVM поверх dm-integrity. ичего от LVM кроме dm-integrity и снапшотов не нужно.

    Желаю успехов, All!
    За сим откланиваюсь, Michael.

    ... node (at) f1042 (dot) ru
    --- GoldED+/LNX 1.1.5-b20240309
    * Origin: ==<<.f1042.ru.>>== (2:5020/1042)
  • From Dmitry Protasoff@2:5001/100.1 to Michael Dukelsky on Tue May 21 08:27:45 2024
    Hello, Michael!

    Tuesday May 21 2024 09:24, you wrote to All:

    закончилось крэшем, после которого восстановление из снапшота было невозможно.

    Как ты этого добился? Для RAID1 средствами btrfs - это очень устойчивая конфигурация, у меня с десяток серверов живу на btrfs.


    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Sergey Anohin@2:5034/10.1 to Michael Dukelsky on Tue May 21 12:37:41 2024
    Hello, Michael!

    Теперь вопрос про LVM. асколько надёжна конфигурация RAID1 (два диска) поверх LVM поверх dm-integrity. ичего от LVM кроме dm-integrity и снапшотов не нужно.

    Работает, но если развалится чинить говорят трудно, сам не чинил. А чего ZOL не хочешь попробовать? Там повеселее чем brtfs,
    правда рамы надо много и ECC бы крайне надо и nvme под L2 кеш, оверхед?

    С наилучшими пожеланиями, Sergey Anohin.

    --- wfido
    * Origin: https://5034.ru/wfido (2:5034/10.1)
  • From Alexey Vissarionov@2:5020/545 to Michael Dukelsky on Tue May 21 16:17:20 2024
    Доброго времени суток, Michael!
    21 May 2024 09:24:30, ты -> All:

    Хотелось использовать снапшоты на рутовом разделе на RAID1 для
    резервного копирования со снапшота. Потестировал btrfs. Тестирование закончилось крэшем, после которого восстановление из снапшота было невозможно.

    Вполне закономерно.

    Теперь вопрос про LVM. асколько надёжна конфигурация RAID1
    (два диска) поверх LVM поверх dm-integrity. ичего от LVM кроме dm-integrity и снапшотов не нужно.

    Еще хуже.


    З.Ы. (Замечу Ышо): более-менее работает оно с ZFS, но там свои чудеса, и для промышленного применения я такую конфигурацию применять все же не советую.

    --
    Alexey V. Vissarionov aka Gremlin from Kremlin
    gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

    ... Алкоголь - средство для превращения черной тоски в белую горячку
    --- /bin/vi
    * Origin: ::1 (2:5020/545)
  • From Dmitry Protasoff@2:5001/100.1 to Sergey Anohin on Tue May 21 13:24:10 2024
    Hello, Sergey!

    Tuesday May 21 2024 12:37, you wrote to Michael Dukelsky:

    чего ZOL не хочешь попробовать? Там повеселее чем brtfs, правда рамы
    надо много и ECC бы крайне надо и nvme под L2 кеш, оверхед?

    ZFS на RAID1 особо ничем не лучше btrfs, а ECC вовсе не обязательна - в случае с битой памятью проблемы будут на любой FS.

    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Michael Dukelsky@2:5020/1042 to Dmitry Protasoff on Tue May 21 17:05:30 2024
    Привет, Dmitry!

    21 May 2024 08:27, Dmitry Protasoff послал(а) письмо к Michael Dukelsky:

    закончилось крэшем, после которого восстановление из снапшота
    было невозможно.
    Как ты этого добился? Для RAID1 средствами btrfs - это очень
    устойчивая конфигурация, у меня с десяток серверов живу на btrfs.

    Да вроде бы ничего особенного не делал. Установил на десктоп Fedora 39 с btrfs и snapper. Снапшоты делались автоматом до и после установки обновлений и сразу после загрузки ОС. Удаление более старых снапшотов, когда их количество больше 50. Там же запускал виртуальные машины в KVM/QEMU. Это работало месяца два. Во время работы в виртуальной машине оно всё и гавкнулось. После этого оставил на ночь проверку памяти с memtest86+. Ошибок не найдено.

    Желаю успехов, Dmitry!
    За сим откланиваюсь, Michael.

    ... node (at) f1042 (dot) ru
    --- GoldED+/LNX 1.1.5-b20240309
    * Origin: ==<<.f1042.ru.>>== (2:5020/1042)
  • From Michael Dukelsky@2:5020/1042 to Alexey Vissarionov on Tue May 21 17:19:10 2024
    Привет, Alexey!

    21 May 2024 16:17, Alexey Vissarionov послал(а) письмо к Michael Dukelsky:

    Хотелось использовать снапшоты на рутовом разделе на RAID1 для
    резервного копирования со снапшота. Потестировал btrfs.
    Тестирование закончилось крэшем, после которого восстановление из
    снапшота было невозможно.

    Вполне закономерно.

    Теперь вопрос про LVM. асколько надёжна конфигурация RAID1
    (два диска) поверх LVM поверх dm-integrity. ичего от LVM кроме
    dm-integrity и снапшотов не нужно.

    Еще хуже.


    З.Ы. (Замечу Ышо): более-менее работает оно с ZFS, но там свои чудеса,
    и для промышленного применения я такую конфигурацию применять все же
    не советую.

    То есть, по-твоему, снапшоты лучше оставить в покое? А что скажешь по поводу software RAID1 over dm-integrity без LVM?

    Желаю успехов, Alexey!
    За сим откланиваюсь, Michael.

    ... node (at) f1042 (dot) ru
    --- GoldED+/LNX 1.1.5-b20240309
    * Origin: ==<<.f1042.ru.>>== (2:5020/1042)
  • From Dmitry Protasoff@2:5001/100.1 to Michael Dukelsky on Tue May 21 14:31:44 2024
    Hello, Michael!

    Tuesday May 21 2024 17:05, you wrote to me:

    Как ты этого добился? Для RAID1 средствами btrfs - это очень
    устойчивая конфигурация, у меня с десяток серверов живу на btrfs.

    Да вроде бы ничего особенного не делал. Установил на десктоп Fedora 39
    с btrfs и snapper. Снапшоты делались автоматом до и после установки обновлений и сразу после загрузки ОС. Удаление более старых снапшотов, когда их количество больше 50. Там же запускал виртуальные машины в KVM/QEMU. Это работало месяца два. Во время работы в виртуальной
    машине оно всё и гавкнулось. После этого оставил на ночь проверку

    А гавкнулось - это в каком виде? Как выглядело?

    памяти с memtest86+. Ошибок не найдено.

    Последний раз у меня накрывалась btrfs на Orange PI с нестабильным питанием, когда запись на nvme прекращалась в произвольные моменты времени, но это логично, что в таком виде оно сломается.
    Чтобы оно сломалось на ровном месте - это очень странно. Вот прямо сейчас использую на компьютере с Windows (!) в WSL2 BTRFS с RAID1 для 16 Tb диска с базой Clickhouse, снэпшоты тоже используются.
    А так то и ZFS я битую видел (у себя в том числе)..

    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Michael Dukelsky@2:5020/1042 to Dmitry Protasoff on Tue May 21 18:26:48 2024
    Привет, Dmitry!

    21 May 2024 14:31, Dmitry Protasoff послал(а) письмо к Michael Dukelsky:

    А гавкнулось - это в каком виде? Как выглядело?

    В виртуальной машине всё зависало. Увеличил число ядер на эту VM. Всё равно через некоторое время полный залип: ничего невозможно сделать. Вышел из виртуальной машины, сделал перезагрузку хоста - чёрный экран. После загрузки с Live CD обнаружил, что часть файлов на хосте исчезла. Возиться с расследованием, что и почему исчезло, не стал. Просто переставил всё уже на xfs.

    Последний раз у меня накрывалась btrfs на Orange PI с нестабильным питанием, когда запись на nvme прекращалась в произвольные моменты времени, но это логично, что в таком виде оно сломается. Чтобы оно сломалось на ровном месте - это очень странно. Вот прямо сейчас
    использую на компьютере с Windows (!) в WSL2 BTRFS с RAID1 для 16 Tb
    диска с базой Clickhouse, снэпшоты тоже используются.

    То есть btrfs не на рутовом разделе.

    А так то и ZFS я битую видел (у себя в том числе)..

    Это обнадёживает...

    Желаю успехов, Dmitry!
    За сим откланиваюсь, Michael.

    ... node (at) f1042 (dot) ru
    --- GoldED+/LNX 1.1.5-b20240309
    * Origin: ==<<.f1042.ru.>>== (2:5020/1042)
  • From Dmitry Protasoff@2:5001/100.1 to Michael Dukelsky on Tue May 21 15:55:16 2024
    Hello, Michael!

    Tuesday May 21 2024 18:26, you wrote to me:

    А гавкнулось - это в каком виде? Как выглядело?

    В виртуальной машине всё зависало. Увеличил число ядер на эту VM. Всё равно через некоторое время полный залип: ничего невозможно сделать.
    Вышел из виртуальной машины, сделал перезагрузку хоста - чёрный экран. После загрузки с Live CD обнаружил, что часть файлов на хосте исчезла.

    Жалко, что нельзя понять, что исчезло..

    То есть btrfs не на рутовом разделе.

    У btrfs с RAID1 на рутовом разделе есть главный минус - он не работает приперезагрузке при выходе из строя одного диска.
    Т.е. надо руками вмешиваться.

    Поэтому на руте ее держать не советую.

    А так то и ZFS я битую видел (у себя в том числе)..

    Это обнадёживает...

    Главное преимущество ZFS и BTRFS - ты всегда узнаешь, что твои данные побились.

    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Mikhail Sgibnev@2:5020/1146.122 to Michael Dukelsky on Tue May 21 18:46:40 2024
    Здpавствуй, Michael!

    Вторник 21 Мая 2024 09:24, ты писал(а) All:

    Хотелось использовать снапшоты на рутовом разделе на RAID1 для
    резервного копирования со снапшота. Потестировал btrfs. Тестирование закончилось крэшем, после которого восстановление из снапшота было невозможно.

    Теперь вопрос про LVM. Hасколько надёжна конфигурация RAID1 (два
    диска) поверх LVM поверх dm-integrity. Hичего от LVM кроме
    dm-integrity и снапшотов не нужно.

    Hастоятельно рекомендую использовать ZFS - ФС надёжна, влёчет небольшие накладные расходы по IOPS. Снапшот легко передается куда надо через zfs-send и просто восстанавливается.

    С уважением - Mikhail
    --- -Уютно у вас, а только странно. И солнца мало.
    * Origin: А мы народ трудящийся... (2:5020/1146.122)
  • From Mikhail Sgibnev@2:5020/1146.122 to Sergey Anohin on Tue May 21 18:50:24 2024
    Здpавствуй, Sergey!

    Работает, но если развалится чинить говорят трудно, сам не чинил. А
    чего ZOL не хочешь попробовать? Там повеселее чем brtfs, правда рамы
    надо много и ECC бы крайне надо и nvme под L2 кеш, оверхед?

    Hет, не надо много RAM, минимум 4Гб, но это, по нынешним временам, не серьезно. Hаличие ECC тоже весьма преувеличено. Какой кэш на nvme, откуда это?

    Чтобы не быть голословным, вот у меня на машине:
    mixaasgard: zfs list
    NAME USED AVAIL REFER MOUNTPOINT
    mypool 5.16T 1.98T 5.13T /mypool

    mixaasgard: zpool status
    pool: mypool
    state: ONLINE
    scan: resilvered 54.0M in 00:00:03 with 0 errors on Fri Jan
    5 13:25:402024
    config:

    NAME STATE READ WRITE CKSUM
    mypool ONLINE 0 0 0
    mirror-0 ONLINE 0 0 0
    sda ONLINE 0 0 0
    sdb ONLINE 0 0 0

    errors: No known data errors



    С уважением - Mikhail
    --- -Уютно у вас, а только странно. И солнца мало.
    * Origin: А мы народ трудящийся... (2:5020/1146.122)
  • From Dmitry Protasoff@2:5001/100.1 to Mikhail Sgibnev on Tue May 21 16:44:27 2024
    Hello, Mikhail!

    Tuesday May 21 2024 18:50, you wrote to Sergey Anohin:

    Hет, не надо много RAM, минимум 4Гб, но это, по нынешним временам, не серьезно. Hаличие ECC тоже весьма преувеличено. Какой кэш на nvme,
    откуда это?

    К слову - на nvme zfs прямо скажем, не блещет..

    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Alexey Vissarionov@2:5020/545 to Michael Dukelsky on Tue May 21 21:54:00 2024
    Доброго времени суток, Michael!
    21 May 2024 17:19:10, ты -> мне:

    Хотелось использовать снапшоты на рутовом разделе на RAID1 для
    резервного копирования со снапшота. Потестировал btrfs.
    Тестирование закончилось крэшем, после которого восстановление из
    снапшота было невозможно.
    Вполне закономерно.
    Теперь вопрос про LVM. асколько надёжна конфигурация RAID1
    (два диска) поверх LVM поверх dm-integrity. ичего от LVM кроме
    dm-integrity и снапшотов не нужно.
    Еще хуже.
    З.Ы. (Замечу Ышо): более-менее работает оно с ZFS, но там свои
    чудеса, и для промышленного применения я такую конфигурацию
    применять все же не советую.
    То есть, по-твоему, снапшоты лучше оставить в покое? А что скажешь
    по поводу software RAID1 over dm-integrity без LVM?

    Device mapper == потеря данных.

    Выковырять их можно, но долго и дорого (время и цена возрастают линейно от объема и экспоненциально от количества устройств), а получается не всегда.


    --
    Alexey V. Vissarionov aka Gremlin from Kremlin
    gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

    ... е обижайся, если тебя назвали дураком - обижайся, если угадали
    --- /bin/vi
    * Origin: ::1 (2:5020/545)
  • From Alexey Vissarionov@2:5020/545 to Mikhail Sgibnev on Tue May 21 22:38:38 2024
    Доброго времени суток, Mikhail!
    21 May 2024 18:50:24, ты -> Sergey Anohin:

    Работает, но если развалится чинить говорят трудно, сам не чинил. А
    чего ZOL не хочешь попробовать? Там повеселее чем brtfs, правда рамы
    надо много и ECC бы крайне надо и nvme под L2 кеш, оверхед?
    Hет, не надо много RAM, минимум 4Гб, но это, по нынешним временам, не серьезно. Hаличие ECC тоже весьма преувеличено. Какой кэш на nvme,
    откуда это?
    Чтобы не быть голословным, вот у меня на машине:
    mixaasgard: zfs list
    NAME USED AVAIL REFER MOUNTPOINT
    mypool 5.16T 1.98T 5.13T /mypool

    Такое ощущение, что у тебя там ZFS ради ZFS - то есть, просто чтобы с ним потренироваться работать.

    Потому что даже на вот таком скромном домашнем хранилище хватает XFS:

    gremlin@warez:~ > df -h .
    Filesystem Size Used Avail Use% Mounted on
    /dev/loop0 37T 7.8T 29T 22% /home


    --
    Alexey V. Vissarionov aka Gremlin from Kremlin
    gremlin ПРИ gremlin ТЧК ru; +vii-cmiii-ccxxix-lxxix-xlii

    ... Лучшее средство от похмелья - не пить накануне
    --- /bin/vi
    * Origin: ::1 (2:5020/545)
  • From Sergey Anohin@2:5034/10.1 to Mikhail Sgibnev on Wed May 22 11:55:18 2024
    Hello, Mikhail!

    Hет, не надо много RAM, минимум 4Гб, но это, по нынешним временам, не серьезно. Hаличие ECC тоже весьма преувеличено. Какой кэш на nvme, откуда это?

    а сколько я помню рекомендации 1ТБ на 1ГБ рамы, ну кеш L2 опционал конечно, с ним скорости получше.

    С наилучшими пожеланиями, Sergey Anohin.

    --- wfido
    * Origin: https://5034.ru/wfido (2:5034/10.1)
  • From Sergey Anohin@2:5034/10.1 to Dmitry Protasoff on Wed May 22 11:57:48 2024
    Hello, Dmitry!

    ZFS на RAID1 особо ничем не лучше btrfs, а ECC вовсе не обязательна - в случае с битой памятью проблемы будут на любой FS.

    В zfs же не изобрели fsck? В случае битых данных у меня бывали паники ядра, правда не на эхотаге, но ладно.

    С наилучшими пожеланиями, Sergey Anohin.

    --- wfido
    * Origin: https://5034.ru/wfido (2:5034/10.1)
  • From Dmitry Protasoff@2:5001/100.1 to Sergey Anohin on Wed May 22 09:19:38 2024
    Hello, Sergey!

    Wednesday May 22 2024 11:57, you wrote to me:

    ZFS на RAID1 особо ничем не лучше btrfs, а ECC вовсе не
    обязательна - в случае с битой памятью проблемы будут на любой
    FS.

    В zfs же не изобрели fsck? В случае битых данных у меня бывали паники

    Если сами данные битые - то никакой fsck не поможет. fsck чинит файловую систему, а не данные ана ней :)

    ядра, правда не на эхотаге, но ладно.

    В случае какой-нибудь ext4 - о том, что данные побились - можно просто и не узнать никогда, вплоть до момента, когда что-то перестанет работать.

    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Sergey Anohin@2:5034/10.1 to Dmitry Protasoff on Wed May 22 13:33:45 2024
    Hello, Dmitry!

    В zfs же не изобрели fsck? В случае битых данных у меня бывали паники
    Если сами данные битые - то никакой fsck не поможет. fsck чинит файловую систему, а не данные ана ней :)

    ну я в общем про то и имел ввиду...

    ядра, правда не на эхотаге, но ладно.
    В случае какой-нибудь ext4 - о том, что данные побились - можно просто и не узнать никогда, вплоть до момента, когда что-то перестанет работать.

    В моем случае было так: заходишь (или обращаешься) в каталог с битыми вещами и получаешь панику )


    С наилучшими пожеланиями, Sergey Anohin.

    --- wfido
    * Origin: https://5034.ru/wfido (2:5034/10.1)
  • From Dmitry Protasoff@2:5001/100.1 to Sergey Anohin on Wed May 22 10:55:42 2024
    Hello, Sergey!

    Wednesday May 22 2024 13:33, you wrote to me:

    ядра, правда не на эхотаге, но ладно.
    В случае какой-нибудь ext4 - о том, что данные побились - можно
    просто и не узнать никогда, вплоть до момента, когда что-то
    перестанет работать.

    В моем случае было так: заходишь (или обращаешься) в каталог с битыми вещами и получаешь панику )

    Есть еще то, что называется Bit rot - битые данные, возникающие во время длительного хранения на носителе, использующем магнитное поле для записи информации.

    Записали файл, а потом прочитали - а все, какой-то бит поменялся. И никто не заметил (ну кроме scrub на ZFS).

    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)
  • From Mikhail Sgibnev@2:5020/1146.122 to Alexey Vissarionov on Wed May 22 14:41:46 2024
    Здpавствуй, Alexey!

    Вторник 21 Мая 2024 22:38, ты писал(а) мне:

    Такое ощущение, что у тебя там ZFS ради ZFS - то есть, просто чтобы с
    ним потренироваться работать.

    Это два 8Т HDD на домашнем писюке в зеркале, сама система на nvme под ext4. Фоточки и прочее, что жалко потерять. Hо согласен, на СХД смысл в ZFS только в особых случаях. Hу или на особом железе - Supercluster/Exadata, например.

    С уважением - Mikhail
    --- -Уютно у вас, а только странно. И солнца мало.
    * Origin: А мы народ трудящийся... (2:5020/1146.122)
  • From Dmitry Protasoff@2:5001/100.1 to Mikhail Sgibnev on Thu May 23 15:43:33 2024
    Hello, Mikhail!

    Wednesday May 22 2024 14:41, you wrote to Alexey Vissarionov:

    ext4. Фоточки и прочее, что жалко потерять. Hо согласен, на СХД смысл
    в ZFS только в особых случаях. Hу или на особом железе -

    А почему только в особых то случаях? У меня много лет жил ZFS based home data storage на raidz1, плюсы:

    1. Удобный software RAID, работающий на уровне файловой системы
    2. Контроль за консистентностью данных (защита от всяких bit rot)
    3. Снэпшоты для бэкапа и перекидывания на удаленные сервера всяких локальных БД.
    4. Шифрование - в случае маски-шоу данные на дисках никому не доступны, ключ подгружается при загрузке из хранилища за границей, при определенных условиях оно превращается в тыкву
    5. Hе смотря на тормоза - использовал для всяких свалок дедупликацию, ибо скорость была не важна, а место экономилось очень сильно - потом просто разбирал их, когда руки доходили

    Сейчас просто потребность в нем отпала - из одного большого ZFS storage появились 3 отдельных:

    1. Hа NVME все что требует скорости (не под linux)
    2. Hа local HDD Clickhouse (в WSL2)
    3. Hа внешнем USB storage с drivepool+snapraid помойка (вообще не под linux).



    Best regards,
    dp.

    --- GoldED+/LNX 1.1.5-b20230304
    * Origin: All is good in St. John's Wood (2:5001/100.1)