RAID - [решено] Не собирается RAID10 в NAS Thecus N12000

[Falcon99]

В NAS Thecus N12000 был собран RAID10 из жестких дисков WD по 4 Тб (WD4000FYYZ-01UL1B0). Два диска вышли из строя, из-за большого количества переназначенных секторов. Купили два на замену. Сначали устновили один, произвели сборку, потом установили еще один. А вот с ним произошла проблема, сборка завершалась ошибкой и RAID не восстанавливался. И тут пришла "светлая" идея. Достали рабочий исправный винт из Raid'a и на его место воткнули который не захотел собираться, на освободившее место поставили проблемный винт после тестирования, при котором была поизведена его очистка. Но RAID так и не захотел собираться, т.е. в Web странице панели управления NAS о состоянии RAID просто пустое место. Вернули все обратно. Но улучшений нет. Прочитал что надо подключится через SSH и посмотреть состояние RAID через mdadm. Посомтрел, но понимания сильно не добаляется. Что делать дальше понять не могу. Прошу совета.

Состояние RAID из консоли Putty:



Код:

Код: Выделить всё

N12000:~# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath]
md0 : active raid10 sda2[12] sdl2[11] sde2[14] sdi2[8] sdh2[7] sdg2[6] sdf2[5] sdj2[13] sdd2[3] sdc2[2]
      23426222976 blocks super 1.2 64K chunks 2 near-copies [12/10] [U_UUUUUUUU_U]
md50 : active raid1 sda3[12] sde3[14] sdi3[8] sdh3[7] sdg3[6] sdf3[5] sdj3[13] sdd3[3] sdc3[2]
      524276 blocks super 1.2 [12/9] [U_UUUUUUUU__]
md10 : active raid1 sdb1[1] sda1[12] sde1[14] sdj1[13] sdi1[8] sdh1[7] sdg1[6] sdf1[5] sdl1[11] sdd1[3] sdc1[2]
      2096116 blocks super 1.2 [12/11] [UUUUUUUUUUU_]
unused devices: 
N12000:~# mdadm -D /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Wed Jan 15 10:39:13 2014
     Raid Level : raid10
     Array Size : 23426222976 (22340.99 GiB 23988.45 GB)
  Used Dev Size : 3904370496 (3723.50 GiB 3998.08 GB)
   Raid Devices : 12
  Total Devices : 10
    Persistence : Superblock is persistent
    Update Time : Tue Mar  5 15:09:31 2019
          State : clean, degraded
 Active Devices : 10
Working Devices : 10
 Failed Devices : 0
  Spare Devices : 0
         Layout : near=2
     Chunk Size : 64K
           Name : N12000:0  (local to host N12000)
           UUID : 10a5d87c:3a8c2422:f89f1d35:f7cd8007
         Events : 1828009
    Number   Major   Minor   RaidDevice State
      12       8        2        0      active sync   /dev/sda2
       1       0        0        1      removed
       2       8       34        2      active sync   /dev/sdc2
       3       8       50        3      active sync   /dev/sdd2
      13       8      146        4      active sync   /dev/sdj2
       5       8       82        5      active sync   /dev/sdf2
       6       8       98        6      active sync   /dev/sdg2
       7       8      114        7      active sync   /dev/sdh2
       8       8      130        8      active sync   /dev/sdi2
      14       8       66        9      active sync   /dev/sde2
      10       0        0       10      removed
      11       8      178       11      active sync   /dev/sdl2

[Falcon99]

Запустил принудительно сканирование, ситуация улучшилась:



Код:

Код: Выделить всё

N12000:~# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath]
md0 : active raid10 sdb2[15] sda2[12] sdl2[11] sde2[14] sdi2[8] sdh2[7] sdg2[6] sdf2[5] sdj2[13] sdd2[3] sdc2[2]
      23426222976 blocks super 1.2 64K chunks 2 near-copies [12/11] [UUUUUUUUUU_U]
md50 : active raid1 sdb3[1] sda3[12] sde3[14] sdi3[8] sdh3[7] sdg3[6] sdf3[5] sdj3[13] sdd3[3] sdc3[2]
      524276 blocks super 1.2 [12/10] [UUUUUUUUUU__]
md10 : active raid1 sdb1[1] sda1[12] sde1[14] sdj1[13] sdi1[8] sdh1[7] sdg1[6] sdf1[5] sdl1[11] sdd1[3] sdc1[2]
      2096116 blocks super 1.2 [12/11] [UUUUUUUUUUU_]
N12000:~# mdadm -D /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Wed Jan 15 10:39:13 2014
     Raid Level : raid10
     Array Size : 23426222976 (22340.99 GiB 23988.45 GB)
  Used Dev Size : 3904370496 (3723.50 GiB 3998.08 GB)
   Raid Devices : 12
  Total Devices : 11
    Persistence : Superblock is persistent
    Update Time : Mon Mar 11 09:02:27 2019
          State : clean, degraded
 Active Devices : 11
Working Devices : 11
 Failed Devices : 0
  Spare Devices : 0
         Layout : near=2
     Chunk Size : 64K
           Name : N12000:0  (local to host N12000)
           UUID : 10a5d87c:3a8c2422:f89f1d35:f7cd8007
         Events : 2681874
    Number   Major   Minor   RaidDevice State
      12       8        2        0      active sync   /dev/sda2
      15       8       18        1      active sync   /dev/sdb2
       2       8       34        2      active sync   /dev/sdc2
       3       8       50        3      active sync   /dev/sdd2
      13       8      146        4      active sync   /dev/sdj2
       5       8       82        5      active sync   /dev/sdf2
       6       8       98        6      active sync   /dev/sdg2
       7       8      114        7      active sync   /dev/sdh2
       8       8      130        8      active sync   /dev/sdi2
      14       8       66        9      active sync   /dev/sde2
      10       0        0       10      removed
      11       8      178       11      active sync   /dev/sdl2

Но новый диск так и не устанавливается.

[Jula0071]

Покажите вывод



lsblk



df -h



parted -s /dev/sda print

parted -s /dev/sdk print



или если партеда нету, аналогичные команды gdisk:



gdisk -l /dev/sdk

gdisk -l /dev/sda



Ну и ещё lscpu, любопытства ради



PS Вообще-то при Layout : near=2 сохранность данных гарантируется только при отказе одного диска, два – уже как повезёт. Бекап есть?

[Jula0071]

Покажите вывод



lsblk



df -h



parted -s /dev/sda print

parted -s /dev/sdk print



или если партеда нету, аналогичные команды gdisk:



gdisk -l /dev/sdk

gdisk -l /dev/sda



Ну и ещё lscpu, любопытства ради



PS Вообще-то при Layout : near=2 сохранность данных гарантируется только при отказе одного диска, два – уже как повезёт. Бекап есть?

[Falcon99]

Цитата Falcon99:



mdadm /dev/md0 --add /dev/sdk

RAID - [решено] Не собирается RAID10 в NAS Thecus N12000

Ой неверно. Там же три массива, а не один. Помимо массива с данными ещё два, скорее всего под свап и под систему, из-за кастрированности тамошнего линукса мне так и не удалось выяснить, что для чего.

Нужно было скопировать таблицу разделов например с /dev/sda и собирать все три массива.



Код:

Код: Выделить всё

sgdisk /dev/sda -R /dev/sdk
sgdisk -G /dev/sdk
mdadm --manage /dev/md10 -a /dev/sdk1
mdadm --manage /dev/md50 -a /dev/sdk3
mdadm --manage /dev/md0 -a /dev/sdk2

[Jula0071]

Хреново. Остается дождаться результата spare rebuilding. И надеятся, что не станет совсем плохо. Если не будет хорошо, то тогда прийдется пометить его failed. Потом попробовать очистить, и уже потом попробую скопировать структуру раздела и сделать его присоединение заново. Кстати, а копироваться структуру можно с любого раздела, или надо сначала выястить кому он будет зеркалом?

[Falcon99]

Цитата Falcon99:



И надеятся, что не станет совсем плохо.

RAID - [решено] Не собирается RAID10 в NAS Thecus N12000

Не должно, остальные два массива RAID 1 и одним зеркалом из 12-ти больше, одним меньше – невелика беда. С другой стороны, фиг знает, что там наворотили разработчики этого фикуса. Например, как их софт к этому отнесётся, будет ли загружаться.


Цитата Falcon99:



Кстати, а копироваться структуру можно с любого раздела

RAID - [решено] Не собирается RAID10 в NAS Thecus N12000

Копируется таблица разделов физического диска. Всё равно какого из, главное чтоб рабочего (его разделы есть в списке mdstat всех трёх массивов). И ещё, забыл сказать, для чего sgdisk -G /dev/sdk – для перезаписи GUID разделов рандомом, чтоб не было копией донора (это смутит mdadm).



Почему говорил про бекап – я бы переделал массив, пожертвовав объёмом в сторону надёжности. Но для этого надо где-то данным перебомжевать...

[Jula0071]

Значит буду искать место, насколько я понимаю, лучше сделать RAID 10 на 10 дисков и два добавить для hot spare?

[Falcon99]

Цитата Falcon99:



лучше сделать RAID 10 на 10 дисков и два добавить для hot spare?

RAID - [решено] Не собирается RAID10 в NAS Thecus N12000

Да, если важна скорость записи, если не очень важна, то можно RAID6 из 10 + 2 hot spare. Да, что там за процессор, мы так и не выяснили, cat /proc/cpuinfo покажите.

Или можно сделать RAID 10 c Layout near=3 или far=3, без хотспейров.

3 вместо 2 - подзеркала строятся из трёх дисков каждое.

Для понимания near-far

http://www.ilsistemista.net/index.ph...s.html?start=1

[Falcon99]

Увы RAID так и не восстановился. Система высветила:


Цитата:



The RAID [RAID] on system [N12000] is suffering from severe disk problem.

RAID is damaged. Unfortunately, the data in RAID are lost.

Please solve the disk problem (e.g. replacing with a new hard disk).

RAID can be re-initialized later by an administrator.





Please be aware of the event(s) above. Also if necessary, please react to the

event(s).





Код:

Код: Выделить всё

N12000:~# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath]
md0 : active raid10 sdk[16](F) sdb2[15] sda2[12] sdl2[11](F) sde2[14] sdi2[8] sdh2[7] sdg2[6] sdf2[5] sdj2[13] sdd2[3] sdc2[2]
      23426222976 blocks super 1.2 64K chunks 2 near-copies [12/10] [UUUUUUUUUU__]
md50 : active raid1 sdb3[1] sda3[12] sde3[14] sdi3[8] sdh3[7] sdg3[6] sdf3[5] sdj3[13] sdd3[3] sdc3[2]
      524276 blocks super 1.2 [12/10] [UUUUUUUUUU__]
md10 : active raid1 sdb1[1] sda1[12] sde1[14] sdj1[13] sdi1[8] sdh1[7] sdg1[6] sdf1[5] sdd1[3] sdc1[2]
      2096116 blocks super 1.2 [12/10] [UUUU_UUUUUU_]
unused devices: 
N12000:~# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Wed Jan 15 10:39:13 2014
     Raid Level : raid10
     Array Size : 23426222976 (22340.99 GiB 23988.45 GB)
  Used Dev Size : 3904370496 (3723.50 GiB 3998.08 GB)
   Raid Devices : 12
  Total Devices : 12
    Persistence : Superblock is persistent
    Update Time : Mon Mar 11 17:21:25 2019
          State : clean, FAILED
 Active Devices : 10
Working Devices : 10
 Failed Devices : 2
  Spare Devices : 0
         Layout : near=2
     Chunk Size : 64K
           Name : N12000:0  (local to host N12000)
           UUID : 10a5d87c:3a8c2422:f89f1d35:f7cd8007
         Events : 2824150
    Number   Major   Minor   RaidDevice State
      12       8        2        0      active sync   /dev/sda2
      15       8       18        1      active sync   /dev/sdb2
       2       8       34        2      active sync   /dev/sdc2
       3       8       50        3      active sync   /dev/sdd2
      13       8      146        4      active sync   /dev/sdj2
       5       8       82        5      active sync   /dev/sdf2
       6       8       98        6      active sync   /dev/sdg2
       7       8      114        7      active sync   /dev/sdh2
       8       8      130        8      active sync   /dev/sdi2
      14       8       66        9      active sync   /dev/sde2
      10       0        0       10      removed
      11       0        0       11      removed
      11       8      178        -      faulty spare   /dev/sdl2
      16       8      160        -      faulty spare   /dev/sdk

Насколько я понимаю надо sdk метить failed. А потом делать:


Цитата:



sgdisk /dev/sda -R /dev/sdk

sgdisk -G /dev/sdk

mdadm --manage /dev/md10 -a /dev/sdk1

mdadm --manage /dev/md50 -a /dev/sdk3

mdadm --manage /dev/md0 -a /dev/sdk2



P.s. Проц там хороший: Intel(R) Xeon(R) CPU X3470 @ 2.93GHz