Диск в статусе Detached в Storage Spaces Direct

Существует несколько случаев, когда мы наблюдали диск в статусе "Detached" в Storage Spaces Direct.

Конкретный случай, разобранный Дмитрием С., возник в процессе тестирования надёжности S2D при одновременном отключении нескольких узлов в кластере под максимальной нагрузкой.

...

один из CSV дисков отказывался монтироваться и постоянно улетал в "Failed".

Что было предпринято:

1.       Были запущены выключенные узлы кластера.

2.       Я дождался пока пройдут все Repair Jobs.

3.       Я менял координатор для диска HDD.

4.       Я отключал и снова включал пул.

5.       Я вывел в паузу 5 нод и ребутнул их. Шестую ноду не дожидаясь тоже отправил в перезагрузку.

Это всё не помогло. После перезагрузки всех серверов и окончания Repair Jobs ситуация не поменялась.

Диск был попеременно то в состоянии "Degraded" (когда он пытался монтироваться) то в состоянии "Detached".

В кластерных логах относящихся к этому диску наблюдались следующие ошибки:

На ноде координаторе данного диска были следующие ошибки ReFS:

Что сделано:

PowerShell:

Remove-ClusterSharedVolume -name "Cluster Virtual Disk (S2D-HDD-06)"

Get-ClusterResource -Name "Cluster Virtual Disk (S2D-HDD-06)" | Set-ClusterParameter -Name DiskRunChkDsk -Value 7

Start-ClusterResource -Name "Cluster Virtual Disk (S2D-HDD-06)"

Диск сразу перешёл в состояние InService:

Для него пошла Repair Job:

Диск виделся в кластере как Available Storage:

PowerShell:

Get-ClusterResource -Name "Cluster Virtual Disk (S2D-HDD-06)" | Set-ClusterParameter -Name DiskRunChkDsk -Value 0

Add-ClusterSharedVolume -Name "Cluster Virtual Disk (S2D-HDD-06)"

Get-VirtualDisk

Диск отобразился как “Cluster Shared Volume”

 

Продолжали идти Repair Jobs:

Виртуальные машины запустились:

Статья которая мне помогла:

http://jtpedersen.com/index.php/2016/11/23/troubleshooting-failed-virtualdisk-on-a-storage-spaces-direct-cluster/