ZFSonLinux on Zwindler's Reflection

Erreur lors du remplacement d’un disque avec ZFSonLinux : devices have different sector alignment

Thu, 28 Aug 2014 10:08:49 +0000

Ceux qui me lisent savent que j’adore ZFS.

ZFS, c’est juste génial.

Les types qui ont inventé ce FS ont pris toutes les fonctionnalités intéressantes qu’on peut trouver dans un FS moderne, et les ont intégrés. Pour rappel, quelques unes qui me tiennent à cœur :

b-tree FS
transactions en mode copy-on-write
abstraction du stockage, création de FS simplifiée
gestion des snapshots
partages NFS/CIFS natifs
compression/déduplication native
gestion de caches SSD native
…

Mais ils ont aussi eu le malheur de le développer pour Solaris … et lui coller la malédiction d’un OS en perdition avec une licence le rendant difficilement compatible à un portable sur le kernel Linux… C’est la vie ;-)

Toujours est-il que ça n’a pas arrêté certaines personnes pour le porter, avec le projet ZFSonLinux, et permettre au ZFS fanboy que je suis d’avoir du ZFS sur mon NAS sous Linux, sans passer par la méthode ZFS/fuse en userland.

Cependant, ce projet relativement confidentiel n’est pas sans ses petits accros. C’est notamment ce que j’ai pu constater amèrement l’an dernier, quand ma grappe Z-RAID s’est dégradée suite à la perte d’un disque…

zpool status tank
pool: tank
state: DEGRADED
status: One or more devices could not be used because the label is missing or
invalid. Sufficient replicas exist for the pool to continue
functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-4J
scan: resilvered 31,5K in 0h0m with 0 errors on Sun Mar 24 12:44:41 2013
config:

NAME STATE READ WRITE CKSUM
tank DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
ata-WDC_WD20EARX-00PASB0_WD-WCAZAH899460 ONLINE 0 0 0
scsi-SATA_SAMSUNG_HD204UIS2HGJ90B632655 ONLINE 0 0 0
ata-ST2000DL003-9VT166_5YD769R0-part3 UNAVAIL 0 0 1

OK. J’ai un disque HS. J’en achète un autre, et je le remplace. Finger in ze noz !

zpool replace tank ata-ST2000DL003-9VT166_5YD769R0-part3 ata-ST2000DL003-9VT166_5YD769R0
cannot replace ata-ST2000DL003-9VT166_5YD769R0-part3 with ata-ST2000DL003-9VT166_5YD769R0: devices have different sector alignment
zpool get ashift tank
NAME PROPERTY VALUE SOURCE
tank ashift 0 default

Malheureusement, à la création du pool, j’avais des vieux disques ne supportant pas les blocs de 4K (Advanced format), qui a donc été créé par défaut en mode legacy, à savoir 512 octets. Jusque là, rien de critique : le disque récent en 4k devra fonctionner sur des blocs de 512, ce qui restreindra ses performances brutes mais je ne suis pas à ça près, je veux juste remplacer mon fichu disque… Bien sur, j’ai testé …

zpool set ashift=12 tank

… et ça ne fonctionne pas. Faut pas croire au père noël, ce paramètre est malheureusement inscrit en dur lors de la création du pool, et ne peux pas être modifié à postériori.

Cependant, ça n’explique pas pourquoi je ne pouvais pas ajouter mon disque 4k dans un pool en 512.

Et là, c’est le drame…en fait il s’agit d’un bug qui avait été introduit dans ZFSonLinux qui empêche le remplacement d’un disque de format différent de celui du pool :

Plutôt gênant… Heureusement, je suis tombé sur des gens suffisamment calé en code pour comprendre le problème, et proposer une solution. Voici ce que j’ai du faire pour remplacer la version ZFSonLinux officielle d’Ubuntu par une version patchée qui elle acceptait le remplacement.

apt-get install git uuid-dev alien
git clone https://github.com/murrayju/zfs
cd zfs
./autogen.sh
./configure
apt-get install uuid-dev
./configure
make deb
dpkg -l | grep zfs
apt-get remove zfsutils zfs-fuse zfs-dkms ubuntu-zfs libzfs1
dpkg -i *.deb
dpkg -l | grep zfs
init 6 #dans le doute
zpool status
zpool replace tank ata-ST2000DL003-9VT166_5YD769R0-part3 ata-ST2000DL003-9VT166_5YD769R0
zpool status
pool: tank
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Sun Mar 24 14:00:28 2013
20,8M scanned out of 2,59T at 2,98M/s, 253h10m to go
6,25M resilvered, 0,00% done
config:
NAME STATE READ WRITE CKSUM
tank DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
ata-WDC_WD20EARX-00PASB0_WD-WCAZAH899460 ONLINE 0 0 0
scsi-SATA_SAMSUNG_HD204UIS2HGJ90B632655 ONLINE 0 0 0
replacing-2 UNAVAIL 0 0 0
ata-ST2000DL003-9VT166_5YD769R0-part3 UNAVAIL 0 0 0
ata-ST2000DL003-9VT166_5YD769R0 ONLINE 0 0 0 (resilvering)

Je ne vous raconte pas le soupir de soulagement que j’ai poussé lorsque j’ai vu ceci à l’écran

ZFS on Linux : cannot replace X with Y: devices have different sector alignment

Sun, 24 Mar 2013 14:27:45 +0000

Pour une obscure raison que je détaillerai dans un prochain article je me suis retrouvé avec un disque de ma grappe RAID-Z1 avec 2 partitions, une en ext4 et l’autre pour la grappe ZFS. Vous savez surement que pour des raisons de performances et de taille utile de la grappe ZFS, il est préférable de disposer d’un disque entier pour la création des VDEV.

Une fois le nettoyage fait au niveau de la partition non ZFS, je me suis retrouvé face à un dilemme. Comment remplacer le device disque3-part2 par disque3. Et c’est ainsi qu’a commencé ma descente aux enfers (relativement brève heureusement).

La première idée que j’ai essayé pour me débarrasser du disque a été le zpool replace, mais forcément ça ne peut pas marcher, puisque c’est le même disque, il est donc busy.

Ma seconde idée a été de passer disque3-part2 en offline, mais là encore, comme offline ne correspond pas à un état « détruit », mais plutôt « mis de côté pour plus tard », ça n’a pas été bien loin.

Ma troisième idée a été de profiter du fait que le disque3-part2 était offline pour passer disque3 comme spare de mon zpool. Alors effectivement, au final ça a marché mais ce n’est pas tout à fait la façon dont je voulais le faire. En fait, le disque a été entièrement formaté…

zpool status tank
pool: tank
state: DEGRADED
status: One or more devices could not be used because the label is missing or
invalid.  Sufficient replicas exist for the pool to continue
functioning in a degraded state.
action: Replace the device using 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-4J
scan: resilvered 31,5K in 0h0m with 0 errors on Sun Mar 24 12:44:41 2013
config:
NAME            STATE     READ WRITE CKSUM
tank            DEGRADED     0     0     0
raidz1-0      DEGRADED     0     0     0
disque1  ONLINE       0     0     0
disque2   ONLINE   0     0     0
disque3-part2    UNAVAIL      0     0     1

Bon « ce qui est fait est fait », le disque3-part2 étant pour toujours indisponible (paix à son âme), je me suis dis que j’allais au moins enfin pouvoir importer le disque3 en entier pour ma grappe. Mais comme une bonne nouvelle n’arrive jamais seule, voilà en face de quoi je me suis retrouvé.

zpool replace tank disque3-part2 disque3
cannot replace disque3-part2 with disque3: devices have different sector alignment

OMG… Je sens que ça va me plaire cette histoire… En fait il s’agit d’un module de ZFS qui cherche à savoir si vos disques utilisent des tailles physiques de bloc de 512 octets ou de 4ko (les plus récents), pour pallier à des problèmes de performances rencontrés… Normalement je suis bien en default, la zpool doit choisir elle même…

zpool get ashift tank
NAME  PROPERTY  VALUE   SOURCE
tank  ashift    0       default

Le soucis c’est que ce paramètre indique juste qu’à la création, la zpool choisit toute seule son alignement (9 pour 512 ou 12 pour 4k), ce qui est vraiment facheux car à mon humble avis mes disques sont tous en 4k… Et bien sûr, plus moyen de modifier à la volée…

zpool set ashift=12 tank

Après avoir sué a grosses gouttes avec une grappe en DEGRADED pendant quelques minutes (surtout parce que je ne savais pas si j’allais savoir le fixer), j’ai quand même réussi à récupérer la « solution » grâce à la communautés, en attendant un vrai patch des développeurs.

En gros, murrayju a patché le code, et il « suffit » de compiler ses propres modules ZFS pour contourner le problème

apt-get install git uuid-dev alien
git clone https://github.com/murrayju/zfs
cd zfs
./autogen.sh
./configure
make deb
dpkg -l | grep zfs

Les packages existant provoquent (forcément) des conflits avec ceux qui viennent d’être compilés, il faut donc se débarrasser de tout ce qui ressemble de près ou de loin à un module ZFS

apt-get remove zfsutils zfs-fuse zfs-dkms ubuntu-zfs libzfs1
dpkg -i *.deb
dpkg -l | grep zfs
apt-get remove zfsutils

A partir de là, un reboot permet de se débarraser des modules noyaux encore chargés et de booter sur l’ancien code, qui lui accepte bien mes disque 4K sur mon pool 512

init 6
zpool replace tank disque3-part2 disque3
zpool status
pool: tank
state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Sun Mar 24 14:00:28 2013
20,8M scanned out of 2,59T at 2,98M/s, 253h10m to go
6,25M resilvered, 0,00% done
config:
NAME            STATE     READ WRITE CKSUM
tank            DEGRADED     0     0     0
raidz1-0      DEGRADED     0     0     0
disque1  ONLINE       0     0     0
disque2   ONLINE       0     0     0
replacing-2 UNAVAIL      0     0     0
disque3-part2   UNAVAIL      0     0     0
disque3         ONLINE       0     0     0  (resilvering)

Elle est pas belle la vie?

Bon … par contre … après ça, j’imagine que vous ne serez pas surpris d’apprendre que je suis passé en ext4 avec mdadm …

Du ZFS à la maison avec ZFSonLinux et un coup de main pour comprendre grâce à Aaron Toponce

Mon, 07 Jan 2013 17:59:37 +0000

Je l’ai déjà dis, je suis un sysadmin/technophile. Et comme je ne peux rien faire comme tout le monde, quand j’ai décidé de me monter mon NAS/MediaCenter perso, j’ai voulu le faire aussi bien au niveau hardware que software. Ceci m’a permis, à coût égal, de faire au moins aussi bien qu’un NAS tout prêt, et même beaucoup mieux dans certains domaines… au prix de multiples passes/améliorations/prises de tête ;-).

Pour toutes ces raisons, je ne pouvais PAS passer à côté de ZFSonLinux, une implémentation du FS introduit par Sun dans Solaris, car ZFS et à mon sens un des filesystems les plus aboutis en terme de fonctionnalités et surtout de sécurité des données :

b-tree file system
checksuming de tous les blocks à 256 bits (eux même checksumés) et équivalent du fsck à chaud
équivalent de parité/RAID en natif
gestion de FS simplifiée avec des propriétés qui peuvent être héritées ou modifiées
compression et même déduplication (!!!) en natif
protocoles de présentations sur le réseau en natif
snapshots quasiment illimités
… (j’en oublie sûrement beaucoup => go site officiel/wikipédia)

Sans aller plus loin, je vous propose juste d’aller voir un travail assez complet sur ZFSonLinux, qui regroupe l’équivalent de plusieurs documentations ZFS expliquées et appliquées au cas qu’est ZFSonLinux :

Rappel des concepts de ZFS
Mise en place étape par étape
Best Practices et ressenti de l’auteur sur la techno et la stabilité des fonctionnalités délivrées par cet implémentation

Je ne ferais pas mieux que lui pour expliquer, c’est un must-read pour tout ceux qui voudraient en savoir plus sans savoir où commencer

Install ZFS on Debian (lien mort, j’utilise Internet Archive)

En bonus track, je vous linke aussi la documentation officielle Oracle pour aller plus loin dans l’utilisation de la CLI et un bon vieux troll de 2007 ;-)