materiel on Zwindler's Reflection

Installation d'un Cluster HAT avec Raspberry Pi 5 et Pi Zero

Tue, 27 Jan 2026 18:00:00 +0200

Introduction, c’est quoi un Cluster Hat ?

Qu’est ce que tu nous as encore trouvé ???

Vous m’avez vu jouer avec des Raspberry Pi et y installer Kubernetes dessus, ou juste simplement Alpine Linux.

Alors de quoi diantre (oui, “diantre” carrément, n’ayons pas peur des mots) s’agit-il aujourd’hui ???

En cherchant dans les tréfonds des Internets s’il était possible d’installer un cluster Kubernetes sur des Raspberry Pi zero, je suis tombé sur 3 personnes différentes qui avaient échoué dans cette tâche :

Setting up a Kubernetes cluster using Raspberry Pi Zero 2 W’s et l’article reddit associé avec une photo (importante pour la suite de l’article)
github.com/abelperezok/kubernetes-raspberry-pi-cluster-hat
A tiny cluster based on 4x Raspberry Pi Zero 2 W

Dans les 3 cas, les gens ont tous essayé d’installer un cluster de RPi zero, plantés sur une sorte de carte additionnelle dont j’ignorais l’existence : le Cluster HAT

Site officiel du Cluster HAT clusterhat.com

The Cluster HAT (Hardware Attached on Top) which interfaces a (Controller) Raspberry Pi A+/B+/2/3 with 4 Raspberry Pi Zeros configured to use USB Gadget mode is an ideal tool for teaching, testing or simulating small scale clusters.

The Cluster HAT can be used with any mix of Pi Zero 1.2, Pi Zero 1.3 and Pi Zero W.

USB Gadget Mode: Ethernet and Serial Console.

Onboard 4 port USB 2.0 hub.

Raspberry Pi Zeros powered via Controller Pi GPIO (USB optional).

Individual Raspberry Pi Zero power controlled via Controller Pi GPIO (I2C).

Connector for Controller Serial Console (FTDI Basic).

Controller Pi can be rebooted without interrupting power to Pi Zeros, network recovers on boot.

Problème(s)

Bon, forcément, c’est absurde, c’est donc un énième projet pour moi !!

Premier problème : le Cluster HAT ne peut en théorie pas supporter les Pi Zero 2W. C’est en tout cas ce qu’on lit partout (sur les sites des revendeurs, et ce qu’on peut déduire de l’introduction que j’ai mise juste au dessus). Et c’est super dommage parce que c’est le modèle que j’ai (j’en ai deux) et j’ai un peu la flemme d’en acheter 4 en version 1.3 juste pour être sûr que ça fonctionne.

Heureusement :

Plusieurs commentaires trouvés sur le net indiquent qu’en réalité, ça fonctionne si l’alim (27w pour l’officielle) du Pi 5 était suffisamment puissante ; de plus, la FAQ dit qu’en fait, c’est bon
Quentin m’en a gentiment passé 2 Pi Zero 1.3, ce qui complète ma collection. J’en aurais 2 de chaque, ça devrait le faire niveau alim.

Deuxième problème, en trouver un (Cluster HAT) ! La dernière version de ce produit a été produite il y a plusieurs années déjà. Le site officiel ne livre pas en France, le produit n’existe plus sur Kubii.fr. J’en ai trouvé encore quelques uns sur The Pi Hut (au Royaume-Uni et il n’y en a plus aujourd’hui), pour une quarantaine d’euros, livraison incluse.

Dernier point, il a fallu trouver un Pi 5 à un prix raisonnable et ça fait mal d’avoir de lâcher 70€ pour un Pi 5 d’occasion avec seulement 4 Go.

On en est donc, avec les accessoires (cartes SDs) et les différentes cartes à un side project à peu près 200€.

Ça fait un peu cher pour un projet absurde, mais je finance ça avec un article (sur un autre sujet) qui va sortir dans un magazine dans quelques semaines. Ceux qui savent, savent ;-P.

Installation matérielle

Probablement la partie la plus rigolote quand on aime (comme moi) bidouiller des composants informatiques et des cartes électroniques.

Mettez les petites vis pour surélever le “Hat”
Insérez le Cluster HAT sur les ports GPIO du Raspberry Pi 5
Insérez les 4 Pi Zero dans les ports USB du HAT

Alimentation : Utilisez impérativement une alimentation suffisamment puissante, idéalement l’alimentation officielle du Pi 5 (27W USB-C). Le Cluster HAT tire son énergie du Pi 5 pour alimenter les 4 Zéros.

Cartes SD : Il vous faut 5 cartes MicroSD au total (1 pour le Pi 5, 4 pour les Zéros). Le site parle de booter les pi zero sans carte MicroSDs (fonctionnalité expérimentale). Je regarderai peut être ?

Bon OK, c’était trivial. Mais ça prouve que le produit est bien conçu !

Boîtier 3D

Comme j’ai une imprimante 3D, j’ai modifié un modèle existant pour les RPi avec un “M.2 hat” (une autre carte additionnelle, celle-ci pour connecter un SSD M.2) en faisant des gros TROUS partout pour que les pi zero puissent rentrer.

Raspberry Pi 5 AI/M.2 Hat+ Snap Case

Je ne peux malheureusement pas partager le profil modifié car c’est contraire à la licence du fichier 3D (Standard Digital File License, qui interdit les modifications).

Note : j’ai passé plus de temps à chercher des modèles, les modifier et tester des prototypes, qu’à jouer avec le cluster hat lui-même.

Préparation de l’installation

La première chose à faire pour commencer à profiter de ce magnifique cluster de Raspberry est de commencer par installer et configurer notre Pi 5.

Même s’il est théoriquement possible de tout faire soi-même, le fabricant du cluster hat conseille de partir sur les images préconfigurées disponibles sur son site 8086.net. La dernière version disponible est téléchargeable ici :

dist1.8086.net/clusterctrl/bookworm/2025-11-24/

En parcourant la liste, on note qu’il existe :

6 versions pour le RPi “maître” (Bookworm lite, normal et full, avec un mode CNAT ou CBRIDGE pour chaque)
des images préconfigurées Rpi OS lite pour les Pi Zero (appelées Px, x étant la position sur le cluster hat), là aussi avec des variantes CBRIDGE / CNAT, armhf (32 bits) et arm64

Par flemme, j’ai juste branché le Pi 5 sur le courant, je n’ai pas de câble Ethernet à portée de main. Dans ce cas, si comme moi vous connectez votre Pi en WiFi, il faut partir sur le mode CNAT (NATé). Au contraire, le mode CBRIDGE (bridgé, qui nécessite donc le port Ethernet) est que vous verrez sur votre LAN les 5 machines.

Deuxième info (rappel), dans mon cas, j’ai un mix de machines 32 et 64 bits, il faut donc que je fasse attention à bien sélectionner le bon OS pour les bonnes machines.

Installation du Raspberry Pi 5 (notre contrôleur)

Pour le Raspberry Pi 5, dans mon cas le fichier est donc 2025-11-24-2-bookworm-ClusterCTRL-arm64-lite-CNAT.img.xz

wget https://dist1.8086.net/clusterctrl/bookworm/2025-11-24/2025-11-24-2-bookworm-ClusterCTRL-arm64-lite-CNAT.img.xz

Le problème du mode headless

Même si c’est possible, je ne veux pas brancher le Pi à un écran (faut sortir un clavier et un écran… fatiguant) alors je vais tout faire de manière à être en headless. Et manque de bol, les dernières versions du Raspberry Pi Imager (2.0.0) ne permettent pas (plus ?) de faire de customisation des OS tiers.

En théorie, il va donc falloir, une fois l’image flashée sur la microSD, configurer manuellement :

le WiFi
un utilisateur de base
activer SSH

J’ai essayé, ça a échoué, malgré un fichier wpa_supplicant.conf, un userconf.txt correctement formatté et un fichier ssh vide.

La solution : Raspberry Pi Imager 1.9.6

Après avoir pas mal ragé, je suis tout simplement retourné sur la version précédente de l’imager (1.9.6) qui fonctionne très bien avec l’image fournie par 8086.net.

Note : cependant, pour installer les OS RPi OS récents, j’ai eu pas mal d’échecs. Donc à utiliser avec parcimonie.

Installation des 4 Raspberry Pi Zero (Les Nœuds)

Ici, c’est un poil plus simple côté réseau, car en mode CNAT, les Pi Zero vont communiquer via le câble USB du Cluster HAT. MAIS il faut faire attention aux problématiques d’architecture 32 vs 64 bits, dans mon cas un peu hybride :

P1 (un Pi Zero 2) : ...arm64-lite-CNAT-p1.img.xz
P2 (un Pi Zero 1.3) : ...armhf-lite-CNAT-p2.img.xz
P3 (un Pi Zero 1.3) : ...armhf-lite-CNAT-p3.img.xz
P4 (un Pi Zero 2) : ...arm64-lite-CNAT-p4.img.xz

Niveau customization, on laisse donc SSH et le user/password, mais pas la peine de mettre le WiFi. On pourra d’ailleurs modifier les paramètres de boot pour supprimer côté kernel les modules Bluetooth et WiFi histoire de gagner quelques Mo de RAM.

Démarrage

Une fois que tout est prêt, que le RPi 5 fonctionne, on peut se logger en SSH et exécuter la commande :

sudo clusterctrl on

À partir de là, les LEDs du cluster hat devraient se mettre à s’exciter, et les RPi Zero devraient s’allumer progressivement. Ça fait un peu guirlande de Noël mais j’aime bien.

Si on veut en allumer que certaines, c’est possible avec les commandes :

sudo clusterctrl on p1 # pour n'allumer que p1
sudo clusterctrl off p2 p3 p4 # pour éteindre p2, p3 et p4

Configuration réseau

Dans le mode NAT, les adresses IP des Pi Zero sont affectées de la manière suivante :

côté RPi 5 (le contrôleur) on a un bridge br0 avec pour adresse 172.19.181.254/24
côté Pi Zero, 172.19.181.x avec x allant de 1 à 4

C’est aussi simple que ça. Depuis le contrôleur, on peut donc tenter de se logger en SSH :

p1 a beau être NATé, le NAT fonctionne puisqu’on a bien accès à Internet :

zwindler@p1:~ $ ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=115 time=12.5 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=115 time=17.1 ms

Conclusion

J’ai perdu pas mal de temps à flasher les images jusqu’à trouver le bon moyen d’avoir à la fois la ROM custom du cluster HAT et les customizations OS pour tourner en headless.

Mais une fois que j’avais ça, c’était relativement trivial de faire fonctionner ce petit cluster.

Maintenant, il reste à trouver ce que je vais faire tourner dessus ;) j’ouvre les paris !

Sources

MicroStack évolue : compatibilité HP EliteDesk et Lenovo ThinkCentre pour votre homelab

Wed, 17 Sep 2025 12:00:00 +0200

Un update de MicroStack ? 😍

Eh oui ! Il y a quelques mois, je vous présentais MicroStack, mon projet de rack modulaire imprimé en 3D pour Dell Micro. Le projet a eu un succès inattendu sur MakerWorld / Bluesky (et même un peu Reddit) et j’ai reçu plusieurs demandes pour étendre la compatibilité…

Et comme je suis gentil (et que j’aime bien mes side-projects d’impression 3D), j’ai décidé de répondre aux demandes de la communauté !

La promesse tenue : HP EliteDesk et Lenovo ThinkCentre !

Dans l’article original, j’avais mentionné qu’“une version compatible avec les Lenovo ThinkCentre Tiny était envisagée”. Ben… c’est fait ! Et j’ai même fait un bonus avec les HP EliteDesk/ProDesk parce que… pourquoi pas ?

Désormais, le projet MicroStack supporte officiellement trois gammes de mini-PC :

Dell OptiPlex Micro (toutes générations) - le pionnier
Lenovo ThinkCentre Tiny
HP EliteDesk/ProDesk

Un écosystème qui grandit

Le concept reste identique : des modules empilables et modulaires pour organiser proprement votre homelab. Mais maintenant, vous pouvez mixer les marques dans un même rack si vous avez un parc hétérogène (et on sait tous comment ça arrive en homelab… “oh regarde, cette machine d’occaz est à bon prix !”).

La collection complète MicroStack comprend maintenant :

Modules pour PC :

Module Dell Micro - l’original
Module Lenovo ThinkCentre - le demandé (grâce à un prêt de quelqu’un sur LinkedIn ! Merci !)
Module HP EliteDesk/ProDesk - le bonus

Modules communs :

Module de stockage - pour switch, accessoires, etc.
Chapeau - finition propre du rack

Tous ces modules sont inter-compatibles et utilisent le même système d’empilement.

Toujours les mêmes bonnes pratiques

Comme pour l’original, je recommande toujours d’imprimer en PETG (voire ASA ou ABS ?) plutôt qu’en PLA pour une meilleure résistance à la chaleur, même si ces mini-PC restent assez froids. Le design honeycomb du plancher assure une bonne ventilation tout en économisant du filament.

Le retour d’expérience : la modélisation multi-gammes

Adapter le design original aux nouvelles gammes a été plus simple que prévu, grâce à la base solide du projet initial. Une fois le concept établi avec le module Dell, il “suffit” de :

Prendre les mesures (précises !) des nouveaux modèles (encore faut il en trouver…)
Adapter les dimensions du châssis
Faire un (ou plusieurs) test d’impression et valider l’empilement (le stress, à chaque fois, d’avoir crâmé 120g de plastique pour rien si on s’est planté)

Chaque nouveau module m’a pris une petite heure de modélisation, soit beaucoup moins que les 3x2h initiales du projet original. Le prototypage (tester des versions incomplètes pour économiser du plastique) ont pris pas mal de temps, que j’avais oublié de compter dans l’article précédent. Facilement quelques heures de plus.

Le feedback de la communauté

Ce qui me fait le plus plaisir, c’est de voir que le projet a trouvé son public. Les retours sur MakerWorld sont globalement enthousiastes et les demandes d’évolution montrent que le concept répond vraiment à un besoin.

Quelques utilisateurs m’ont déjà envoyé des photos de leurs installations mixtes avec différentes marques dans le même rack. C’est exactement l’esprit modulaire que je voulais insuffler au projet !

J’ai aussi eu un retour négatif, pour lequel je ne peux pas faire grand chose en l’état mais qui était intéressant et m’a permis de rajouter un avertissement. Le fait que l’arrière soit dédié pour le chargeur (PSU) bloque certains ports, en particulier pour le Lenovo. Les solutions :

Vivre avec seulement l’Ethernet (pour un lab, perso je trouve que ça va)
Déporter les alims dans le module de “stockage”

Et maintenant ?

Avec ces trois gammes couvertes, mon projet MicroStack devient vraiment polyvalent. Si vous avez des suggestions d’autres mini-PC à supporter, n’hésitez pas ! Les MinisForum, peut être ?

Si ce projet vous intéresse, n’hésitez pas à commenter, partager, faire des retours, voire booster les trois modèles pour ceux qui ont un compte MakerWorld (c’est gratuit, mais ça fait plaisir :-P).

MicroStack - un projet open source pour imprimer un rack modulable pour mon homelab Dell Micro

Sat, 22 Mar 2025 12:00:00 +0200

ENCORE ? Encore une évolution de ton lab ???

Si vous suivez un peu le lore de mon blog, vous savez que j’ai autant de version de mon homelab que d’années d’expérience XD.

2025 ne fera donc pas exception. Début 2024, je me lançais dans la construction d’un rack à base de profilé aluminium et d’impression 3D, à partir d’un projet envoyé par un copain sur Whatsapp !

Mais à l’usage, je le trouvais massif, pas super pratique, pas très joli… bref, pas adapté à mon besoin.

Sauf que (j’en ai déjà parlé) je me suis depuis mis à l’impression 3D et un peu (par la force des choses) à la modélisation 3D (ça va souvent de pair). Je me suis dis : pourquoi ne pas créer mon propre projet collant à mes besoins ?

J’ai donc voulu explorer une solution maison pour mon homelab, imprimée en 3D, qui serait à la fois modulaire et empilable. L’idée était de proposer un système adaptable selon les besoins, avec un design simple et efficace.

Un design pensé pour l’organisation

Le MicroStack Rack est conçu pour ranger proprement plusieurs Dell OptiPlex Micro tout en maximisant l’espace. Il se compose de trois modules différents pour l’instant :

Le module PC, qui accueille un Dell Micro (toutes générations) et son alimentation externe à l’arrière pour plus de praticité.

Le module de stockage, un compartiment vide pour accessoires, switch réseau ou autres équipements.

Le chapeau, un élément optionnel qui recouvre le rack pour un rendu plus propre.

Tous les modules sont empilables, permettant d’adapter la configuration selon votre nombre de machines.

Même si j’ai imprimé le prototype en PLA je vous conseille plutôt d’utiliser du PETG, qui résiste mieux à la chaleur que le PLA. Cependant, ces machines restent plutôt froides en idle et le plancher en nid d’abeille permet d’améliorer la ventilation (et de réduire la consommation de matière). Peut-être que ça marche aussi.

Combien de temps ça prend de faire ce genre de projet ?

Petit point temps passé.

Je n’ai pas fait beaucoup de conception 3D dans le passé (j’ai fait quelques maps sur Unreal Tournament 2004… oh me..e, ça fait 20 ans !!!). Donc, je me dis que ça peut être intéressant de partager combien de temps ça m’a pris.

La modélisation a été réalisée en trois sessions de 2 heures :

2h pour prendre les mesures, faire un prototype initial et se familiariser avec Blender.
2h pour créer le module dédié au Dell Micro.
2h pour ajouter le module de stockage et le chapeau (ça va plus vite, j’ai déjà fait une partie du boulot et je suis plus efficace dans mon usage de Blender).

On peut rajouter une heure ou deux pour la manutention de l’imprimante 3D (lancer l’impression, vérifier qu’elle ne foire pas quelques minutes, nettoyer la plaque après impression, etc) et 3-4h pour la partie “sociale” (photos, upload sur makerworld, rédaction des descriptions et du blogpost, partage sur les réseaux).

Un bon petit sideproject d’une dizaine d’heures donc.

Fichiers et évolutions

Comme promis sur Bluesky où j’avais teasé le projet, les fichiers sont disponibles sous licence Creative Commons 4.0 BY-SA sur MakerWorld dans les formats 3MF, STL et les sources de blender :

Une version compatible avec les Lenovo ThinkCentre Tiny est envisagée pour la suite (on me l’a demandée sur Bluesky).

Si ce projet vous intéresse, n’hésitez pas à commenter, partager, faire des retours, voire booster les trois modèles pour ceux qui ont un compte MakerWorld (c’est gratuit, mais ça fait plaisir :-P).

Mon NAS en 2024 - Jonsbo N2 × Intel N100 - stress tests et conclusion

Thu, 04 Jul 2024 12:00:00 +0200

Cet article fait partie d’une série dans laquelle je parle de mon nouveau NAS que j’ai construit moi-même :

On le teste, ce NAS ?

Après 1 mois et demi de confs et aussi de préparation de ma fin d’emploi (lien mort, je ne suis plus sur Twitter), je reprends ma plume numérique pour finir le dernier article de cette série, que certain⋅es attendent avec impatience (à minima, un australien :-P)

On s’était arrêté dans l’article précédent à l’installation de notre NAS sous TrueNAS SCALE (la version Linux) et nous nous étions juste logué sur l’interface d’administration.

La première opération que vous voudrez faire, c’est très certainement de créer un pool de disques et un volume.

Dans mon cas, après avoir testé un premier pool avec 4 disques que j’avais en spare, ZFS m’a très rapidement prévenu que quelque chose n’allait pas avec mes disques. Après un SMART approfondi, je me suis retrouvé avec 2 disques HS… J’en ai acheté un de plus et créé un pool avec “seulement” 3 disques (au lieu des 4 prévus initialement).

Une fois le pool créé, on peut commencer à créer des volumes et à ajouter différents types de partages. J’ai créé un share NFS à part, car il me servira pour la virtualisation et mon homelab, et un share CIFS pour tout ce qui est partage de fichiers.

Température

Le premier test que j’ai voulu faire, avant de commencer quoique ce soit, c’était un test de température.

Un des problèmes que j’avais avec les NAS maison, c’est que les CPUs grand public (hors Atom) sont souvent surdimensionnés pour les besoins d’un NAS. On se retrouve avec un CPU soit bruyant, soit un ventirad volumineux. Ou alors dans le cas de l’Atom, un CPU totalement bridé par le throttling et les perfs déjà pas terribles, comme mon tout premier NAS maison de 2011 (voir NAS/MediaCenter : Do It (the hardware part) Yourself!).

Ce qui m’a fait craquer pour le Intel N100 c’est que, sur le papier, il a la consommation et la dissipation thermique d’un Atom mais les fonctionnalités d’un CPU classique, tout en gardant des perfs acceptables. Et on a le support de la virtualisation, 4 cores, etc.

Un des points noirs d’une des cartes mères “siglée NAS” sur Aliexpress, significativement moins chère que celle que j’ai achetée, mais dont les retours étaient unanimes pour dire que le ventilateur était clairement audible (et très aigu). Le NAS étant à côté de mon bureau (où je télétravaille) c’était évidemment hors de question.

Pour rappel, j’avais opté pour un ventirad jonsbo low profile, qui s’avère à l’usage plutôt silencieux, d’autant que je lui ai rajouté un réducteur de vitesse (en gros un fil avec une résistance) que j’avais en stock d’un build précédent.

VM de stress test pour faire chauffer tout ça

La philosophie de TrueNAS c’est de t’empêcher de faire des trucs dans ton coin histoire de limiter les erreurs de débutant. Donc même s’il existe un shell pour aller faire des trucs en lignes de commandes, il est très limité et on n’a pas de gestionnaire de paquets pour installer des choses.

Pour faire mes tests, ça va être pénible. J’ai donc commencé par créer une VM (puisque je peux le faire, autant en profiter). Première boulette, créer une VM Ubuntu avec 512 Mo de RAM (la valeur par défaut dans ). Avec un environnement graphique, ça plante dès l’installation… Mais ça se corrige vite.

Deuxième coup d’arrêt, les droits… libvirt n’a pas le droit d’accéder à l’ISO. C’est dommage…

Toute la gestion des partages et notamment des droits sur les fichiers et assez peu “user friendly” sur TrueNAS. C’est vraiment une déception personnelle de ce côté là, j’ai dû bidouiller pas mal pour que les utilisateurs ET les apps puissent accéder correctement à mon stockage. J’ai même dû corriger quelques permissions à la main à coup de chmod. Bref.

Une fois installée, j’installe stress-ng et je lui demandé de me saturer les 4 CPUs histoire de faire monter la température.

Pour que les tests soient les plus représentatifs possibles, j’ai laissé tourner 45 minutes le temps que ça se stabilise :

Ici, on voit que ça se stabilise autour de 46°C avec un air ambiant à 23°C, ce qui me parait parfait (les conditions de stress tests avec tous les CPUs à 100% pendant plusieurs dizaines de minutes sont déjà peu réalistes).

Côté disques, même sur des longues phases d’écritures pendant plusieurs heures, on est sous les 50°C (40 en idle)

On est bon pour la température.

Bonus fanless

Note : il est possible d’acheter des minis PC format NUC totalement fanless avec des N100 (avec des performances parfois erratiques).

On m’a donc mis au défi (sur Twitter) de tester sans ventilateur pour le CPU. Après tout pourquoi pas, j’avais bien mon premier NAS vendu avec une carte mère avec un Atom et une carte graphique NVidia fanless (mais les perfs étaient catastrophiques).

Après quelques tests, oui, ça fonctionne, mais c’est pas dingue. On tape les 90° et très probablement un throttling assez intense (pas vérifié).

C’est pas complètement un échec, puisque ça marcherait surement mieux avec un radiateur plus gros et que ce test n’est pas représentatif d’une charge réellement.

Mais retirer le ventilateur du CPU ne rend pas le NAS beaucoup plus silencieux (il reste les disques et le ventilateur des disques). J’ai donc remis le ventilateur et c’est très bien comme ça :-P.

Consommation électrique

Deuxième point important quand on choisit un NAS, la consommation électrique. C’est un point que vous êtes nombreux⋅ses à attendre aussi ;-).

Clairement, il est impossible de faire aussi bien que mon QNAP avec du matériel généraliste de particulier. La carte mère et le CPU sont certainement gourmands, l’alimentation n’est que “bronze plus” (et donc induit des pertes). Le but de jeu, ça va être de voir à quel point je vais moins bien.

J’ai donc pris des mesures sans disques, avec 3 disques idle et avec 3 disques en charges sur mon NAS QNAP que je remplace, puis je fais les mêmes mesures sur mon NAS.

Modèle	Sans disques	3 disques idle	3 disques en charge
QNAP	9w*	23w	36w
Jonsbo × N100	19w	33w	42w

* sans disques, le QNAP est inutilisable car on doit installer l’OS sur les HDD !

Grosso modo, je me prends entre 6 et 10w de plus dans la vue. 10w, surtout sur une machine qui reste allumée toute l’année, c’est significatif. Mensuellement, ça représente 7,31 kWh (~ 1,17 €) de consommation en plus par rapport à l’ancien modèle.

Je sais déjà qu’une partie de la Twittosphère techs / bidouilleurs barbus va me tomber dessus (c’est déjà fait). Mais si on y réfléchit un peu, ce n’est pas très étonnant, car les deux machines ne sont pas du tout comparables. Je ne peux pas faire les mêmes choses avec le QNAP qu’avec ce build.

Ce “Jonsbo × N100” me donne la possibilité d’avoir jusqu’à 6 disques (5 hotswap) là où j’étais limité à 4 avec le QNAP, avec l’OS et la data séparée proprement. J’ai la possibilité de faire des machines virtuelles si je le souhaite (pas le cas avec le QNAP) et j’ai le support de Chart helm pour installer des applications containerisées (là où QNAP ne supporte que Docker et plus LXC, cf l’article pour contourner le problème).

Et j’ai surtout bien plus de puissance, entre les débits et le réseau en 2.5 Gbps (on y reviendra sur les tests de transferts). Donc je ne me mets pas martel en tête et je vais continuer à cordialement ignorer les commentaires négatifs que j’ai pu avoir sur ce choix.

Tests de réseau

L’achat de ce NAS a été l’occasion pour moi de passer sur du 2.5 Gbps sur mon réseau éthernet (achat d’un switch 2.5 et d’une carte pcie pour mon PC).

J’ai donc fait des tests avec iperf3 (et aussi speedtest cli)

admin@truenas[~]$ iperf3 -c 192.168.aaa.pc
Connecting to host 192.168.aaa.pc, port 5201
[ 5] local 192.168.aaa.nas port 57256 connected to 192.168.aaa.pc port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 284 MBytes 2.38 Gbits/sec 0 814 KBytes
[ 5] 1.00-2.00 sec 280 MBytes 2.35 Gbits/sec 0 814 KBytes
[ 5] 2.00-3.00 sec 281 MBytes 2.36 Gbits/sec 0 854 KBytes
[ 5] 3.00-4.00 sec 280 MBytes 2.35 Gbits/sec 0 854 KBytes
[ 5] 4.00-5.00 sec 281 MBytes 2.36 Gbits/sec 0 854 KBytes
[ 5] 5.00-6.00 sec 280 MBytes 2.35 Gbits/sec 0 854 KBytes
[ 5] 6.00-7.00 sec 280 MBytes 2.35 Gbits/sec 0 854 KBytes
[ 5] 7.00-8.00 sec 281 MBytes 2.36 Gbits/sec 0 854 KBytes
[ 5] 8.00-9.00 sec 280 MBytes 2.35 Gbits/sec 0 854 KBytes
[ 5] 9.00-10.00 sec 281 MBytes 2.36 Gbits/sec 0 854 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 2.74 GBytes 2.36 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 2.74 GBytes 2.34 Gbits/sec receiver

Fun fact : c’est aussi la première fois que j’ai pu tester la vitesse de ma fibre free 5 gbps au delà du gigabit (mais je peux toujours pas aller jusqu’aux 5 gbps théoriques de la ligne).

Là aussi, tout est OK. Côté réseau, la promesse du NAS maison est tenue !

Test des disques

Le test le plus trivial à faire quand on veut tester un stockage, c’est d’écrire dessus et de voir ce que ça donne. C’est pas toujours très représentatif mais ça donne une base de départ.

root@truenas[/mnt/rpool]# dd if=/dev/urandom of=test1g bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 3.07779 s, 349 MB/s
root@truenas[/mnt/rpool]# dd if=/dev/urandom of=test10g bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 41.9781 s, 256 MB/s
root@truenas[/mnt/rpool]# dd if=/dev/urandom of=test40g bs=1M count=40960
40960+0 records in
40960+0 records out
42949672960 bytes (43 GB, 40 GiB) copied, 204.116 s, 210 MB/s
root@truenas[/mnt/rpool]# dd if=/dev/zero of=test10gzero bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 3.37509 s, 3.2 GB/s

Ici, j’ai essayé de copier des données aléatoires sur le pool avec mes 3 disques. Tant qu’on est sur des fichiers de 1 Go, il reste le risque que tout soit mis en cache RAM (rappel : sauf indication contraire, ZFS utilise par défaut la moitié de votre RAM). Au-delà de 10 Go, on voit une dégradation de perfs. Quoiqu’on fasse, on ne fera pas mieux que cette base-là (baseline).

Des copies de fichiers en local (depuis le disque NVMe du système vers le pool ZFS) donnent des résultats similaires.

Note : on voit aussi que je dépasse très largement la vitesse physique de mes disques sur la copie de /dev/zero. 3.2 Go/s est évidemment impossible avec 3 HDDs. Ce sont les optimisations de ZFS (cache + compression) qui permettent ça et ça sera utile pour les fichiers contenant beaucoup de zéro (comme certains disques de machines virtuelles, par exemple).

Tests de transferts NFS/CIFS

Pour ces tests là, je ne suis pas hyper satisfait. Quand j’utilise les outils du marché permettant de désactiver les caches, les performances sont très en deça (< 50 Mo/s) des performances en utilisation réelle.

voici une petite liste des outils que j’ai testés :

fio (depuis un client linux sur CIFS)
diskpd (depuis un client Windows sur CIFS)
Copie de fichiers depuis un client Linux en NFS en ligne de commande
Copie de fichiers depuis un client Ubuntu dans Nautilus en CIFS [via gvfsd (Gnome virtual file system)]
Copie de fichiers depuis un client Windows en CIFS

Ce qu’il est ressort, c’est que le NAS est suffisamment puissant pour saturer un port Ethernet gigabit mais galère un peu plus pour le 2.5Gbps (les fluctuations sont dues au cache qui se vide pas assez vite sur les disques). Sous windows, on peut tirer au moins 150 Mo/s en écriture sur de gros fichiers sans problèmes avec des pics à 280 Mo/s.

La copie NFS et CIFS sous Ubuntu affichait des chiffres étonnants (70 Mo/s en lecture mais 120 en écriture !?). Il faudra que je fasse des tests depuis une autre machine Linux.

Les performances sans caches avec fio sont très en deça (40-50 Mo/s) mais comme je l’ai expliqué juste avant, ces tests ne sont pas représentatifs des performances que j’obtiens en conditions réelles (plutôt autour du gigabit), même sur des copies très longues (>3 To).

Sous Windows, les performances trouvées avec diskspd sont plus proches de la réalité, avec 80 Mo/s en écriture (mais il écrit d’abord des données aléatoires beaucoup plus rapidement sur le NAS et lit dedans) et 280 Mo/s en lecture.

Je n’ai pas encore fait de tests en iSCSI.

Conclusion

Le but était d’avoir un NAS silencieux et qui ne consomme pas trop, plus puissant que mon NAS précédent (QNAP), avec un support du 2.5 Gbps, du ZFS, des containers, des apps et des machines virtuelles.

Avec cette suite d’articles, je pense avoir coché toutes les cases. Je suis donc content de mon investissement. Pour rappel, j’en ai eu pour environ 500€, upgrade de la maison en 2.5 Gbps inclu.

En termes de boitiers, le Jonsbo N2 est vraiment LE boitier qui me fallait. Il est bien conçu, bien fini, pratique.

Côté carte mère, on sent que le N100 est suffisant mais est quand même aux limites de ce que je lui demande. Une partie des “bottlenecks” que j’ai rencontré viennent très probablement du CPU, les autres venant du pool de 3 vieux disques “red” peu performants.

Côté consommation et chauffe, c’est un peu moins bien que ce que j’avais avant mais rien de catastrophique. C’est en tout cas largement mieux que ce que j’aurais pu faire avec un CPU grand public.

Le plus gros point noir serait peut-être TrueNAS, un peu trop rigide sans pour autant être user friendly. Fonctionnellement, tout y est, c’est juste “pas super agréable” à utiliser.

Pour l’usage que j’en fais et les objectifs que j’avais, c’est un réel succès, si on met de côté l’OS. Je n’ai pas forcément envie de retourner sur un OS Linux nu avec lequel je fais tout moi-même…

Il faudra peut-être explorer des alternatives à TrueNAS, ou m’en contenter ?

Bonus : quelques commandes utilisées pour mes tests

diskspd

# Tests en lecture / écriture sur des blocs de 4 Ko
.\DiskSpd\amd64\diskspd.exe -c10G -d30 -b4k -h -o32 -t4 -r -w0 \\192.168.aaa.nas\tank\test
.\DiskSpd\amd64\diskspd.exe -c10G -d30 -b4k -h -o32 -t4 -r -w100 \\192.168.aaa.nas\tank\test
# Tests en lecture / écriture sur des blocs de 4 Mo
.\DiskSpd\amd64\diskspd.exe -c10G -d30 -b4M -h -o32 -t4 -r -w0 \\192.168.aaa.nas\tank\test
.\DiskSpd\amd64\diskspd.exe -c10G -d30 -b4M -h -o32 -t4 -r -w100 \\192.168.aaa.nas\tank\test

fio

cat > seq_rw_test.fio <<EOF
[global]
ioengine=libaio
direct=1
sync=1
size=10G
[sequential_read]
filename=/mnt/rpool/nfs/seqreadwrite
rw=read
bs=4M
[sequential_write]
filename=/mnt/rpool/nfs/seqreadwrite
rw=write
bs=4M
EOF
fio seq_rw_test.fio

Mon NAS en 2024 - Jonsbo N2 × Intel N100 - software

Sun, 19 May 2024 12:00:00 +0200

Cet article fait partie d’une série dans laquelle je parle de mon nouveau NAS que j’ai construit moi-même :

Les critères software

Dans la partie précédente, j’avais listé mes critères hardware (et un à mi-chemin hard/soft, le fait de pouvoir faire des VMs). Ici, passons donc aux critères software :

Mon critère principal est de pouvoir utiliser ZFS. Je suis fan inconditionnel de ce système de stockage qui sait tout faire. Je ferai peut-être un article rien que pour en parler d’ailleurs (et j’ai déjà plusieurs articles dont c’est le sujet secondaire).
Le second critère est la possibilité d’avoir une interface pour gérer facilement les fonctions principales du NAS. J’ai géré mon NAS avec un OS linux et tout géré “à la main” pendant des années
Dans les must have, il y a évidemment la possibilité de faire tout ce qu’on fait habituellement avec un NAS, à savoir la possibilité de faire du NFS, du Samba, du iSCSI, un serveur rsync, gérer des droits d’accès, monter des tunnels VPN…, Mais est-ce vraiment un critère ? N’importe quel OS linux peut le faire. Je note quand même 😉.
La possibilité de lancer des apps, pour étendre les fonctions de base, de façon simple (comme un serveur Plex par exemple)
La possibilité de lancer des containers ET des machines virtuelles

Aparté sur ZFS et les prérequis en termes de RAM

J’en ai ma claque de lire sur le net ou sur Twitter que ZFS n’est pas adapté pour les petits besoins / petites machines.

Je lisais encore hier un article qui disait qu’il ne fallait pas choisir un OS qui ne gère que ZFS car ZFS serait hyper gourmand , en particulier en RAM, et que cela empêcherait de l’utiliser sur des machines avec moins de 32 Go de RAM, et ECC en plus ! 😒

Il y a une extrêmement mauvaise compréhension des fonctionnalités de ZFS.

Oui, ZFS nécessite effectivement 1 Go de RAM (et vous avez réellement intérêt à ce que ce soit de l’ECC) par To d’espace disque… SEULEMENT SI VOUS ACTIVEZ LA DÉDUPLICATION !. Et autant dire que ce n’est recommandé que si vous savez ce que vous faites et les risques que cela implique. Je ne rentre pas dans les détails ici, on en reparlera dans l’article sur ZFS.

Et deuxième erreur, effectivement aussi, par défaut, ZFS réserve pour son cache la moitié de la RAM. Sauf que ce paramètre est… un paramètre ! S’il est déconseillé de le mettre à 0, ça fonctionne extrêmement bien, même si vous le réduisez fortement.

#Limiter la taille du cache RAM de ZFS à 4 Go
echo 4294967296 |sudo tee -a /sys/module/zfs/parameters/zfs_arc_max
cat /proc/spl/kstat/zfs/arcstats|grep -e "^size"
size 4 4119613272

Je l’ai mis à 512 Mo sur des serveurs Proxmox VE qui n’ont que 4 Go de RAM, par exemple, et je sais qu’on peut encore descendre.

The minimum amount of memory needed to install a Solaris system is 768 MB. However, for good ZFS performance, use at least one GB or more of memory. ZFS Hardware and Software Requirements and Recommendations

La philosophie derrière ce choix et que de la RAM inutilisée est de la RAM gâchée, et en tant qu’ingénieur, je recherche l’efficience. L’apparente gourmandise de ZFS pour la RAM n’est pas un bug, c’est une feature.

Choisir l’OS

Avec de rapides recherches, on trouve les usual suspects des NAS maison :

OpenMediaVault
TrueNAS (anciennement FreeNAS), historiquement basé sur FreeBSD (Core), mais qui dispose maintenant d’une version Linux (SCALE)
Depuis quelques années, on parle aussi pas mal de UnRAID, un OS orienté NAS sous Linux. Le produit est payant.

En plus confidentiel, il y a aussi :

XigmaNAS (ex NAS4Free, un fork de FreeNAS)
RockStor (base CentOS + btrfs)
Xpenology, un projet qui récupère le DSM de Synology, dont j’ai un gros doute sur la légalité
ou même, l’OS QNAP qu’on peut installer sur n’importe quel matériel moyennant un coût mensuel

La tribu réunifiée a décidé de vous éliminer

Mes critères éliminent directement Windows (ce n’est pas vraiment comme si ça avait été un candidat sérieux 🤣). Quoique, j’avais fait brièvement du Windows Media Server à l’époque où ça existait encore, et aujourd’hui avec ReFS, on aurait presque (presque ?) un candidat pour un NAS de hobbyist.

J’élimine aussi Xpenology, projet que je connais depuis très longtemps, et dans lequel je n’ai strictement aucune confiance. Et je pars de l’écosystème QNAP en partie à cause de son OS, donc ce n’est pas pour y retourner 😅

RockStor est trop confidentiel à mon goût, et je suis pas fan de btrfs qui a été trop instable pendant de nombreuses années.

XigmaNAS (ex NAS4Free) a sûrement des arguments, mais c’est TrueNAS qui a tiré son épingle du jeu et raffle le gros de la communauté.

UnRAID m’intéresse, mais le côté payant du projet est un problème. La version d’essai est très courte, et je n’avais pas spécialement le temps pour le tester de fond en comble au point de pouvoir décider si j’étais prêt à lâcher 49$ par an (tout de même !).

Le choix final

OpenMediaVault et TrueNAS (Core et SCALE) sont les alternatives les plus crédibles par rapport à mes critères.

TrueNAS Core (sous FreeBSD) était mon premier choix, pour son support naturel du ZFS et aussi le fait que je voulais apprendre à utiliser l’univers BSD que je n’ai jamais exploré.

C’était d’ailleurs FreeNAS que j’avais voulu choisir à l’époque (pour les mêmes raisons) de mon NAS de 2011, mais j’avais finalement choisi Ubuntu, car cette machine me servait aussi de mediacenter. TrueNAS dispose bien d’une interface web, de containers et de VMs (pour les deux versions).

Cependant, plusieurs personnes m’ont alerté sur la possibilité que la version TrueNAS Core disparaisse à terme au profit de la version Linux (SCALE). Et le critère “gestion facile d’apps” n’est pas disponible sur Core (ce sont des charts helm, et Core n’a pas la fonction Kubernetes qu’à SCALE)

Restait donc TrueNAS SCALE et OpenMediaVault, qui sont très similaires en termes de fonctionnalités et qui cochent toutes les cases. Et même si OpenMediaVault supporte ZFS, le fait que ce ne soit pas l’option par défaut m’a fait opter TrueNAS SCALE (mais ça aurait très bien pu être OMV).

Installation

Rien d’incroyable ici, il suffit d’installer l’OS comme n’importe quel autre linux.

On suit la doc : on récupère l’ISO sur le site, on l’écrit sur une clé USB bootable et on suit ensuite le processus d’installation.

TrueNAS SCALE demande 8 Go de RAM ou mieux. A mon avis, c’est surestimé (pour être large) et on doit pouvoir lancer SCALE dans de bonnes conditions avec moins, mais je suis content d’avoir pris 16 Go.

TrueNAS SCALE is very flexible and can run on any x86_64 compatible (Intel or AMD) processor. SCALE requires at least 8GB of RAM (more is better) and a 20GB Boot Device.

“Bêtement”, j’ai acheté un NVMe avec pas mal de patate de 512 Go, sauf que TrueNAS utilise tout l’espace par défaut. J’ai donc un NVMe quasiment inutile… Un peu rageant.

Une fois installé, on redémarre la machine et on peut se connecter sur l’UI :

Le dashboard principal est customisable : on peut modifier les tuiles qu’on veut afficher. Sur la gauche, les menus avec toutes les opérations courantes à réaliser sur le NAS apparaissent.

Conclusion

Je m’arrête là-dessus, on créera notre pool et les premiers partages lors des tests de performance dans le prochain article.

D’ici là, have fun !

Installer plex sur TrueNAS (SCALE)

Fri, 10 May 2024 18:00:00 +0200

Cet article fait partie d’une série dans laquelle je parle de mon nouveau NAS que j’ai construit moi-même :

Plex sur mon NAS

Un des prérequis quand je construis / achète un NAS, c’est la possibilité d’installer dessus Plex Media Server.

D’expérience, même s’il est possible d’avoir une VM sur un hyperviseur à côté qui gère la médiathèque “à côté” du NAS, ou même de déléguer ce rôle “serveur plex” à la box de l’opérateur ou même notre smartTV, c’est souvent plus pénible qu’autre chose :

je n’ai pas toujours un hyperviseur allumé à la maison et monté la médiathèque sur Internet est hors de question
le volume partagé qui héberge les médias entre le NAS et la VM peut sauter, et c’est pénible à debug / corriger quand ça arrive
les box / smartTV sont souvent trop limitées en hardware (espace disque pour les apps, CPU rachitique, RAM insuffisante…)
je change de box opérateur plus souvent que de NAS

Note : je suis certain qu’on ne sera pas d’accord avec moi sur certains de ces points, et c’est OK. Moi, je trouve que c’est mieux comme ça, mais vous faites bien comme vous voulez ;-P.

J’ai donc envie d’avoir Plex sur mon NAS et de ne pas trop m’embêter pour la gestion au quotidien.

Les “apps” dans TrueNAS

Et ça tombe plutôt bien, car nos amis de chez TrueNAS maintiennent à jour une application Plex pour TrueNAS. Sauf que sur le papier, elle est pas hyper simple à installer, d’où cet article pour vous guider ;-).

Tout cet article part du principe que vous utilisez TrueNAS SCALE et pas TrueNAS Core.

Si vous ne connaissez pas la différence, le mieux est que vous alliez voir par vous-même la documentation officielle - compare TrueNAS software.

TL;DR TrueNAS Core, c’est la version historique basée sur FreeBSD (qui s’appelait d’ailleurs FreeNAS, initialement). Cependant, depuis quelques années, iXsystems, l’entreprise qui développe TrueNAS, met à disposition une version basée sur Debian (donc GNU/Linux).

Pour des raisons que j’expliciterai dans l’article sur le choix du software (oui je viens donc de vous spoiler l’article suivant), j’ai TrueNAS SCALE et pas Core.

Pour faire tourner les “apps”, TrueNAS s’est appuyé sur un standard du marché : Kubernetes. Et oui, n’en déplaise à ses détracteurs, Kubernetes est devenu un standard du marché. Ca ne dit pas si c’est une bonne chose (on peut juger le précédent standard, aka VMware, à l’aune de l’actualité, par exemple). Mais c’est juste un fait.

Activer les apps

Par défaut, TrueNAS n’active pas les “apps”. Ca va être à nous de le faire. En soit, ce n’est pas forcément un mal : si vous n’en avez pas besoin aucune raison de consommer des ressources pour rien.

Et quand on parle de consommation de ressources et de Kubernetes je vois déjà les gens dans le fond qui font les gros yeux. Rassurez-vous (pas sûr que ça vous rassure, mais moi oui), les équipes d’iXsystems ont eu la sagesse de choisir k3s et non un kubernetes vanilla pour héberger Kubernetes sur notre NAS. Les ressources consommées par le control plane seront donc minimales (quelques centaines de Mo au max).

On va donc dans l’onglet “Apps” et on active k3s en l’installant simplement sur un de nos pools. Dans mon cas, j’en ai deux. Un avec mes disques durs classiques, et un avec un (unique) SSD.

Initialement j’avais installé le k3s sur le pool de HDDs, histoire de mutualiser le stockage et de maximiser la disponibilité (j’ai un RAID-Z1). Cependant, le k3s de TrueNAS a tendance à écrire pas mal sur les disques, qui se retrouvaient à gratouiller sous mon bureau pendant une demie seconde toutes les 5 secondes environ. Très énervant.

J’ai donc recréé un pool spécial pour les apps sur un SSD que j’avais en rab.

On clique sur Settings en haut à droite, puis Choose Pool

Installer plex media server via les apps

Au bout de quelques secondes / minutes, k3s est installé et on peut commencer à chercher une app parmi le catalogue (>100). Ici on recherche plex et on clique sur Install

A partir de là, une fenêtre avec plein de paramètres va apparaitre. Mais avant d’aller plus loin, on va aller sur la page www.plex.tv/claim/. Une fois loggué sur votre compte, la page va vous générer un token temporaire, qui va permettre de relier directement le serveur une fois qu’il aura démarré sur votre NAS avec votre compte. Pratique !

Dans la looongue page de configuration, on a que quelques paramètres à changer. D’abord, il faut renseigner le token qu’on vient de générer dans la section Plex Configuration. Si vous avez le Plex pass, vous pouvez aussi changer Image :

Ensuite, dans la partie Storage configuration, il va falloir indiquer le chemin vers le pool qui contient les médias. Moi c’est /mnt/rpool/tank/Vidéos. rpool est le nom de mon pool RAID-Z1, tank est mon volume principal.

Attention : assurez-vous que l’utilisateur unix (local) “apps” a bien accès en lecture/exécution sur toute l’arborescence, sinon vous ne verrez pas le dossier quand Plex sera lancé (très frustrant, il n’y a aucun message d’erreur, juste “rien”).

De manière optionnelle, vous pouvez tuner les “limits” (au sens docker/kubernetes du terme) de votre app. Par défaut, la chart plex de TrueNAS propose 4 CPUs et 8 Go de RAM, ce qui est beaucoup. Mon plex ne consomme que 100 Mo au repos. J’ai baissé à 2 CPUs (avec un risque de throttling, mais là on rentre dans des notions un peu tricky de Kubernetes que je préfère esquiver aujourd’hui dans cet article) et 4 Gio de RAM (j’en ai 16 mais je veux garder le plus de cache possible).

Une fois terminé, l’application se déploie, puis affiche Running. On a alors un cartouche Application Info dans Details qui devrait afficher un bouton Web Portal qui devrait nous rediriger sur l’IP de notre NAS sur le port 32400 (celui habituel de plex).

On peut donc se laisser guider par le wizard de configuration de Plex Media Server, lui donner un nom mignon et aller chercher nos médiathèques dans /data. Normalement, le dossier que vous avez donné lors de l’étape Storage configuration devrait apparaitre.

Bonus

Pour une raison que j’ignore (peut être parce que c’est un container avec un adressage à part), j’ai dû explicitement indiquer le port public (32400 sur ma box, qui redirige sur l’IP de mon NAS et le port 32400) pour que le Control à distance fonctionne et que l’accès direct (sur le réseau local) fonctionne correctement.

Mon NAS en 2024 - Jonsbo N2 × Intel N100 - hardware

Fri, 03 May 2024 12:00:00 +0200

Cet article fait partie d’une série dans laquelle je parle de mon nouveau NAS que j’ai construit moi-même :

Mon NAS, quatrième itération ?

Depuis 2011, je change de NAS régulièrement.

2011, c’était de la récup’ (un vieux Qbic Soltek, une carte mère avec un Atom fanless).

2014, c’était encore plus bidouille, car j’avais juste posé une carte mère dans mon Red Helmer.

2018, j’en avais marre de gérer moi-même l’OS, les problèmes d’upgrades de l’OS, etc. J’étais donc passé sur un NAS du commerce (un QNAP).

Après 6 ans de bons et pas très loyaux services (QNAP désactive des features au fur et à mesure), j’ai décidé de m’en reconstruire un nouveau, moi-même.

Pourquoi construire son propre NAS en 2024 ?

Construire son propre NAS présente plusieurs avantages par rapport aux solutions commerciales :

Contrôle total sur le matériel et le logiciel
Rapport performance/prix souvent meilleur
Évolutivité : possibilité d’upgrader facilement
Pas de vendor lock-in : liberté de changer d’OS
Apprentissage : comprendre le fonctionnement interne

Cependant, cela demande du temps, des connaissances techniques et implique de gérer soi-même la maintenance.

Les critères hardware

À force d’itérations, je commence à savoir ce que je veux / ne veux pas pour mon NAS. En voici la liste :

quatre emplacements
un ou plusieurs ports ethernet 2.5 Gbps
un beau boitier, qui fasse un peu sérieux, relativement compact (pas une tour)
pas de bruit, peu de chauffe
une consommation électrique raisonnable
possibilité de hotswap les disques

Ces critères sont surtout hardware, mais j’en rajoute qui est plutôt software, tout en restant lié au hard :

la possibilité de faire des machines virtuelles (si jamais j’en ai l’envie) et des containers

Le choix des composants

C’est l’étape la plus compliquée quand on fait un NAS DIY.

Le problème principal est de trouver un boitier qui convient. Ça fait des années que je cherche (même en 2011 / 2014) et souvent les boitiers sont rares, chers, volumineux et/ou moches. Le côté hotswap est fréquemment absent.

Heureusement, j’ai trouvé un boitier qui coche toutes les cases, même s’il est difficile à trouver en France : le Jonsbo N2. J’avais entendu parler de cette marque sur Next Inpact avec le Jonsbo N1, plus compact, mais qui n’avait pas de hotswap.

Le Jonsbo N2 corrige ce défaut. C’est grosso modo un cube de 22 cm de côté, il est plutôt beau même si un peu gros à mon goût.

Niveau compatibilité, on peut l’alimenter avec une PSU au format SFX et une carte mère au format Mini ITX. C’est relativement attendu, vu la compacité, mais ça nous rajoute tout un tas de problématiques complémentaires.

Budget et coût total du projet

Avant de détailler chaque composant, voici un aperçu du budget total :

Boîtier Jonsbo N2 : ~120€
Carte mère Intel N100 avec ports 2.5GbE et de nombreux SATA : ~200€
Alimentation SFX 300W : ~80€
RAM DDR5 16Go : ~60€
SSD NVMe 500Go : ~40€
Switch 2.5 Gbps + carte réseau : ~80€

Total : environ 580€ (hors disques de stockage)

Alimentation SFX

D’abord, les alimentations SFX sont plus rares, plus chères et moins efficaces. Trouver un modèle peu puissant, économe, bon marché et semi-passif (pour le bruit) est impossible.

Le mieux que j’ai trouvé est une alimentation Be Quiet SFX Power 3 de 300w. Elle n’est pas semi-passive (donc fait continuellement du bruit, même si c’est raisonnable) et seulement 80Plus Bronze (donc il y a des pertes significatives d’énergie). En alternative, j’aurais pu prendre (à vérifier, la taille n’est pas claire) les SFX-L de Be Quiet, qui ont l’avantage d’être 80 Plus Gold et modulaires.

Conseils pour choisir son alimentation SFX

Pour un NAS, les critères importants sont :

Efficacité énergétique (80 Plus Gold ou l’équivalent avec les nouvelles normes cybenetics)
Niveau sonore (ventilateur semi-passif idéal)
Puissance adaptée (300W largement suffisant pour ce type de build)
Câbles modulaires pour faciliter le câblage dans l’espace restreint du JONSBO

Carte mère Intel N100

Ensuite, les cartes mères mini-ITX ont souvent peu de ports SATA, ce qui ne colle pas avec mon besoin de quatre disques. À partir de là, il y a 3 solutions, aucune n’étant vraiment “ouf”.

La plupart des cartes Mini ITX ont 2 (voire 1) ports SATA, mais certaines ont aussi des ports M.2 pour NVMe et/ou un port PCIe :

Il existe des adaptateurs 1 NVMe => 6 SATA
Il existe des cartes d’extension PCIe => SATA

Mais je n’ai absolument pas confiance dans la qualité de ces machins, donc j’ai abandonné l’idée. D’autant que j’aurais peut-être besoin du port PCI-e pour ajouter une carte d’extension pour avoir le 2.5 Gbps.

J’avais trouvé une carte avec quatre ports SATA et le support du socket AM4 (exemple ASRock B550M-ITX/AC). Si je rajoute un Ryzen 5 5600G, je coche la case “possibilité de faire des VMs”, mais c’est relativement cher (~260€ au total) et surtout le CPU consomme beaucoup d’électricité (TDP 22w).

Dernière solution, il existe aussi quelques OVNI comme la carte ASRock Rack X570D4I-2T avec des ports OCuLink permettant de gérer 4 SATA chacun, mais c’est quasiment impossible à trouver et très cher.

En fouillant AliExpress, je suis assez vite tombé sur ce genre de modèles de cartes “noname” :

Il existe plein de modèles et de variations du même genre de cartes. Grosso modo, c’est un chipset Intel compatible Atom de différentes générations avec 4 ports Ethernet 2.5 Gbps, 6 SATA, parfois fanless, parfois non.

Sur le papier, c’est pile ce que je cherche. J’ai une carte mère et son N100 (seulement 6w de TDP) + ventirad qui coche tous mes critères. Il faut juste ne pas trop avoir peur du côté “carte mère noname”.

Pourquoi choisir l’Intel N100 ?

Le processeur Intel N100 présente de nombreux avantages pour un NAS :

Très faible consommation : TDP de seulement 6W
Performance suffisante : 4 cœurs jusqu’à 3.4 GHz
Support hardware : décodage vidéo H.264/H.265, VT-x et VT-d pour la virtualisation
Connectivité moderne : DDR5, PCIe 4.0
Prix abordable : rapport performance/prix excellent

J’ai pris le risque, j’ai choisi cette carte, que j’ai réussi à avoir autour de 200€ (ici 250 sur la capture d’écran).

Composants complémentaires

Pour installer l’OS de mon NAS, j’ai ajouté un SSD NVMe de 500 Go (le moins cher de marque que j’ai trouvé).

J’ai aussi ajouté 16 Go de RAM DDR5, dans l’idée que j’aurais peut-être besoin de ça pour des containers / VMs.

Comme je n’ai pas encore de réseau en 2.5 Gbps chez moi, j’ai donc dû faire l’upgrade. J’ai choisi un switch “noname” sur AliExpress (là encore), une carte PCIe pour mon PC perso.

Pour les disques, j’ai fait l’erreur (on en reparlera) de récupérer des vieux disques Western Digital Red de 4 To que j’avais en stock…

Liste des achats complémentaires

Montage

Le boîtier est très beau, bien conçu, semble être de bonne qualité / bonne facture. La carte mère est en haut, l’alimentation se positionne sur le bas + côté et les disques de l’autre.

Côté carte mère, elle est livrée avec une grosse surface de contact en cuivre sur laquelle j’ai ajouté le ventirad low profile.

Pour être parfaitement honnête, je me demande si le ventilateur est réellement nécessaire. On en reparlera dans le prochain article.

Installation du système de refroidissement

Le système de refroidissement du NAS est conçu pour être silencieux tout en restant efficace :

le N100 devrait être simple à refroidir du fait de son faible TDP
la ventilation des disques est assurée par le ventilateur à l’arrière

Pour pouvoir être hotswap, les disques durs sont connectés à un backplane, aéré par un ventilateur low profile (15 mm d’épaisseur) que j’ai remplacé par un 25mm (classique) car j’ai lu qu’il était bruyant. Le souci, c’est qu’il y a très peu d’espace, pas assez pour un 25mm, mais ça rentre au chausse-pied.

Note : il existe des plans d’impression 3D pour corriger ce problème, si nécessaire. Mais je n’en ai pas eu besoin.

Conclusion

Une fois le montage fini, je trouve ça plutôt clean :)

Bilan de cette première partie

Cette première étape du projet NAS 2024 s’achève sur un bilan globalement positif :

Boîtier Jonsbo N2 : excellent compromis design/fonctionnalité
Intel N100 : performance/consommation remarquable
Assemblage : relativement simple malgré l’espace restreint
Budget maîtrisé : ~580€ pour une base solide

Quelques points d’attention tout de même :

la carte mère “noname” est un véritable pari
la compacité pourrait rendre l’ensemble difficile à refroidir (en tout cas silencieusement)

Dans le prochain article, on parlera des différents tests de performance que j’ai réalisés et du choix du système d’exploitation.

MicroRack v1 - un rack compact pour les Dell Micro de mon homelab

Thu, 15 Feb 2024 17:00:00 +0200

Yet another homelab (again)

Il y a quasiment 10 ans (à 1 mois près), je concevais et construisais mon propre “meuble” pour mon homelab de l’époque, composé de plusieurs cartes MicroATX et de matériel récupéré.

Je m’étais inspiré de Ike-hackers (pour ceux qui ne connaissent pas les Ikea-hacks ou Ikeacks, je vous laisse chercher, ça vaut le coup) qui transformaient un meuble “Red helmer” en cluster de rendering 3D.

Depuis, mon homelab a changé 45 fois (à peu près) et récemment, je me suis lancé dans un lab basé sur des dell micro, des tout petits desktops (il y en a aussi chez HP et Lenovo) qui consomment peu (donc peu puissants) et sont assez robustes :

L’article à ce sujet

Crude but effective

On ne va pas se mentir, trimballer ça dans un bac “Trofast” de chez Ikea, c’est quand même un peu bourrin. Mais faute de mieux c’était pas mal.

Quelques mois plus tard, un très bon copain (dont le seul défaut est qu’il vit en Australie et que bon, c’est un peu loin pour les apéros) m’envoie ça :

printables.com - SergeiBuilds - Mini Lab Rack For Dell Optiplex MFF Servers

Un “rack” compact et propre pour ranger des dell micro ??? A faire en DIY ?

Mais c’est trop bien !!

Problème(s)

Bon, sur le papier ça a l’air cool, mais il y a quand même plusieurs problèmes à régler. D’abord, le lien sur printables.com est assez peu détaillé. Les photos sont pas tops (on ne voit pas comment c’est monté), on sait juste qu’il faut imprimer des pièces (dont les modèles sont fournis) et qu’il faut monter ça dans un cadre en aluminium.

The frame is assembled from 4x 200mm, 4x 300mm, 4x 400mm & 2x 360mm 2020 aluminium extrusion and held together with L corner brackets. The overall dimensions are 240mm wide, 400mm high & 340mm deep.

D’abord: je n’ai pas d’imprimante 3D (et je n’y connais rien).

On m’a conseillé plusieurs moyens de contournement. En acheter une (le plus simple xD), demander à un copain, passer dans un fablab, la faire imprimer sur Internet (ça coûte assez cher).

(Finalement, j’ai trouvé une âme charitable pour me les imprimer au boulot, merci Fabien)

Ensuite, comment on l’achète et on le monte ce fichu cadre en aluminium ?

A force de recherches (décembre 2023), j’ai fini par trouver que les “2020 aluminium extrusion” s’appellent en bon français des “profilés aluminium 20x20”.

On peut en trouver sur Amazon pré-coupés (c’est fort cher). Et même si on en prend des grands à recouper soi-même, j’avais un peu peur de la précision de coupe (même si je suis outillé).

Heureusement, on a fini par me donner l’adresse d’un site industriel qui en vend à la découpe (motedis.fr).

Profilé aluminium 20x20 Type B rainure 6

Pour assembler les profilés, il faut des équerres internes (L corner brackets, fallait deviner…). Heureusement on en trouve aussi chez Motedis, je suis tombé dessus par hasard en fouillant les vidéos du site !

Équerre interne 20 B-Type rainure 6 M5 Alternative

Il en faut 20 (ce que ne dit pas ce cher SergeiBuilds, j’ai compté 3 fois pour être bien sûr).

Une fois que vous avez pris ces deux trucs là, vous en avez déjà pour 60€ (dont 20€ de frais de port)…

Il faut aussi des écrous à glisser dans les rails pour fixer nos pièces de PLA, ainsi que des vis M5. J’en ai compté 24 mais je ne les ai pas achetés (on y reviendra dans la section suivante).

Et là, c’est le drame

Je laisse passer décembre (trop occupé) et je commande tout ça (mi-janvier 2024)

Au bout de quelques jours, ma commande Motedis est arrivée et j’étais comme un gosse à Noël. Mais je déchante très très vite…

Les équerres ne rentrent pas dans le profilé. Un peu bourrin (oui je suis pas toujours très fin), je tape dessus au marteau. Sur les extrémités ça marche (bien). Au milieu, j’arrive à mettre le premier. Mais je casse les suivantes.

Pourtant c’est bien du 2020 mon profilé 🤔…

Bon, je ne vous fais pas mariner trop longtemps. La raison c’est que je n’ai pas pris le bon profilé 2020. Il existe 2 sortes, toutes les deux disponibles sur Motedis et j’ai pris la mauvaise :

Grosso modo, j’ai pris par erreur les types I, qui ont une rainure “arrondie” de 5, alors que ceux qu’il fallait, c’était des types B, avec une rainure trapézoïdale de 6…

A partir de là, 2 solutions :

je rachète tout
je m’adapte

Ca m’ennuie de jeter de l’alu parce que j’ai été trop bête… J’ai donc décidé (5 février) de trouver des solutions, quitte à ce que le rendu soit moins “net”. J’ai donc remplacé l’usage des écrous+vis M5 par visser les parties imprimées.

Clairement, le résultat me parait acceptable.

Mais ne faites pas la même erreur que moi, car il sera impossible d’avoir un rendu parfait avec des vis plantées dans un rail alu. L’avantage des équerres et des écrous + vis M5, c’est que c’est repositionnable juste en desserrant / resserrant la vis.

Le 13 février, j’ai reçu de la part de mon collègue les pièces imprimées en PLA.

Premier problème : comme je dois les visser directement dans le rail alu (puisque je ne peux pas insérer d’écrous pour mes vis M5) je ne peux pas les positionner correctement. Même en faisant de mon mieux, j’ai parfois des petits “jours” d’un 1/2 millimètre.

Deuxième problème : je ne peux pas non plus visser la cage pour le switch, car je ne pourrais pas passer un tournevis. Je laisse ce problème de côté dans un premier temps.

Troisième problème, je n’ai pas vérifié, mais mon switch est trop épais. Je découpe donc à la Dremel (content de l’avoir même si elle sert pas souvent) et à la pince perroquet mon bout de PLA. Petite surprise (évidente) : le PLA, ça fond 😅.

J’arrive quand même à tout assembler et à obtenir un résultat correct. C’est fonctionnel, ça reste joli malgré quelques imprécisions, et c’est assez pratique à l’usage.

La suite ?

Après avoir posté ça sur Twitter et à quelques copains, on m’a donné quelques idées d’améliorations, qui serviront pour une V2 :

Ajouter des pieds, en taraudant le tube central des profilés
Remplacer le passe câble Ethernet du haut et la cage pour le switch en dessous par un support caché pour un switch 8 ports. Il n’y a vraiment de raison fonctionnelle à ce que les ports soient visibles et 5 ports c’est trop limité. Pourquoi pas acheter un managé tant qu’à y être.
En profiter pour ajouter un étage de plus (dell micro ? Raspberry pi ?)
Remplacer la multiprise (en prendre une connectée ?) et trouver un moyen de la fixer proprement sur les rails
Trouver un moyen de fixer les alims pour qu’elles ne pendouillent pas
Ajouter un pikvm (cher++ !) pour se passer du mini écran ? A voir
Éventuellement couvrir une partie des côtés avec du plexi ? A voir

Pour l’instant je ne vais rien faire, car je suis content du résultat (et un peu fatigué de tout ces rebondissements !). Mais on verra après un peu d’usage ce que je fais / ne fais pas :)

En attendant, have fun !