Synology on Zwindler's Reflection

Stockage pour un admin geek : QNAP TS431P2 ou Synology DS418(j) ?

Tue, 23 Jan 2018 12:45:24 +0000

Behold!

Mon TS431P2

J’en ai déjà parlé sur le blog, j’ai entamé une phase de dés-auto-hébergement. Oui je sais, c’est triste.

Au delà des problématiques de disponibilités des services plus réduite en auto-hébergement (sauf à réaliser des efforts conséquents) par rapport à des services en ligne, héberger son serveur, ce n’est pas toujours très écolo et ça peut coûter plus cher.

Louer une machine physique et y installer un hyperviseur chez Kimsufi (ou OneProvider ou autre) permet de faire des économies pour une qualité de service supérieure (cf les articles de M4vr0x). Alors ce n’est certainement pas aussi fun que de concevoir et monter son propre meuble « rack » et y visser une carte mère dedans mais c’est probablement aussi plus rationnel.

N’ayant plus que le « serveur NAS » dans mon Red Helmer maison, j’ai donc décidé d’aller au bout de la démarche et d’abandonner mon Xubuntu customisé pour acquérir un QNAP TS431 P2.

Migration en cours

Synology ou QNAP, un choix de société ? Vous avez 4 heures !

Je vais esquiver (ou au moins tenter d’esquiver) un flame war Synology versus QNAP et simplement lister mes besoins. Je veux remplacer un NAS existant à base d’OS Linux disposant des caractéristiques et fonctionnalités suivantes :

Matériel :
- Intel Pentium (dual core 3GHz)
- 8 Go de RAM
- ~6 To via 3x 3To de HDD Western Digital Red en grappe RAID 5 via mdadm . Le but est de réutiliser ces disques.
- 4 baies 3,5″ minimum (cf ligne précédente)
Performances :
- Je souhaite disposer d’un NAS capable a minima de saturer le port gigabit Ethernet (>100 Mo/seconde en lecture ou écriture séquentielle) sans perte de performance sur les autres services
Fonctionnalités :
- Partages NFS, CIFS, iSCSI
  - Serveur SFTP, Plex et Deluge centralisant les téléchargement démarrés depuis tous les PC du foyer
- Accès SSH en admin (pour hébergement de petits services complémentaires comme des scripts de supervision, mise à jour de DynHost OVH, …)
Prix :
- Le moins cher possible une fois que les critères de performances et fonctionnalités sont respectés

Si on met de côté le serveur Deluge qui est un besoin un peu exotique, les fonctionnalités nécessaires sont relativement basiques. Ce n’est donc pas réellement un critère de choix.

Shortlister du matériel

Je me suis néanmoins limité à Synology et QNAP (les deux leaders) pour m’assurer un meilleur support et une meilleure assurance d’avoir de nouvelles fonctionnalités dans les années à venir car leurs OS sont régulièrement mis à jour.

J’ai donc épluché les références sur le site des deux marques (Synology et QNAP) et voilà les modèles qui ont retenus mon attention :

QNAP TS431P2 (Home - Middle range)
QNAP TS451* (Home - High end)
Synology DiskStation DS418j (Home - Middle range)
Synology DiskStation DS418 (Home - Middle range)

Clairement, le TS451 (et ses déclinaisons) est overkill. Outre la sortie HDMI dont je n’ai que faire (le NAS est dans le dressing, loiiiin de la TV), le TS451 dispose d’un Celeron, capable sur le papier de faire tourner des VMs. L’argument est intéressant mais je ne pense pas en avoir l’utilité à la maison, toutes mes VMs ayant été transportées sur les serveurs chez Kimsufi.

La vraie « battle » s’est donc faite entre le TS431P2 et les deux Synology DS418 et sa version « j ».

Comparer des oranges et des bananes

Voici un petit tableau comparatif des trois NAS :

La RAM

Il y a clairement 2 philosophies. Synology se vante d’avoir doublé la capacité de la RAM de ces modèles de 2018 (2G/1G) par rapport à ceux de 2016 (1G/512M). En même temps on partait de tellement loin ! Chez QNAP, si les modèles d’entrée de gamme sont aussi en 1Go, on hésite pas à proposer des modèles avec 2, 4, voire 8 Go, et à indiquer que tous les modèles sont upgradables. Dans l’optique d’héberger de futurs services supplémentaires à la maison, c’est rassurant, mon TS431P2 ne manquera pas de RAM.

Performance brute

A première vue, les 3 NAS disposent de processeurs ARM récents et se valent.

Pourquoi je parle de CPU ? Au delà de la vitesse des disques qui est indépendante du NAS choisi, et de la vitesse des ports Gigabit (bridée… à 1 Gbit ! surprise !), c’est le CPU le facteur limitant sur la plupart des NAS sur le marché.

Or dans le cas présent, les 3 saturent les ports Ethernet en lecture ou écriture séquentielles (le DS418j n’a qu’un port Ethernet, d’où les débits 2x inférieurs).

C’était une vraie inquiétude pour moi car les premiers Synology que j’avais pu manipuler il y a quelques années étaient plombés par des ARM sous dimensionnés induisant des plateaux à 40-50 Mo/s et bloquant toutes les autres opérations (CPU à 100%). C’était la raison pour laquelle j’ai monté plusieurs « NAS maisons » depuis 2011, avec des performances bien plus importantes à tarif égal.

Comparer les ARM entre eux

A ma connaissance, il n’existe pas de base de données en ligne de benchmark sur les différents CPU ARM (comme on peut trouver pour Intel et AMD par exemple), donc pas de possibilité de comparer comme cela.

Cependant, en fouillant un peu plus, j’ai pu me rendre compte que l’Alpine AL-314 semble surclasser très (très) largement les deux autres. En épluchant la fiche technique du TS431X2 (un NAS QNAP entrée de gamme pour PME avec un port… 10GbE fibre !) qui a le même processeur, on découvre des performances maximales théoriques de 1014 Mo/s en lecture et 580 Mo/s en écriture ! On sature même le 10GbE en lecture…

Cet avantage se confirme sur les transferts chiffrés. Le DS418 ne sature plus qu’un seul port Ethernet et le DS418j tombe même bien en dessous des 100Mo/s en écriture.

Parallèlement, le TS431P2 garde un débit assez proche de la saturation de ses deux ports Ethernet. Autant dire qu’avec ce processeur, le NAS s’ennuie quand on transfère à 100 Mo/s (ce que j’ai pu vérifier IRL).

Il n’y a donc aucune contrindication à héberger des services supplémentaires et les gros transferts n’ont aucun impact sur les performances globales du NAS (si ce n’est congestionner le réseau).

Killer features (containers et snapshots)

Déjà, côté matoss, le QNAP est donc devant.

Côté fonctionnalités, si DSM (OS des Synology) possède beaucoup plus de paquets/applications que QTS (OS des QNAP), les DS418(j) ne sont pas compatibles avec l’application Docker alors que le TS431P2 (et tous les autres QNAP) propose une application officielle pour gérer les containers LXC ET Docker.

Container Station

Dans l’optique de remonter mon serveur Deluge sur le NAS (et d’autres services par la suite), c’est donc un autre point positif pour QNAP.

Deux derniers point mis en avant par QNAP, la possibilité de gérer sur tous les modèles de la gamme des snapshots de tous les volumes avec la dernière version (QTS 4.3.4), ce qui n’est pas possible sur les DS418(j), ainsi qu’une application pour gérer des devices de type IoT.

User friendly versus bidouilleur

Clairement, le positionnement de Synology est de proposer des boitiers suffisants pour la plupart des utilisateur, un peu moins customisables et performants mais aussi un peu plus simple d’utilisation. C’est pour ça que, pour tout autre personne que moi (ou un geek sysadmin), je conseille les Synology.

J’insiste : les différences sont vraiment infimes car QNAP est aussi très user friendly. L’interface est très fluide et très intuitive, mais on a clairement plus la main (pas encore autant que je voudrais :-p) et un néophyte serait probablement plus à l’aise sur un Synology.

Le « bureau » de QNAP

Administration et Filestation

Mais le fait que le CPU soit bien plus costaud côté sur les QNAP et qu’on ait la possibilité d’augmenter la RAM sont clairement des points qui plaisent aux bidouilleurs dont je fais partie.

L’ajout de fonctionnalités comme Docker/LXC, les snapshots ou le support de l’IoT sur toute la gamme aussi.

Sans trop d’hésitation, j’ai donc choisi le TS431P2. En profitant d’une promo j’ai réussi à avoir le modèle 1 Go avec une barrette de RAM 8 Go pour pratiquement le même prix que sans. Je ferai peut être un petit article sur la partie upgrade de la RAM ;-)

Sources

[Tutoriel] Récupérer l’espace non réclamé via l’API VAAI de VMware et l’instruction UNMAP

Sat, 19 Mar 2016 11:30:55 +0000

Contexte

La plupart des solutions de stockages estampillés Entreprise sont certifiés pour fonctionner de manière optimisée avec VMware, via l’API VAAI (baies EMC², HP, etc, mais aussi des solutions logicielles comme Datacore et même certains NAS Synology/QNAP/…).

Cette API permet entre autre d’accélérer les performances de certaines opérations d’exploitation, comme par exemple la copie de machines virtuelles ou le déploiement de templates. Elle permet également à VMware d’indiquer au stockage (à la baie de disques par exemple) qu’un Datastore (un ou plusieurs LUN) dispose de blocs qui ont été libérés.

Ceci est particulièrement utile dans le cas où le LUN est en Thin Provisioning, car dans ce cas là, de l’espace précédemment consommé peut être libéré côté baie via l’instruction UNMAP.

Exemple

On dispose d’un LUN de 500 Go en Thin Provisioning, présenté à un serveur VMware. On a créé un Datastore dessus et ajouté un VMDK qui prend 100 Go. Comme le LUN est en Thin provisioning, seul 100 Go (environ) est réellement utilisé sur la baie de disques.

Imaginons maintenant que le VMDK est supprimé du Datastore. Côté VMware, le Datastore sera bien vu comme vide car le VMDK a été détruit. Par contre côté baie de disques, le LUN fait toujours 100 Go car la baie de disques n’est pas « au courant » de la libération de l’espace pris par le VMDK.

On peut se connecter sur le serveur VMware pour réclamer cet espace disque en envoyant à la baie de disques une commande VAAI UNMAP.

Procédure de réclamation de l’espace disque

Pour une baie EMC de type VNX 5X00 et un LUN de 1500 Go. Le LUN fait 1460 Go sur la baie, pourtant beaucoup d’espace a été libéré sur le Datastore.

En se connectant en SSH sur un VMware, on lance la commande suivante :

esxcli storage vmfs unmap -l MONDATASTOREANETTOYER

Au bout que quelques minutes (peut durer longtemps si il y a beaucoup d’espace à réclamer), l’espace commence à se libérer :

Plus d’information sur le site de VMware

kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2057513 (lien mort, comme tout chez VMware)
kb.vmware.com/selfservice/search.do?cmd=displayKC&docType=kc&docTypeID=DT_KB_1_1&externalId=2014849 (lien mort, comme tout chez VMware)
kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2057513 (lien mort, comme tout chez VMware)
lien mort, j’utilise Internet Archive

[Tutoriel] A la recherche d’un équivalent à PhotoStation : Piwigo/CentOS 7

Thu, 11 Feb 2016 16:30:45 +0000

Je cherche un équivalent à PhotoStation des NAS Synology

Voilà encore un article que j’ai commencé à écrire il y a longtemps et je trouve enfin le temps de le terminer. Dans ma ~~recherche~~ quête d’un service équivalent à celui offert par Synology avec son PhotoStation, je suis tombé sur les sites de Korben et Nicolargo qui nous parlent tous deux de OpenPhoto.

Pour resituer, je cherche un logiciel auto-hébergeable qui me permettrait de visualiser et partager certaines de mes photos à ma famille qui sont aujourd’hui sur mon NAS, sans avoir à recourir à un service en ligne tiers (certains sont payant, d’autres réduisent la qualité, sans parler de l’aspect protection de la vie privée).

Sur le papier, ça semblait correspondre.

Pourtant, j’avais du mal à trouver le site. Les rares informations que je trouvais renvoyaient vers des sites visiblement down.

OpenPhoto ? Ah non…

Et pour cause :

Le projet OpenPhoto a été créé en 2011
Puis renommé en Trovebox en 2013 lorsque ses concepteurs ont tenté de créer une entreprise
github.com/photo/frontend
Qui a fermé ses portes en mai 2015. Darn !

Bon du coup, ça n’en fait pas forcément un candidat idéal pour une mise en production même si a priori les sources toujours disponibles sur github ont été données à la communauté. Plus d’informations sur le dépôt GitHub <a href=)

L’installation avait l’air assez simple et le look vraiment prometteur, le principe est identique à la galerie d’OwnCloud et de CozyCloud : on doit importer ses photos dans l’application.

Cela peut être une bonne solution pour les gens qui veulent mettre à disposition quelques photos triées sur le volet ou qui n’ont pas tout centralisé (voir mon article sur CozyCloud).

Au delà de ça, le fait que le projet soit terminé et qu’il n’y ait eu aucune activité (pas de reprise de la communauté) depuis un an est rédhibitoire pour moi. Dommage.

Piwigo

En fouillant dans les commentaires de l’article de Korben cités plus haut, je suis tombé sur un commentaire d’un des développeurs de Piwigo (Pierrick LE GALL), un autre projet, Français et libre, visant à fournir un serveur de galerie web.

Et si le look est clairement moins léché, le projet est lui bien vivant, ce qui lui confère instantanément des points par rapport à Trovebox :-p.

En lisant la documentation, on remarque que le projet est clairement plus orienté vers un hébergement de l’application sur des sites mutualisés type OVH ou Gandi. Cependant rien ne vous empêche comme moi d’installer une base de données MariaDB et un serveur web sur un Debian/CentOS pour mettre à disposition mon service de galerie web.

Installation rapide

Si vous utilisez Piwigo sur un hébergement mutualisé, il est probable que la procédure sera plus complexe. Je vous conseille de lire la documentation officielle dans ce cas.

A partir d’une base CentOS 7 de type Desktop, j’ai installé Piwigo de la façon suivante :

yum install mariadb-server mariadb #Installation de mariadb
systemctl start mariadb #Démarrage de mariadb
systemctl enable mariadb #Activation de mariadb au boot
mysql_secure_installation #Configuration de mariadb de manière sécurisée
systemctl restart mariadb

mysql -uroot -p
Enter password: #Connexion à la base pour création bdd et utilisateur piwigo
CREATE DATABASE piwigo;
CREATE USER 'piwigo'@'localhost' IDENTIFIED BY 'motdepassetressecure';
GRANT ALL PRIVILEGES ON piwigo.* TO 'piwigo'@'localhost';
FLUSH PRIVILEGES;
exit

yum install httpd php php-mysql php-gd ImageMagick #Installation du serveur Web apache, de PHP et des dépendances
vi /etc/php.ini #modifier la timezone si le serveur est sur l'heure de Paris
date.timezone = Europe/Paris
systemctl start httpd #Démarrage de httpd
systemctl enable httpd #Activation de httpd au boot

firewall-cmd --permanent --add-port=80/tcp #Ajout du port 80 dans les exceptions du firewall
#firewall-cmd --permanent --add-port=443/tcp #Pour l'instant pas nécessaire car on ne met pas de HTTPS dans ce tutoriel
firewall-cmd --reload #rechargement des règles de firewalling

cd /var/www/html
mkdir piwigo &amp;&amp; cd piwigo
chown -R apache:apache piwigo
wget -O piwigo-netinstall.php http://piwigo.org/download/dlcounter.php?code=netinstall #Récupération du code d'installation automatique
chown -R apache:apache /var/www/html/piwigo

A partir de là, on peut ouvrir la page d’installation http://@IPpiwigo/piwigo/piwigo-netinstall.php dans un navigateur web

Troubleshooting

Si vous avez une erreur de permission lors de l’installation, vérifiez bien entendu que l’utilisateur apache a bien les droits en écriture dans le répertoire. Cependant, cela peut également être un problème de SELinux (typiquement j’avais cette erreur dans /var/log/messages)

Feb 7 21:32:44 xxxx dbus[652]: [system] Activating service name='org.fedoraproject.Setroubleshootd' (using servicehelper)
Feb 7 21:32:44 xxxx dbus[652]: [system] Successfully activated service 'org.fedoraproject.Setroubleshootd'
Feb 7 21:32:44 xxxx setroubleshoot: Exception during AVC analysis: [Errno 32] Broken pipe

Lors d’un gros import de photos de grande taille, j’ai fais sauter la limite de php fixée par défaut à 128M. Je l’ai augmentée un peu en espérant que ce n’était pas une fuite de mémoire

vi /var/log/httpd/error_log
[Sun Feb 07 22:23:13.636911 2016] [:error] [pid 27999] [client 192.168.1.13:65337] PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 13824 bytes) in /var/www/html/piwigo/admin/include/image.class.php on line 738, referer: http://@IPpiwigo/piwigo/picture.php?/98/category/1
vi /etc/php.ini
memory_limit = 256M
systemctl restart httpd

Premières impressions

A côté de Trovebox ou d’autres logiciels de galerie et/ou de service en ligne, Piwigo dans sa version de base fait un peu web 2.0.

[Édit]J’ai eu une discussion Twitter avec Pierrick LE GALL qui m’a conseillé de jeter un œil au skin Modus. Voir un peu de tuning plus bas[/Édit]

Je me suis très vite rendu compte que l’outil est très intuitif et très complet. L’absence d’une interface plus « moderne » a été très vite éclipsée par la puissance de l’outil de base, sans compte la base d’extension qui est très conséquente.

Outre les fonction classiques sociales et de recherche du type commentaires/notes/tags qu’on peut mettre sur les photos, Piwigo possède une gestion très poussée de la gestion des droits par utilisateur ou par groupes, ce qui est appréciable quand on veut stocker des photos et n’en montrer que certaines à la famille et/ou aux collègues et aux amis.

C’était mon besoin principal et Piwigo rempli le contrat parfaitement.

On retrouve en plus quelques fonctionnalités sympas qui vont au delà de la galerie perso comme la possibilité d’ajouter en mode « batch » des filigranes pour les photos des professionnels. Pratique ! De manière générale, la possibilité de pouvoir affecter un paramètre à plusieurs photos en même temps est un gros point positif.

Ce n’est bien entendu qu’un exemple puisque je n’ai pas terminé tous les tutoriels interactifs et que je n’ai même pas encore testé le magasin d’extension !

Une vraie bonne grosse surprise donc. Enjoy !

Pour que ce soit parfait

Comme pour tous les autres produits que j’ai pu tester, je dois re-importer mes photos dans les fichiers internes du serveurs Web (comme avec CozyCloud).

Outre l’aspect fastidieux de la chose (j’ai déjà rangé toutes mes photos dans des dossiers sur mon NAS et j’en ai beaucoup), je n’aime pas l’idée de devoir dupliquer des fichiers (hors sauvegardes).

Je ne sais pas encore s’il est possible de tirer parti du stockage de mon NAS pour éviter cette étape d’import (en présentant mon dossier de photo en NFS par exemple). Je vérifierai car c’est le dernier point qui me gène encore un peu pour obtenir un réel équivalent de PhotoStation qui (si je ne m’abuse) s’appuie directement sur les photos locales du NAS.

[Édit]J’ai également reçu un Tweet de @FloFian (décidément !) à ce sujet. Voir un peu de tuning plus bas[/Édit]

Un peu de tuning

Comme je l’ai dis un peu plus haut, en réaction à mon article, j’ai brièvement échangé avec les développeurs de Piwigo qui m’ont donnés des conseils pour résoudre les petits points de réserve que j’ai pu remonter suite à l’installation de Piwigo.

D’abord le skin Modus en remplacement du skin elegant. Et là effectivement c’est bien plus épuré et très similaire à OpenPhoto et bien plus moderne (question de goût) :

Et la seule chose à faire pour passer sur ce rendu est d’aller dans l’écran d’administration, puis dans Configuration/Thèmes et d’aller dans l’onglet Ajouter un thème.

Là où j’ai encore un peu de travail, c’est sur l’ajout de photos provenant d’un partage NFS sans les importer au préalable. @FloFian m’a conseillé de simplement faire un montage NFS sur le serveur qui héberge Piwigo, puis de faire un lien symbolique dans le répertoire /galleries de l’arborescence de Piwigo (dans /var/www/html/piwigo pour mon exemple).

Pour autant, ça ne semble pas fonctionner pour l’instant. Mais je n’ai pas encore vraiment creusé et ça pourrait simplement être un loupé sur une option dans Apache (genre FollowSymlinks) ou autre. Je mettrais à jour l’article en conséquence.

Bonus track

Pour les amateurs de Docker (j’en parlais pour CozyCloud avec Docker dans cet article), un contributeur à mis à disposition sur GitHub un « Docker compose » pour automatiser le déploiement de Piwigo. Là aussi je n’ai pas encore jeté un œil mais au cas où ça vous dit d’essayer …