HPe on Zwindler's Reflection

Superviser des appliances HPE StoreVirtual VSA (LeftHand) avec Nagios/Centron/Shinken

Tue, 08 Jan 2019 12:45:34 +0000

Superviser des Lefthand ?

Dans une vie antérieure (article dans mes tiroirs depuis fin 2015 a priori XD), j’ai eu à gérer, on premise, du stockage hautement disponible HPE VSA pour mes clusters VMware.

Si vous êtes ici, c’est sûrement parce que vous aussi, vous avez acheté des LeftHand (StoreVirtual P4000) et/ou des HPE VSA, et que vous voulez les superviser.

La plupart des tâches d’administration se font depuis la CMC (Centralized Management Console), mais clairement ce n’est pas hyper pratique. La section 7 du manuel StoreVirtual traite de la supervision en général : h20628.www2.hp.com/km-ext/kmcsdirect/emr_na-c04581885-1.pdf (lien mort, pas sauvegardé par Internet Archive).

Heureusement, la documentation explicite clairement qu’il est possible d’activer SNMP pour externaliser tout ça.

A noter, je n’ai pas pu m’empêcher de glousser en lisant cette petit phrase dans un manuel d’administration un peu plus ancien, qui dit que vous ne pouvez pas changer, ni même supprimer (#Sécurité), les communautés par défaut :

Section 7 du manuel d’administration http://www.hp.com/ctg/Manual/c01865545.pdf

Nagios / Centreon / Shinken

Pour superviser mes machines dans mes DC « on-premise », j’utilisais Centreon. Tout naturellement je me suis tourné vers Nagios Exchange pour voir s’il n’y avait pas déjà des gens qui avaient fait le travail.

2 plugins ont attirés mon attention :

Prérequis

Le plus récent et le plus téléchargé, check_lhc, nécessite le téléchargement de MIB. Je les avaient trouvé sur circitor (ex. www.circitor.fr/Mibs/Html/L/LEFTHAND-NETWORKS-NUS-COMMON-CLUSTERING-MIB.php), puis de les déposer dans votre serveur Nagios/Centreon/Shinken

/usr/share/snmp/mibs/

J’avais également trouvé des ressources sur le site d’HPE, mais comme ils passent leur temps à le refaire les 3 liens que j’avais sauvegardés sont maintenant HS. Voilà voilà.

En gros, ce que ça disait, c’est que les MIB sont contenues dans l’installeur, celui qui est utilisé pour instancier les VSA la première fois.

Fallait le savoir…

Configurer SNMP

Comme les deux plugins utilisent SNMP, on va… l’activer. #ThanksCaptainObvious.

Depuis la CMC, on peut donc configurer nos StoreVirtual pour qu’elles acceptent des connexions SNMP et configurer une communauté (voir le manuel d’admin, page 93). Clairement, ce n’est pas sorcier.

Dans le Management Group, on a un menu Event, dans lequel on peut configurer un serveur SMTP (pratique pour recevoir les mails qui m’informe que mon cluster est à plat et que mes données sont définitivement corrompues et que je peux aller pointer à Paul Emploi).

Et, SNMP.

Checker

Maintenant que vous avez activé SNMP (avec une communauté bien complexe, readonly et des restrictions IP à vos seuls serveurs de supervision, on est d’accord), on peut voir si ça marche.

Personnellement j’ai préféré check_lefthand, car la doc est plus fournie et les options plus nombreuses .

./check_lefthand.pl -H 10.10.10.16 -C hyperdifficultcommunity
Cowardly exiting, not instructed to check anything!
check_lefthand.pl -H -C [-t timeout] [-p port]
Additional Options:
--module-space
report the available space on each 'module' within a management group
--module-status
report on the various status elements for each 'module' within a management group
--volume-space
report the available space on each volume within a management group
--volume-status
report on the various status elements for each volume within a management group
--cluster-space
report the available space for each cluster within a management group
--cluster-status
report the status of each cluster within a management group

Les deux alertes que j’ai mises en place sont l’état du clusters, et le status de mes volumes (synchronisés ou pas entre les 2 salles).

centreon$ ./check_lefthand.pl -H 10.10.10.16 -C hyperdifficultcommunity --cluster-status
OK - mgmt group: MyAwesomeHPVSA 5/5 Cluster Managers Active.
centreon$ ./check_lefthand.pl -H 10.10.10.16 -C public --volume-status
OK - mgmt group: MyAwesomeHPVSA 4 Volumes with valid replication and Data Protection.

A noter, tout n’est pas parfait. Dans certains cas, j’ai remarqué que l’alerte ne se déclenchait pas quand des nœuds étaient DOWN, car le compteur « total » de nœuds décrémentait en même temps que les nœuds tombaient (ce qui est très bête…).

Mais c’est quand même un début :)

Bonus : Rage

Ouais, je sais…HPE VSA (maintenant HPe StoreVirtual VSA), quoi. L’alternative « géniale » de HPE à VSAN.

Ne me blâmez pas… A l’époque, on m’avait donné le choix entre 2 appliances physiques NetApps plus chères et même pas hautement disponibles (actif/passif) et donc les fameuses HPE VSA Storevirtual. Et puis sur le papier, ça paraissait robuste. C’est basé sur un produit éprouvé, les Lefthands (appliances physiques) et un OS Linux.

What could go wrong?

Maintenant que je ne m’en occupe plus, je peux dire que c’est grâce à ce superbe outil que j’aurai fais un week end non-stop quasiment sans dormir au téléphone avec des techs HPE et VMware de tout autour du monde (mais je me suis fait payer plus de 25 heures d’astreinte #youpi) parce que les nœuds tombaient les uns après les autres sans raison apparente.

Pour les curieux, c’était un problème de hotspare qui se mettait en veille et bloquaient les nodes, les uns après les autres, dès qu’une commande « refresh storage usage » était lancée par l’ESXi (automatique ou manuel).

C’est aussi mon record personnel du ticket support le plus longtemps, tout constructeur/éditeur confondu. Les chiffres sont impressionnants :

un mois pour trouver un workaround (désactiver les hotspares, #genious)
plus de 200 emails
5 mises à jours (dont 4 inutiles)
3 interventions le soir sur la prod
Et last but not least : 2 ans pour trouver le fix (alors que le problème était détecté puisqu’on savait qu’il suffisait de désactiver les hotspares).

DEUX… ANS…

Au final, je ne suis même pas vraiment sûr que le problème soit fixé.

Je ne suis plus sûr de rien, à part du niveau de compétence de HPE sur le sujet des serveurs et du stockage.

Mais qui peut les blâmer, ce n’est pas leur cœur de métier après tout. #ohwait

Mise à jour HP VSA StoreVirtual : site FTP HP.COM hors service

Tue, 21 Feb 2017 13:00:36 +0000

Ma CMC pour HP StoreVirtual ou VSA ne parvient plus à accéder aux mises à jours !

Aaaah, ça faisait longtemps que je n’avais pas dis tout le bien que je pensais d’HPe et notamment d’HP VSA. Mais l’actualité m’a poussé, entre autres choses, à relancer des projets en stand-by.

Note : pour ceux qui ne sauraient pas de quoi je parle, je pense au rachat Simplivity par HPE pour 650 M$ le mois dernier. Racheter le n°2 lorsqu’on a un produit maison envoie un signal clair à tous ceux qui ont investit dans HP VSA => dommage pour vous !

Aujourd’hui, nous avons un cluster HP VSA qui nécessite un petit upgrade avec l’ajout de 2 nœuds supplémentaires. Histoire de faire les choses bien, j’ai voulu m’assurer que les nœuds étaient correctement à jour et quelle n’a pas été ma surprise quand j’ai découvert que la console n’arrivait même plus à contacter le serveur contenant les mises à jour !

Où sont ces mises à jours ?

Pour simplifier le processus de mise à jour des nœuds StoreVirtual, on utilise la console centralisée CMC -qui peut être installée sur un Linux ou un Windows-. Cette console a l’avantage de servir de pivot pour télécharger les patchs depuis un seul et même endroit (dans mon cas, un serveur Windows).

Dans ce cas-là, c’est bien le client (CMC) qui réalise le téléchargement, pas les serveurs VSA.

Et depuis quelques semaines (mois?), visiblement ça ne marche plus, avec un message qui laisse penser (à tort!) à un souci de connectivité Internet entre mon serveur Windows et les serveurs d’HP.

Une partie de la réponse se trouve dans ce post du forum de la communauté HPE.

Check your upgrades.xml file in the download folder. One of the updates from HP added an incorrect FTP address to the top of the section.

En allant fouiller dans le dossier d’installation de la console CMC, j’ai vite compris le problème. Les URLs contenues dans le fichier upgrades.xml pointent vers un FTP hébergé par hp.com.

J’insiste sur HP car il faut bien faire la distinction entre HP et HPe, la société HP ayant effectué sa scission entre Hewlett Packard et HPe l’an dernier. Le client CMC avait d’ailleurs été mis à jour entre la 12.5 et la 12.6 pour retirer toutes les références et les images HP pour les remplacer par la charte graphique HPe !

C:\Program Files (x86)\HP\StoreVirtual\UI\downloads\upgrades.xml
[...]
<DownloadURLs>
<URL>ftp://ftp:cmcdnlds@ftp.hp.com/pub/hp_LeftHandOS/</URL>
[...]

Pour vérifier mon intuition, je suis allé directement parcourir le FTP et effectivement, il n’y a plus de dossier hp_LeftHandOS sur ce FTP.

HPe a donc migré tout simplement son FTP vers le site d’HPe et le client ne peut juste pas se mettre à jour…

… Mais ils n’ont pas mis à jour le client pour qu’il pointe sur HPe au moment de la mise à jour 12.5 vers 12.6 quand ils ont changé la charte graphique.

Non non. Ils ont migré leur FTP après.

Résolution

Le problème est fort heureusement simple à résoudre. Il suffit d’aller chercher la dernière version de la CMC sur le site d’HPe.

Fermez la CMC, allez chercher la dernière version (lien mort, pas disponible sur Internet Archive) et installez la.

Bon à date l’URL de téléchargement que je vous donne est bonne mais avec HPe on est jamais trop sûr que ça dure donc vous m’excuserez si le lien est cassé à l’avenir ;-).

Une fois installée, la nouvelle version devrait maintenant se connecter sur le bon site.

Pour information, la connexion se fait même maintenant en HTTPS et non plus en FTP, comme on peut le constater dans le fichier upgrades.xml.

[...]
<DownloadURLs>
<URL>https://downloads.hpe.com/pub/StoreVirtual/CMC/</URL>
[...]

Comme quoi, il n’y avait vraiment aucune chance que ça fonctionne avant mise à jour…

Manipuler les disques hotspare sur serveur HP + ESXi avec hpssacli

Thu, 09 Jun 2016 12:00:36 +0000

Avant de bidouiller sur hpssacli, tout commence par HP qui me demande d’extraire des logs juste pour me dire de mettre à jour au lieu de chercher à résoudre mon problème

Après avoir galéré sur vSphere 6 pour extraire les données provenant du contrôleur RAID HP Smart Storage Administrator (article sur hpssaduesxi), j’ai pu m’attaquer à la version interne du binaire qui vous permet de piloter la carte RAID**, hpssacli**. Vous allez voir, on peut faire beaucoup de choses avec cette CLI qui est très riche, SAUF extraire des rapports ADU.

Non, ne cherchez pas de logique.

Sur ESXi custom HPe

Par défaut sur les images ESXi custom HPe (vous êtes obligés de les installer de toute façon puisque les serveurs HPe ont parfois des matériels qui ne sont pas supportés autrement comme des cartes RAID ou réseau), on retrouve un certain nombre de composants supplémentaires plus ou moins utiles (HP AMS qui a longtemps fait planté les ESXi alors que personnellement je ne l’utilise pas…) et notamment la CLI pour contrôler les cartes RAID Smart Storage Administrator : hpssacli.

Ce binaire est commun à plusieurs OS, pas seulement à ESXi puisqu’on en retrouve au moins une version Windows et probablement une sous Linux aussi. Les commandes sont assez claires quoiqu’un peu verbeuses.

Par exemple, pour lister l’ensemble de mes contrôleurs, il me suffit de lancer

/opt/hp/hpssacli/bin/hpssacli controller all show status
Smart Array P440ar in Slot 0 (Embedded)
Controller Status: OK
Cache Status: OK
Battery/Capacitor Status: OK

Alors OK, je râle parce que c’est verbeux mais en fait, à la façon dont vous abrégeriez vos commandes sur un équipement réseau, tous les caractères qui ne sont pas nécessaire pour que la commande ne soit pas ambigüe sont optionnels. Ainsi on peut écrire aussi bien :

/opt/hp/hpssacli/bin/hpssacli ctrl all show

Pourquoi j’aurai besoin de savoir manipuler la CLI ?

Dans un de mes contextes (ESXi + HP VSA), il se trouve que j’avais une micro coupure pour l’accès aux disques physiques lors d’un « rescan » côté VMware. Alors quand je dis « microcoupure » c’est le diagnostic HPe. En réalité des fois c’était 1 à 2 secondes, des fois des nœuds partaient carrément en timeout (60s+). D’autant plus que cela avait la fâcheuse tendance d’arriver pendant les mises à jour demandées par le support.

Et a force de tourner en rond (4 mois quand même) on a enfin fini par trouver que le pb venait de ces fichus hotspares donc (quelle idée…).

Dans mon exemple, je vais donc vous montrer comment j’ai désactivé (moi-même comme un grand) les hotspares sur mes contrôleurs et ainsi restauré une production quasi-normale (mes hotspares en moins). Si je veux voir les caractéristiques détaillées des disques physiques (pd = physical device) du contrôleur 0 présenté précédemment pour trouver le hotspare, voici la commande que je tape.

/opt/hp/hpssacli/bin/hpssacli ctrl slot=0 pd all show detail
physicaldrive 1I:1:23
Port: 1I
Box: 1
Bay: 23
Status: OK
Drive Type: Data Drive
Interface Type: SAS
Size: 1200.2 GB
Drive exposed to OS: False
Native Block Size: 512
Rotational Speed: 10500
Firmware Revision: HPD3
Serial Number: S4009WBT0000K5521FU7
Model: HP      EG1200JEMDA
Current Temperature (C): 28
Maximum Temperature (C): 47
PHY Count: 2
PHY Transfer Rate: 12.0Gbps, Unknown
Drive Authentication Status: OK
Carrier Application Version: 11
Carrier Bootloader Version: 6
Sanitize Erase Supported: False
physicaldrive 1I:1:24
Port: 1I
Box: 1
Bay: 24
Status: OK
Drive Type: Spare Drive
Interface Type: SAS
Size: 1200.2 GB
Drive exposed to OS: False
Native Block Size: 512
Rotational Speed: 10500
Firmware Revision: HPD3
Serial Number: S400AN1X0000K5521G8Q
Model: HP      EG1200JEMDA
Current Temperature (C): 23
Maximum Temperature (C): 42
PHY Count: 2
PHY Transfer Rate: 12.0Gbps, Unknown
Drive Authentication Status: OK
Carrier Application Version: 11
Carrier Bootloader Version: 6
Sanitize Erase Supported: False

Les données détaillées sont effectivement assez détaillés : c’est très appréciable. En tout cas moi j’aime bien. Au milieu de toutes les infos, notez le « Drive Type: Spare Drive » dans le retour de la commande : mon spare répond donc au doux sobriquet 1I:1:24.

A défaut d’exemple donné par le support, j’ai un peu tâtonné au début et j’ai tenté la commande suivante :

/opt/hp/hpssacli/bin/hpssacli ctrl slot=0 array all remove spares=1I:1:24
Error: This operation is not supported with the current configuration. Use the "show" command on devices to show additional details about the configuration.
Reason: Assignable spares not available

En fait, sur le contrôleur, j’ai deux « logical devices », qui sont en fait mes deux grappes RAID (SSD d’un côté, SAS de l’autre). Et comme les spares ne sont affectés dans le cas présent qu’à un des ld, il faut le retirer du ld en question, ce qui est somme toute assez logique.

/opt/hp/hpssacli/bin/hpssacli ctrl slot=0 ld 2 remove spares=1I:1:24

Pas de retour ni d’erreur ni de confirmation de la part de la CLI. On peut vérifier simplement que le disque n’est plus assigné de la façon suivante :

/opt/hp/hpssacli/bin/hpssacli ctrl slot=0 pd 1I:1:24 show detail
Smart Array P440ar in Slot 0 (Embedded)
unassigned
physicaldrive 1I:1:24
Port: 1I
Box: 1
Bay: 24
Status: OK
Drive Type: Unassigned Drive
Interface Type: SAS
Size: 1200.2 GB
Drive exposed to OS: False
Native Block Size: 512
Rotational Speed: 10500
Firmware Revision: HPD3
Serial Number: S400AN1X0000K5521G8Q
Model: HP      EG1200JEMDA
Current Temperature (C): 28
Maximum Temperature (C): 42
PHY Count: 2
PHY Transfer Rate: 12.0Gbps, Unknown
Drive Authentication Status: OK
Carrier Application Version: 11
Carrier Bootloader Version: 6
Sanitize Erase Supported: False

Source

D’autres commandes chez kallesplayground
La doc ASCII de la CLI chez HP (lien mort, j’utilise Internet Archive)
La vraie doc qui traite plus largement de HP Smart Storage Administrator (lien mort, j’utilise Internet Archive) de chez HP (à partir de la page 60)