Plugin on Zwindler's Reflection

Superviser des appliances HPE StoreVirtual VSA (LeftHand) avec Nagios/Centron/Shinken

Tue, 08 Jan 2019 12:45:34 +0000

Superviser des Lefthand ?

Dans une vie antérieure (article dans mes tiroirs depuis fin 2015 a priori XD), j’ai eu à gérer, on premise, du stockage hautement disponible HPE VSA pour mes clusters VMware.

Si vous êtes ici, c’est sûrement parce que vous aussi, vous avez acheté des LeftHand (StoreVirtual P4000) et/ou des HPE VSA, et que vous voulez les superviser.

La plupart des tâches d’administration se font depuis la CMC (Centralized Management Console), mais clairement ce n’est pas hyper pratique. La section 7 du manuel StoreVirtual traite de la supervision en général : h20628.www2.hp.com/km-ext/kmcsdirect/emr_na-c04581885-1.pdf (lien mort, pas sauvegardé par Internet Archive).

Heureusement, la documentation explicite clairement qu’il est possible d’activer SNMP pour externaliser tout ça.

A noter, je n’ai pas pu m’empêcher de glousser en lisant cette petit phrase dans un manuel d’administration un peu plus ancien, qui dit que vous ne pouvez pas changer, ni même supprimer (#Sécurité), les communautés par défaut :

Section 7 du manuel d’administration http://www.hp.com/ctg/Manual/c01865545.pdf

Nagios / Centreon / Shinken

Pour superviser mes machines dans mes DC « on-premise », j’utilisais Centreon. Tout naturellement je me suis tourné vers Nagios Exchange pour voir s’il n’y avait pas déjà des gens qui avaient fait le travail.

2 plugins ont attirés mon attention :

Prérequis

Le plus récent et le plus téléchargé, check_lhc, nécessite le téléchargement de MIB. Je les avaient trouvé sur circitor (ex. www.circitor.fr/Mibs/Html/L/LEFTHAND-NETWORKS-NUS-COMMON-CLUSTERING-MIB.php), puis de les déposer dans votre serveur Nagios/Centreon/Shinken

/usr/share/snmp/mibs/

J’avais également trouvé des ressources sur le site d’HPE, mais comme ils passent leur temps à le refaire les 3 liens que j’avais sauvegardés sont maintenant HS. Voilà voilà.

En gros, ce que ça disait, c’est que les MIB sont contenues dans l’installeur, celui qui est utilisé pour instancier les VSA la première fois.

Fallait le savoir…

Configurer SNMP

Comme les deux plugins utilisent SNMP, on va… l’activer. #ThanksCaptainObvious.

Depuis la CMC, on peut donc configurer nos StoreVirtual pour qu’elles acceptent des connexions SNMP et configurer une communauté (voir le manuel d’admin, page 93). Clairement, ce n’est pas sorcier.

Dans le Management Group, on a un menu Event, dans lequel on peut configurer un serveur SMTP (pratique pour recevoir les mails qui m’informe que mon cluster est à plat et que mes données sont définitivement corrompues et que je peux aller pointer à Paul Emploi).

Et, SNMP.

Checker

Maintenant que vous avez activé SNMP (avec une communauté bien complexe, readonly et des restrictions IP à vos seuls serveurs de supervision, on est d’accord), on peut voir si ça marche.

Personnellement j’ai préféré check_lefthand, car la doc est plus fournie et les options plus nombreuses .

./check_lefthand.pl -H 10.10.10.16 -C hyperdifficultcommunity
Cowardly exiting, not instructed to check anything!
check_lefthand.pl -H -C [-t timeout] [-p port]
Additional Options:
--module-space
report the available space on each 'module' within a management group
--module-status
report on the various status elements for each 'module' within a management group
--volume-space
report the available space on each volume within a management group
--volume-status
report on the various status elements for each volume within a management group
--cluster-space
report the available space for each cluster within a management group
--cluster-status
report the status of each cluster within a management group

Les deux alertes que j’ai mises en place sont l’état du clusters, et le status de mes volumes (synchronisés ou pas entre les 2 salles).

centreon$ ./check_lefthand.pl -H 10.10.10.16 -C hyperdifficultcommunity --cluster-status
OK - mgmt group: MyAwesomeHPVSA 5/5 Cluster Managers Active.
centreon$ ./check_lefthand.pl -H 10.10.10.16 -C public --volume-status
OK - mgmt group: MyAwesomeHPVSA 4 Volumes with valid replication and Data Protection.

A noter, tout n’est pas parfait. Dans certains cas, j’ai remarqué que l’alerte ne se déclenchait pas quand des nœuds étaient DOWN, car le compteur « total » de nœuds décrémentait en même temps que les nœuds tombaient (ce qui est très bête…).

Mais c’est quand même un début :)

Bonus : Rage

Ouais, je sais…HPE VSA (maintenant HPe StoreVirtual VSA), quoi. L’alternative « géniale » de HPE à VSAN.

Ne me blâmez pas… A l’époque, on m’avait donné le choix entre 2 appliances physiques NetApps plus chères et même pas hautement disponibles (actif/passif) et donc les fameuses HPE VSA Storevirtual. Et puis sur le papier, ça paraissait robuste. C’est basé sur un produit éprouvé, les Lefthands (appliances physiques) et un OS Linux.

What could go wrong?

Maintenant que je ne m’en occupe plus, je peux dire que c’est grâce à ce superbe outil que j’aurai fais un week end non-stop quasiment sans dormir au téléphone avec des techs HPE et VMware de tout autour du monde (mais je me suis fait payer plus de 25 heures d’astreinte #youpi) parce que les nœuds tombaient les uns après les autres sans raison apparente.

Pour les curieux, c’était un problème de hotspare qui se mettait en veille et bloquaient les nodes, les uns après les autres, dès qu’une commande « refresh storage usage » était lancée par l’ESXi (automatique ou manuel).

C’est aussi mon record personnel du ticket support le plus longtemps, tout constructeur/éditeur confondu. Les chiffres sont impressionnants :

un mois pour trouver un workaround (désactiver les hotspares, #genious)
plus de 200 emails
5 mises à jours (dont 4 inutiles)
3 interventions le soir sur la prod
Et last but not least : 2 ans pour trouver le fix (alors que le problème était détecté puisqu’on savait qu’il suffisait de désactiver les hotspares).

DEUX… ANS…

Au final, je ne suis même pas vraiment sûr que le problème soit fixé.

Je ne suis plus sûr de rien, à part du niveau de compétence de HPE sur le sujet des serveurs et du stockage.

Mais qui peut les blâmer, ce n’est pas leur cœur de métier après tout. #ohwait

Répartir les queues équitablement entre vos nœuds RabbitMQ

Wed, 04 Apr 2018 17:00:02 +0000

RabbitMQ quoi?

Je vais être honnête, il y a 2 mois je ne connaissais pas grand chose aux messages brokers. Et depuis j’ai découvert RabbitMQ.

Messaging that just works

Quoi de mieux pour mettre le pied à l’étriller que ce genre de logiciel qui vous explique d’emblée que ça va être simple ? Bon en réalité ça n’a pas été si simple que ça ;-)

RabbitMQ est un message broker open source écrit en erlang (er-quoi ?? oui, moi non plus…). Il est développé par les équipes Pivotal, qui a repris le projet en mai 2013.

C’est donc une sorte de bus central de communication pour faire transiter des messages d’applications vers applications ([1:n]-to-[1:n]) sans qu’elles se parlent en direct. C’est particulièrement pratique dans le cas de microservices dont on veut découpler et donc sécuriser les échanges (plutôt que de faire du HTTP en best effort).

Pourquoi RabbitMQ ?

L’avantage vraiment mis en avant par RabbitMQ, c’est qu’il est simple. Mais il est aussi puissant et relativement complet.

Il a l’avantage de supporter plusieurs protocoles (ce que les messages broker ne font pas tous), d’apporter une couche d’abstraction utile avec la notion d’exchange et de permettre sans effort la création du clusters via une simple ligne de commandes. J’aurai probablement l’occasion de revenir sur les « clusters » de RabbitMQ (notez les guillemets).

Source : Tutoriel helloworld de RabbitMQ // https://www.rabbitmq.com/tutorials/amqp-concepts.html

Au delà de ça, je ne vais pas vous insister, car d’une part la documentation est plutôt bien faite et comporte plusieurs tutoriels bien sympa, et d’autre part, j’ai vu passer d’autres tutos sur les réseaux récemment. Je vous colle quelques liens sympa pour commencer :

Racontes nous une histoire

Pour simplifier notre vie, le cluster agit de telle sorte que tous les objets logiques (utilisateur, queue, exchange), où qu’ils soient, sont connus et adressables depuis tous les membres du cluster. Cependant, une notion importante à comprendre quand on parle de cluster sur RabbitMQ est qu’à un moment donné, une queue n’est physiquement présente que sur un serveur, même en cluster.

J’explique : si on adresse une requête au serveur B pour la queue/file 1 qui est sur le serveur A, celui ci redirigera gentiment la requête vers le serveur 1.

Pour l’utilisateur / développeur, ça sera transparent, mais pour le sysadmin c’est une autre paire de manches.

Supposons que pour une raison ou pour une autre, toutes les queues soient hébergées sur un même nœud. Dans ce cas là, toute la charge sera portée par ce serveur et les autres ne feront que passe plat.

Dans quels cas ça arrive ?

Alors vous allez me dire : pfff ya aucune raison que toutes les queues soient sur le même nœud…

Et ben si, yen a même plusieurs ;-)

Sans vous spoiler un article futur, on peut très rapidement se retrouver avec ce genre de blague lorsqu’on met à jour les serveurs du cluster uns par uns, jusqu’à ce que le dernier serveur se retrouve à supporter l’ensemble de la charge.

Et là, vous êtes bien embêtés, car vous n’avez pas de moyen de transférer les queues sur plusieurs autres serveurs. On peut toujours les supprimer puis les recréer une par une sur des serveurs distincts, mais niveau répartition de charge, on a vu mieux…

Et alors comment on fait ?

Il est possible d’indiquer à RabbitMQ qu’il doit répliquer certaines queues sur un nœud en particulier, puis, une fois le contenu de la queue synchronisée, de retirer le serveur initial de la liste des nœuds de cette queue.

Je vous sens encore sceptiques. « On est pas plus avancés » me direz vous ?

En effet, il faut encore prendre les queues unes par unes et les déplacer sur un autre nœud puis les supprimer du nœud initial. Oui, sauf que les développeurs de RabbitMQ, conscients du problème, ont créés un plugin pour automatiser tout ça. On en arrive à l’objet de cet article : rabbitmq-queue-master-balancer

RabbitMQ Queue Master Balancer is a tool used for attaining queue master equilibrium across a RabbitMQ cluster installation. The plugin achieves this by computing queue master counts on nodes and engaging in shuffling procedures, with the ultimate goal of evenly distributing queue masters across RabbitMQ cluster nodes.

Traduction : ça permet de répartir nos queues de manière à peu près équitable entre les nœuds (en partant du principe généralement erroné que la charge est proportionnelle au nombre de queues hébergées par le nœud).

Installation

RabbitMQ, en plus de tout ce qu’on a dit de chouette à son propos, permet aussi d’être étendu à l’aide de plugins. On peut aller télécharger celui qui nous intéresse sur Github.

wget https://github.com/Ayanda-D/rabbitmq-queue-master-balancer/releases/download/v0.0.3/rabbitmq_queue_master_balancer-0.0.3.ez

Point qui n’est pas forcément mis en avant dans le projet rabbitmq_queue_master_balancer, les plugins peuvent être déposés dans 2 dossiers différents. Un commun à toutes nos versions, et un qui change à chaque mise à jour.

/usr/lib/rabbitmq/plugins
/usr/lib/rabbitmq/lib/rabbitmq_server-[version]/plugins/

Vous trouverez plus d’information sur les plugins RabbitMQ et leur fonctionnement au niveau de la page dédiée à leur sujet.

Dans notre cas, le plugin n’est pas dépendant de votre version. On créé donc le dossier pour le contenir, puis on l’y dépose.

sudo mkdir /usr/lib/rabbitmq/plugins
sudo mv rabbitmq_queue_master_balancer-0.0.3.ez /usr/lib/rabbitmq/plugins/

Comme n’importe quel autre plugin « built-in », on peut maintenant l’activer depuis la ligne de commande habituelle rabbitmq-plugins

sudo rabbitmq-plugins enable rabbitmq_queue_master_balancer

Utilisation

Voici maintenant un exemple d’utilisation qui va vous permettre de vous familiariser avec l’outil. Tout se passe en ligne de commandes (c’est un peu spartiate). On va demander à rabbitmqctl d’exécuter des fonctions provenant de notre plugins.

On commence par afficher la répartition actuelle dans notre cluster avec la fonction report()

sudo rabbitmqctl eval 'rabbit_queue_master_balancer:report().'
{ok,[{'rabbit@rabbitmq2',{queues,0}},
{'rabbit@rabbitmq3',{queues,30}},
{'rabbit@rabbitmq1',{queues,0}}]}

Ici, on voit que toutes les queues se sont retrouvées sur le rabbitmq3 suite à un rolling upgrade.

On lance donc le processus de répartition des queues avec la fonction go()

sudo rabbitmqctl eval 'rabbit_queue_master_balancer:go().'
ok

A partir de là, si vous êtes simultanément connecté sur votre console web d’administration de RabbitMQ, vous verrez en live qu’il s’y passe des choses. En ligne de commande, vous pourrez aussi voir où ça en est avec la fonction status()

sudo rabbitmqctl eval 'rabbit_queue_master_balancer:status().'
[{process_id,<9157.8313.0>},
{queues_pending_balance,18},
{memory_utilization,284640}]

Ici il reste encore 18 queues à re-répartir. Au final, tout devrait rentrer dans l’ordre :

sudo rabbitmqctl eval 'rabbit_queue_master_balancer:report().'
{ok,[{'rabbit@rabbitmq2',{queues,10}},
{'rabbit@rabbitmq3',{queues,9}},
{'rabbit@rabbitmq1',{queues,11}}]}

Les plus tatillons d’entre vous auront sûrement remarqué que nous n’avons pas eu une répartition parfaite de nos 30 queues (10*3). Ceci est voulu, pour une raison de formule mathématique obscure, explicitée sur le dépôt Github du plugin :

https://github.com/Ayanda-D/rabbitmq-queue-master-balancer

Et tu voudrais pas faire un playbook Ansible pour ça ?

Ahah la bonne blague. BIEN SUR que j’en ai fais un playbook Ansible (parce que je suis fan d’Ansible).

---
- hosts: all
vars:
- queue_master_balancer_version: "0.0.3"
tasks:
- name: "Create /usr/lib/rabbitmq/plugins directory for queue balancer plugin"
file:
path: /usr/lib/rabbitmq/plugins
state: directory
mode: 0755
- name: "Download rabbitmq-queue-master-balancer plugin"
get_url:
url: "https://github.com/Ayanda-D/rabbitmq-queue-master-balancer/releases/download/v{{queue_master_balancer_version}}/rabbitmq_queue_master_balancer-{{queue_master_balancer_version}}.ez"
dest: "/usr/lib/rabbitmq/plugins/rabbitmq_queue_master_balancer-{{queue_master_balancer_version}}.ez"
- name: "Add rabbitmq_queue_master_balancer to the list of enabled plugins"
rabbitmq_plugin:
names: rabbitmq_queue_master_balancer
new_only: yes
state: enabled

A noter, j’utilise l’option new_only du module rabbitmq_plugin pour éviter de désactiver bêtement les plugins déjà actifs.

Protip gratuite ;) ça serait balo de désactiver tout le reste.

Mentions légales pour un webmaster

Sat, 19 Dec 2015 17:30:56 +0000

[Edit]Mis à jour le 10/11 suite à la découverte d’un générateur de mentions légales[/Edit]

Lorsqu’on édite un site sur Internet, il faut savoir qu’il y a un certain nombre de règles à respecter, notamment face à la CNIL.

Ces règles (mentions légales, cookies, déclaration) sont un peu « procédurières » mais en théorie, en cas non respect de ces règles, les sanctions peuvent être extrêmement lourdes. Jugez par vous même pour le cas de cookies :

Avant de déposer ou lire un cookie, les éditeurs de sites ou d’applications doivent :

informer les internautes de la finalité des cookies,

obtenir leur consentement,

fournir aux internautes un moyen de les refuser.

[…] Le manquement à l’une de ces obligations peut être sanctionné jusqu’à un an d’emprisonnement, 75 000 € d’amende pour les personnes physiques et 375 000 € pour les personnes morales. - service-public.fr

Dans la pratique, si vous éditez votre petit weblog dans votre coin, il y a fort à parier que vous écoperez simplement d’un rappel à l’ordre si jamais la CNIL venait à constater une infraction.

Mais est ce bien nécessaire d’en arriver là ? Autant se mettre en conformité tout de suite…

Mentions légales d’un site web

Que vous éditiez un blog, un site professionnel ou un site de commerce en ligne, vous devrez dans tous les cas remplir une page de mentions légales avec des informations sur vous. Au minimum vos noms, prénoms, adresse, numéro de téléphone. Oui c’est désagréable mais c’est comme ça…

S’ajoute à cela des informations sur votre hébergeur.

Et en fonction des cas vous aurez beaucoup plus d’informations à remplir, comme des informations sur votre entreprise si c’est un site commercial, des CGV, voire même un numéro de déclaration du site à la CNIL.

Si jamais vous cherchez un peu de lecture sur le sujet, du plus accessible au plus dense/technique :

une notice user-friendly – wbcreation.fr/bien-rediger-ses-mentions-legales.html (lien mort, j’utilise Internet Archive)
une meilleure explication du pourquoi et du comment de chaque obligation – www.journaldunet.com/ebusiness/le-net/mentions-legales-site.shtml
information officielle, la plus complète et relativement concise – www.service-public.fr/professionnels-entreprises/vosdroits/F31228
arrêtez tout : j’ai trouvé (via un partage sur Twitter) un générateur de mentions légales !!!

Déclaration CNIL du site

Selon le type de site que vous éditez, les règles légales ne sont pas les mêmes, on l’a bien vu. Le cas de la déclaration du site web pour agrément de la CNIL en fait partie. Dans le cas où vous n’enregistreriez rien du tout sur les utilisateurs qui se connectent à votre site, vous n’avez pas besoin de déclarer quoique ce soit à la CNIL. Si à l’inverse, vous disposez d’informations des utilisateurs de votre site (notamment pour une boutique en ligne), dans ce cas là, voici les différents type de déclarations que vous devez effectuer en fonction des informations collectées.

La déclaration simplifiée : elle est nécessaire dans le cas de collecte de données non sensibles et nécessaires à un fichier client.
La déclaration normale : celle-ci doit être réalisée si l’éditeur récupère des données professionnelles sur un internaute, qu’il s’agisse de son CV ou de sa scolarité.
La demande d’autorisation : elle intervient en cas de collecte de données dites sensibles comme son appartenance politique, religieuse ou encore son orientation sexuelle. - Journal du net

Reste pour moi un cas flou pour lequel je ne sais dire avec certitude s’il faut déclarer le site ou non : le blog.

Dans le cas d’un blog wordpress pour citer mon cas, j’ai une base de données qui contient des informations de consultation des pages qui me donne une répartition des visites par pays. Cela signifie donc qu’à un moment donné, des informations (type IP, voire langue du browser) ont été collectées sans que je ne fasse rien.

Idem pour les commentaires. L’adresse IP et éventuellement l’adresse email des utilisateurs qui souhaitent bien la renseigner est enregistrée dans ma base de données. Toutes ces données sont des données qui pourraient potentiellement intéresser la CNIL. Pour autant, dois-je déclarer le blog ?

WB Création donne quelques clés supplémentaires sur le sujet mais pas de réponse claire à mon sens :

lien mort, j’utilise Internet Archive

Message indiquant l’utilisation de cookies sur le site

Parlons maintenant des cookies. Vous n’en avez probablement même pas conscience, mais des cookies sont très probablement déposés sur les périphériques de vos visiteurs . Pour ne citez qu’eux Google Analytics, Adsense, les boutons « réseaux sociaux » ou tout autre module complémentaire de ce style déposent des cookies. Et voilà ce qu’en pense la CNIL :

La loi impose désormais aux responsables de sites et aux fournisseurs de solutions d’informer les internautes et de recueillir leur consentement avant l’insertion de cookies ou autres traceurs. - CNIL

C’est clair : c’est à vous de trouver un moyen de bloquer l’utilisation des cookies sur votre site si l’utilisateur ne l’a pas accepté.

La CNIL donne quelques exemples et même des scripts si jamais vous hébergez votre site vous même, mais le plus simple dans mon cas (j’utilise WordPress) c’est bien entendu d’installer une extension qui fera le travail pour vous.

Comme plusieurs blogs l’ont conseillés, j’ai téléchargé l’extension Cookie Notice pour la gestion automatiques de mes Cookies sur le blog (aussi parce que c’est la plus téléchargée).

Le message est sobre, discret et efficace, en footer de la page

Les options sont simples mais néanmoins utiles car vous pouvez modifier certains paramètres. J’ai notamment coché l’option permettant de valider automatiquement le message dans le cas où l’utilisateur scrolle vers le bas. Ça permet aux utilisateurs qui ont la flemme de cliquer de ne pas s’offusquer de cette barre en bas de leur écran (mon cas ;-) ).

Par défaut, Cookie Notice ne met pas de bouton refuser. Je l’ai aussi ajouté pour être sûr de ne pas avoir de problèmes même si le message « Si vous continuez à utiliser ce dernier, nous considérons … » est probablement suffisant.

Si vous voulez plus d’informations sur les cas qui disposent de message, vous pouvez allez voir cet article un peu plus détaillé sur le sujet sur wpformation.com.

Voilà; vous savez tout !

Plugin check_mem_ng.sh compatible RHEL 7+

Thu, 16 Jul 2015 12:28:35 +0000

Si vous utilisez Nagios(r) ou un des produits compatibles, vous « graphez » probablement l’usage de la RAM sur vos serveurs Linux.

Il existe plusieurs méthodes pour le faire : via SNMP, via NRPE, … Un des scripts que j’utilisais en production sur l’ensemble de mes Linux (qui m’avait plu par sa simplicité) était check_mem.sh. Je l’exécutais à distance à l’aide de NRPE.

Cependant, depuis la version 7 de RedHat, un changement dans la commande « free » remontait un résultat erroné (changement du nombre de colonnes).

J’en ai donc profité pour le réécrire, corrigeant ainsi le « bug » et en ajoutant quelques fonctionnalités qui me manquaient, comme des valeurs par défaut, des options supplémentaires et une meilleure gestion des perfdata(*).

Le nouveau mode de graphiques …

Je l’ai laissé compatible avec les installations check_mem.sh existantes. En théorie, vous avez juste à remplacer le script et tout devrait fonctionner comme avant, sans dépendances supplémentaires ou modification de configuration côté client et côté serveur.

C’est ici que ça se passe :

Pour rappel, vous trouverez aussi mes autres plugins Nagios dans le même repository Github

(*)pour mon usage. Mais je donne aussi la possibilité de conserver les perfdata historique à l’aide de la variable PERFDATA_LEGACY que vous pouvez positionner à 1, ou utiliser l’option check_mem_ng.sh -l

… et le mode legacy