CPAN on Zwindler's Reflection

Utiliser le gestionnaire d’extension Perl CPAN derrière un proxy

Wed, 29 Mar 2017 12:00:26 +0000

Aaaah, CPAN, un vrai bonheur

Ceux qui me suivent savent que, bien qu’il m’arrive d’utiliser Perl de temps en temps (et même de coder un peu de Perl, ce qui m’a fait acheter Learning Perl et Programing Perl de chez O’Reilly), je passe surtout la plupart de mon temps à pester contre le CPAN (voir cet article où je détaille entièrement comment installer un simple plugin Nagios sans accès à Internet).

Car CPAN et les modules/dépendances Perl, c’est bien, mais c’est quand même mieux quand on a accès à Internet !

Pas d’Internet dans mon DC (ou presque)

Il n’est pas rare que je n’ai pas accès à Internet lorsque j’installe un serveur, et c’est généralement dans ce genre de cas qu’on essaye de trouver des bidouilles.

Par exemple, dans les DC qui n’ont accès qu’à un proxy avec authentification NTLMv2 (Microsoft), je n’hésite pas à installer cntlm (ou avant ntlmaps). C’est crade, mais ça me permet d’avoir mon proxy pour Yum, wget, etc… qui ne seraient pas (ou mal) gérés autrement. Et ça m’a sauvé bien des fois !

Dans le cas qui nous concerne dans cet article sur CPAN, j’ai découvert avec stupeur qu’il existe un « shell » CPAN, auquel on peut tout simplement ajouter une configuration particulière, notamment pour lui donner un proxy !

Voilà de quoi régler une partie de mes problèmes !

Pour activer le shell CPAN, deux méthodes (similaires) :

perl -MCPAN -e shell
#ou
cpan

Configurer le proxy pour CPAN

o conf init /proxy/
If you're accessing the net via proxies, you can specify them in the
CPAN configuration or via environment variables. The variable in
the $CPAN::Config takes precedence.
<ftp_proxy>
Your ftp_proxy? [] @IP:<port>
<http_proxy>
Your http_proxy? [] @IP:<port>
<no_proxy>
Your no_proxy? [] @IP:<port>
Please remember to call 'o conf commit' to make the config permanent!

Et comme nous sommes disciplinés, nous n’oublierons pas d’enregistrer les modifications avec la commande indiquée plus haut

o conf commit

Désactiver le proxy

o conf no_proxy 1

Et on sauvegarde !

o conf commit

Bonus track : forcer le proxy HTTP plutôt que FTP

Je me suis retrouvé avec CPAN qui essayait à un moment donner de passer par FTP pour télécharger les packages alors que je n’avais qu’un proxy HTTP. Et pour ce problème particulier, je suis tombé sur cette page sur serverrfault qui donne quelques clés pour s’en sortir :

Simplest way of having it not use FTP is to shove HTTP URLs on the front of your urllist - or replace it completely like sebastionopilla said.

Pour afficher les URLs utilisées

o conf urllist
urllist
0 [http://example.org/]
1 [http://example.org/]
2 [http://example.org/CPAN/]

Exclure une URL de la configuration (un miroir par exemple)

o conf urllist unshift http://example.org/here/

Pour tout vider

o conf urllist -
o conf urllist shift

Source : serverfault.com/questions/130690/force-cpan-to-download-via-http/292696

Comment installer Shinken 2.4 hors ligne (sans accès à Internet)

Wed, 02 Nov 2016 15:11:10 +0000

Pourquoi installer un logiciel (et notamment Shinken) hors ligne ?

[Aparté] Pour ceux qui ne connaissent pas encore bien Shinken, je vous propose de lire mes précédents articles sur le sujet et notamment celui où j’introduis le logiciel ainsi que ces fonctionnalités principales. [/Aparté]

De plus en plus -même si ça fait bien longtemps que la tendance s’est installée- les packages (dépôts Debian like/RHEL/whatever) mais aussi les langages & les frameworks (perl, pear (php), npmjs), voire même les logiciels vous simplifie la vie. On vous met à disposition un gestionnaire/binaire/ligne de commande pour télécharger de nouveaux modules/composants depuis un dépôt sur Internet, avec une gestion des dépendances et l’installation (voire compilation) automatisée.

Et c’est vrai que c’est quand même super pratique.

Qui n’a jamais pesté de ne pas avoir le CPAN de Perl à disposition ? Devoir télécharger manuellement sur le site CPAN.org puis compiler des modules selon un arbre de dépendances long comme le bras ? Et avec deux méthodes de compilation différentes (Make & Build) selon le module si possible !

Pour ceux qui n’ont pas connus ce « fun ultime » je vous propose de jeter un œil à cet article où je récapitule comment installer sur EON et CentOS une sonde Nagios (oui, une seule) en 161 lignes de commande.

Pour autant, il n’est pas rare que les administrateurs réseaux du DataCenter, par souci de sécurité et respect des bonnes pratiques, refuse par défaut l’accès direct à Internet pour les serveurs. Dans le meilleur des cas, il existe des dépôts locaux qui sont le miroir de ce qu’on trouve sur Internet à un instant T, mais :

Ils ne contiennent jamais l’exhaustivité des RPM/DEB/…
Les versions des packages évoluent tout le temps et garder un ensemble cohérent de tous les modules et leur dépendances et quasi impossible (notamment les rpm pour des modules PHP… $*%$$*)
On ne peut pas avoir l’ensemble des gestionnaires qui existent (rien que la courte liste que je cite plus haut, c’est compliqué)
Dernier cas : il n’existe pas nécessairement de méthode pour stocker dans le DC une copie des modules

Il faut donc s’y résigner : il arrive des fois où l’installation hors ligne de dépendances est malheureusement incontournable.

Le cas de Shinken

Il m’est arrivé à plusieurs reprises à devoir installer Shinken hors ligne dans des DC coupés d’Internet et a priori je ne suis pas le seul (quelques anciens collègues, un commentaire sur le blog, …). Pour autant, de ce que j’ai pu voir, il n’existe pas dans la documentation (ou alors plus) qui mentionne la méthode pour le faire.

Mais vous avez de la chance, la méthode existe !

Je ne vais pas rentrer autant dans les détails de l’installation et de la configuration de Shinken. Cette partie est traitée de manière exhaustive dans les tutoriels précédemment publiés (ici puis ici). Pour autant, voici la marche à suivre lorsque Shinken fait appel à Internet et que vous souhaitez réaliser l’opération hors ligne.

Pour les dépendances RPM via yum

Note : cette partie de l’article est applicable au delà de Shinken, je l’utilise tous les jours pour constituer mes bases de RPM pour l’ensemble des distributions et des logiciels que j’administre.

Pour les dépendances RPM, 2 solutions :

Soit vous montez votre propre dépôt local, par exemple avec createrepo et un serveur Apache. C’est très simple à mettre en place et c’est un bonne idée lorsque vous avez beaucoup de packages a installer, ou plusieurs version de distrib’ a administrer.
Soit vous vous créez un dossier dans lequel vous récupérer tous les RPM et leurs dépendances. Vous copierez ce dossier sur le serveur où vous souhaitez installer Shinken.

Quoiqu’il arrive, vous devrez donc passer par la case « téléchargement manuel » de tous les RPM nécessaires.

yumdownloader

Dans le meilleur des cas, vous disposez d’un Linux de la même version et qui a un accès à Internet. Et là vous allez vous simplifier la vie avec le binaire yumdownloader.

Ce binaire fonctionne de la même manière que yum, à ceci près qu’il télécharge les packages au lieu de les installer. Vous n’aurez donc qu’a ajouter dans votre /etc/yum.repo.d/ l’ensemble des dépôts qui seront nécessaires à l’installation de Shinken (probablement CentOS-Base et EPEL Release pour un CentOS), puis télécharger tous les RPMs dont vous avez besoin avec la commande :

yum install yum-utils
mkdir shinken_deps && cd shinken_deps
yumdownloader --resolve mon_package

A noter cependant, d’expérience le –resolve censé télécharger les dépendances du package en même temps est peu fiable. Vous aurez surement des dépendances manquantes à télécharger de manière complémentaire.

A la mimine

Si vous n’êtes pas dans le cas cité plus haut, alors cette opération peut être fastidieuse. Elle va alors consister à taper dans votre moteur de recherche favori des mots clés du type « mon_package rpm el6 » (dans le cas d’un RHEL6 ou CentOS6), puis de télécharger la version qui y est disponible sur des sites comme rpm.pbone.net et www.rpmfind.net.

Et bien sûr, comme vous ne pouvez pas deviner aisément si les dépendances qui y sont affichées sont actuellement disponibles ou pas sur votre serveur, il y a un risque que ce soit une opération itérative, jusqu’à ce que vous ayez enfin toutes les dépendances pour tous les cas de figure.

…

Et qu’il n’y ait pas de conflits entre versions de packages interdépendants…

Installation

Votre base de RPM est enfin complète. Pour installer les RPMs nécessaires à Shinken !

Si vous avez choisi le dépôt local

Un simple ajout du dépôt sur le serveur vous permettra donc d’installer toutes les dépendances comme s’y vous étiez sur Internet

yum install package1 package2 ...

Transparent !

Si vous avez plutôt une clé USB/DVD/disque 5″1/4 avec toutes les dépendances dessus

Pendant longtemps, quand j’avais des RPMs à installer, je m’embêtais à les installer dans l’ordre de dépendance avec la commande rpm -hiv mon_package. Et des fois je pestais parce que je ne l’avais pas fais dans le bon ordre…
Mais vous avez quand même de la chance, yum est bien pensé. Il permet également d’installer des RPMs locaux et gère les dépendances de lui même, qu’elles soient sur déposés sur le serveur ou sur vos dépôts. Vous n’avez donc à vous soucier que des packages qui ne sont pas sur vos dépôts, yum fera le tri parmi toutes les sources disponibles. Et ça simplifie grandement la vie.

cd shinken_deps/
yum install *.rpm

Installation des modules Python via pip (dont Shinken lui même)

Shinken étant codé majoritairement en python, vous ne serez donc pas surpris d’apprendre qu’il faut utiliser pip (ou pipy) pour installer des dépendances à Shinken, et même d’ailleurs Shinken lui même.

Rappel des tutos précédents, pour installer Shinken sur un CentOS qui a accès au net, il faut « juste » faire

rpm -iUvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
yum update
yum install python-pip
adduser shinken
pip install shinken

Si vous avez quand même partiellement accès à Internet via un proxy, vous pourrez vous en sortir en indiquant dans la variable https_proxy l’URL du proxy HTTPS pour pip (notez le S).

export https_proxy=http://@IP_proxy_https:8080/

Mais dans le cas où vous êtes réellement coupé d’Internet et que vous devez récupérer des packages pipy a priori, vous pourrez quand même le faire de la façon suivante :

Récupérer le tar.gz du module pipy sur le site Internet. Par exemple, pour Shinken, il existe une page dédiée sur pipy
Déposer le fichier shinken-2.4.x.tar.gz sur le serveur où on souhaite installer Shinken
Installer le module pipy simplement à l’aide de la commande pip install shinken-2.4.x.tar.gz

Cette méthode est valable pour toutes les dépendances Python de Shinken, mais aussi pour Shinken lui même, comme on vient de le voir.

Pour l’installation des modules de Shinken (comme webui2 par exemple)

Mais au delà de l’installation de Shinken, de ses dépendances RPMs et Python, il reste encore un dernier problème : les modules de Shinken !

Les développeurs de Shinken ont mis à disposition sur shinken.io une liste de modules (plus de 100 je crois) optionnels et qui ne sont pas inclus dans le logiciel de base. Pour autant, certains sont quand même très utiles voir carrément importants. C’est notamment le cas de la webui (interface graphique officielle de Shinken).

Et pour vous simplifier la vie, l’installation de ces fameux « modules de shinken » se fait via une ligne de commande très simple, qui se charge de télécharger et d’installer pour vous les dépendances :

shinken install webui

C’est une super idée, mais, là encore, sans Internet, impossible de télécharger ce module de cette manière.

N’ayez crainte ! En réalité, bien qu’il ne soit pas (ou plus, ou je n’ai pas trouvé) documenté, il existe un mécanisme d’installation locale de la même manière qu’avec yum ou pip. Ouf !

Dépendances

La première étape consiste à récupérer les dépendances pipy listées dans le mod-webui/requirements.txt qu’on peut trouver dans le code source du module.

Dans le cas de la webui, il s’agit (à date) de bottle==0.12.8, pymongo>=3.0.3, requests, arrow et passlib. On les récupèrent donc tous sur pipy, et on les installe comme je viens de le décrire avec un pip install monmodule.tar.gz

Récupérer les sources du modules

Ensuite, on récupère les sources en un zip, qu’on dézippe sur le serveur. Pour le module webui, les sources sont sur github github.com/shinken-monitoring/mod-webui

On peut enfin installer le module de Shinken à la main, à l’aide du flag –local

shinken install --local webui

Facile, non ?

;-)

Installer 3 plugins Nagios dans EON (Eyes of Network) 1.2, coupé d’Internet, level 2

Wed, 08 Sep 2010 12:16:33 +0000

Maintenant que la première partie (check_esxi_wbem.py) s’est passée sans encombres, nous allons pouvoir passer à quelque chose d’un peu plus fun : check_esx3. Je rappelle que cet article n’est utile que pour les gens qui se tirent vraiment une balle dans le pied, en utilisant pour des raisons divers un Eyes Of Network 1.2 (EON) et qui n’ont pas accès à Internet sur leur machine de supervision.

Comme son nom l’indique, il s’agit d’un plugin Nagios pour superviser des produits VMware à partir de la version 3. Comme son nom ne l’indique pas, il s’agit d’un plugin en Perl. Joie et bonne humeur, CPAN.org nous voilà…

[Edit]Si vous avez une version de ce plugin antérieure à mai 2010, vous serez peut être heureux d’apprendre que la communauté à retravaillé ce script. Il semblerait que celui ci souffrait de redondances lors des requêtes. Après avoir jeté un œil aux remarques de la communauté, l’éditeur du script a effectué les modifications, et sur une machine peu performante, j’arrive à avoir des gains très significatifs entre les deux versions (2 secondes au lieu de 6 pour une sonde sur l’usage cpu/mémoire), ce qui la soulage beaucoup. Peut être que les gains ne seront pas aussi important pour des machines plus récentes, mais ça ne peut pas faire de mal de mettre ce plugin à jour…[/Edit]

Si vous êtes familier avec Perl, vous saurez que les scripts en Perl utilisent souvent des modules qui peuvent eux même dépendre d’autres modules, et ainsi de suite. Pour régler simplement ces problèmes de dépendance, il existe d’autres modules Perl qui permettent d’automatiser ce processus, en gérant récursivement les dépendances et en les téléchargeant sur Internet, un peu comme un gestionnaire de paquets. Seulement voilà, nous sommes offline, pas d’Internet sur notre serveur de supervision! Damnation…

Bon, commençons par le plus simple… Il arrive que ces modules Perl nécessitent des paquets rpm pour fonctionner. Ici c’est le cas pour notre script, qui nécessite au moins les outils suivants :

gcc
libxml2
libxml2-devel

Pour éviter de devoir se payer l’installation des dépendances des rpms à la main, je vous invite à vous reporter sur « l’astuce » du dépôt local de RPM, disponible ici.

Ça, c’est fait. Passons maintenant aux modules Perl nécessaires qui ne sont pas préinstallés sur notre EON 1.2 :

Nagios::Plugin
- Class::Accessor
- Config::Tiny
- Math::Calc::Units
- Params::Validate
  - Module::Build
    - ExtUtils::CBuilder
    - ExtUtils::Manifest
    - ExtUtils::ParseXS
    - TestHarness
  - Attribute::Handlers
VIPerlToolkit
- XML::LibXML
  - XML::SAX
- Class:MethodMaker
- SOAP::Lite
  - URI

Wa-hou… Sacrée liste… Vous aurez remarqué que j’ai respecté une hiérarchie entre les modules. Ce sont les niveaux de dépendances. Ainsi, XML::LibXML nécessite XML::SAX pour pouvoir fonctionner, et XML::SAX doit donc être installé avant XML::LibXML.
La plupart des modules Perl listés ci-dessus sont disponibles en téléchargement sur le site Internet CPAN.org, et le VI Perl Toolkit est disponible sur le site de téléchargement de VMware.

Je n’ai pas trouvé de moyen d’installer ces modules d’une seule commande sans passer par Internet. On aurait pu imaginer un genre de mécanisme de repository local, comme pour l’astuce avec Yum, qui se chargerait de tout installer d’un coup, où au moins une partie. J’ai quand même du mal à y croire et si quelqu’un à la solution, je serai très content d’avoir votre retour là dessus.

A la place, j’ai du installer un à un tous les modules en respectant l’ordre des dépendances. Comme si ça ne suffisait pas, la procédure pour installer un module Perl diffère selon le module d’installation que son développeur à choisit -_-.

Si vous trouvez un fichier Makefile.PL dans l’archive téléchargée, c’est que le module utilise le module Perl Makefile pour faire les installation :

# tar xvzf [module_perl].tar.gz
# cd module_perl
# perl Makefile.PL
# make
# make test
# make install

Mais si en revanche vous trouvez un fichier Build.PL, c’est que le module s’installe grâce au module Perl Module::Build (qui est d’ailleurs dans les listes des modules non présents de base dans EON)

# tar xvzf [module_perl].tar.gz
# cd module_perl
# perl Build.PL
# ./Build
# ./Build install

Deux possibilités : soit vous le savez, soit vous tâtonnez comme un idiot jusqu’à trouver les bonnes commandes. J’ai choisi la seconde solution, je vous le déconseille, donc…

Une fois tous les modules installés, il ne reste plus qu’à utiliser ./check_esx3 en temps qu’utilisateur nagios. Plus de détails sur l’utilisation de ce script franchement génial sur le site d’OP5.

La même chose avec un CentOS 5

Sur un CentOS classique (avec le DVD par défaut), la liste des dépendances manquantes sans Internet est malheureusement plus longue. Jugez par vous même

Builder-0.05
Nagios-Plugin-0.36
- Math-Calc-Units-1.07
- Config-Tiny-2.14
- Params-Validate-1.06
  - Module-Build-0.4001
    - ExtUtils-ParseXS-3.15
    - ExtUtils-MakeMaker-6.62
    - ExtUtils-Manifest-1.60
    - ExtUtils-CBuilder-0.280205
      - PathTools-3.33
      - IPC-Cmd-0.78
        
        Locale-Maketext-Simple-0.21
        
        Module-Load-Conditional-0.50
        
        Module-Load-0.22
        
        Module-CoreList-2.68
        
        Params-Check-0.36
        
        Perl-OSType-1.002
        
        Test-Simple-0.98
    - Test-Harness-3.25
    - Module-Metadata-1.000009
  - Class-Accessor-0.34
  - Attribute-Handlers-0.93
SOAP-Lite-0.714
- URI-1.60
Class-MethodMaker-2.18
XML-LibXML-2.0002
- XML-SAX-0.99
  - XML-SAX-Base-1.08
Module-Implementation-0.06
- Try-Tiny-0.11
- Test-Fatal-0.010
- Test-Requires-0.06
- Module-Runtime-0.013

Pour le fun, voici ma « procédure d’installation » hors ligne pour ce plugin (160 lignes, quand même !).

for i in `ls -1`; do tar xzf $i; done
/Builder-0.05
perl Makefile.PL
make
make install
cd ../ExtUtils-MakeMaker-6.62
perl Makefile.PL
make
make install
cd ../PathTools-3.33
perl Makefile.PL
make
make install
cd ../Test-Simple-0.98
perl Makefile.PL
make
make install
cd ../Perl-OSType-1.002
perl Makefile.PL
make
make install
cd ../Locale-Maketext-Simple-0.21
perl Makefile.PL
make
make install
cd ../Params-Check-0.36
perl Makefile.PL
make
make install
cd ../Module-Load-0.22
perl Makefile.PL
make
make install
cd ../Module-CoreList-2.68
perl Makefile.PL
make
make install
cd ../ExtUtils-Manifest-1.60
perl Makefile.PL
make
make install
cd ../Module-Load-Conditional-0.50
perl Makefile.PL
make
make install
cd ../IPC-Cmd-0.78
perl Makefile.PL
make
make install
cd ../ExtUtils-CBuilder-0.280205
perl Makefile.PL
make
make install
cd ../ExtUtils-ParseXS-3.15
perl Makefile.PL
make
make install
cd ../Attribute-Handlers-0.93
perl Makefile.PL
make
make install
cd ../Math-Calc-Units-1.07
perl Makefile.PL
make
make install
cd ../Config-Tiny-2.14
perl Makefile.PL
make
make install
cd ../Class-Accessor-0.34
perl Makefile.PL
make
make install
cd ../URI-1.60
perl Makefile.PL
make
make install
cd ../SOAP-Lite-0.714
perl Makefile.PL
make
make install
cd ../Class-MethodMaker-2.18
perl Makefile.PL
make
make install
cd ../XML-SAX-Base-1.08
perl Makefile.PL
make
make install
yum install libxml2 libxml2-devel
cd ../XML-LibXML-2.0002
perl Makefile.PL
make
make install
cd ../XML-NamespaceSupport-1.11
perl Makefile.PL
make
make install
#ou yum install perl-XML-NamespaceSupport.noarch
cd ../XML-SAX-0.99
perl Makefile.PL
make
make install
cd ../Test-Harness-3.25
perl Makefile.PL
make
make install
cd ../Module-Metadata-1.000009
perl Makefile.PL
make
make install
cd ../Try-Tiny-0.11
perl Makefile.PL
make
make install
cd ../Test-Fatal-0.010
perl Makefile.PL
make
make install
cd ../Test-Requires-0.06
perl Makefile.PL
make
make install
cd ../Nagios-Plugin-0.36
perl Makefile.PL
make
make install
cd ../Archive-Tar-2.02
perl Makefile.PL
make
make install
cd ../ExtUtils-Install-2.04
perl Makefile.PL
make
make install
cd ../Module-Build-0.4001
perl Makefile.PL
make
make install
cd ../Module-Runtime-0.013
perl Makefile.PL
./Build
./Build install
cd ../Module-Implementation-0.06
perl Makefile.PL
make
make install
cd ../Params-Validate-1.06
perl Build.PL
./Build
./Build install
yum install perl-Crypt-SSLeay.x86_64
cd ..
tar xzf VMware-vSphere-SDK-for-Perl-4.0.0-161974.x86_64.tar.gz
cd vmware-vsphere-cli-distrib/
perl Makefile.PL
make
make install
cd ..
#necessite aussi le module perl UUID (prérequis, pas optionnel) mais fonctionne quand même sans
tar xzf check_vmware_api-1aae4f6.tar.gz && check_vmware_api-1aae4f6