GhettoVCB on Zwindler's Reflection

Sauvegardez vos ESXi 6.5 sans licence avec GhettoVCB

Tue, 09 Jan 2018 12:45:37 +0000

GhettoVCB, depuis VMware Infrastructure 3, toujours compatible !

En 2010, un de mes tout premiers articles sur ce blog parlait d’un script s’appelant GhettoVCB. Il permettait de réaliser des sauvegardes à chaud sur des ESXi, SANS vCenter. Et c’est là toute la nuance, car si toutes les solutions de sauvegardes d’entreprises savent aujourd’hui sauvegarder des machines virtuelles VMware, elles se basent toutes sur un API (historiquement VCB pour VMware Consolidated Backup).

Or, l’usage l’API de sauvegarde (VCB, puis VADP et maintenant VMware vSphere Storage APIs – Data Protection) est conditionnée à la présence d’une licence ! Impossible d’utiliser ces outils avec un ESXi « gratuit » (free).

What licensing is required to use VMware vSphere Storage APIs – Data Protection?
Data Protection APIs are included with all licensed vSphere editions.

Ce script (mis en ligne depuis 2008 !) se base directement sur les binaires présents sur l’OS, sans passer par l’API VCB. Il fait donc pratiquement la même chose, mais gratuitement. Inutile de vous dire que ce script est très populaire parmi les bidouilleurs au budget limités et souhaitant quand même faire des sauvegardes.

Je vous met aussi le lien vers le post historique.

Installation

Historiquement, en guise « d’installation », il fallait simplement copier le script dans le répertoire de son choix. Aujourd’hui, c’est un peu plus « propre » puisque l’auteur a mis à disposition un VIB qui permet d’installer sur l’ESXi via un package. Les sources ont été hébergées sur Github.

Télécharger le fichier depuis le Github (lien mort), puis le copier en SSH/SCP/SFTP dans /tmp. Se connecter en SSH et installer la VIB :

esxcli software vib install -v /tmp/ -f

Note : maintenant il faut le build soi même cf https://github.com/lamw/ghettoVCB/blob/master/build/README.md

Pas besoin de rebooter avec cette VIB (simple copie du script). E-Z.

Mise en place de la sauvegarde

La documentation n’a pas été reportée sur le Github malheureusement, mais elle est toujours disponible sur le site historique de la communauté VMware.

Dans l’exemple suivant, on va, configurer le datastore VMFS_BCK comme destination de notre sauvegarde, sélectionner les VMs qu’on souhaite sauvegarder, et planifier (enfin… crontab quoi) nos sauvegardes. Youhou !

Sauf erreur de ma part, la documentation n’indique pas les chemins des fichiers scripts et de configuration. Avant c’était plus simple, vous téléchargiez tout et vous le mettiez dans le dossier que vous vouliez. Maintenant, la VIB dépose le fichier de configuration principal, un template de sauvegarde et un autre de restauration dans /etc/ghettovcb/. Les scripts sont quant à eux installés dans /opt/ghettovcb/bin/.

Se connecter en SSH sur le serveur VMware concerné. Voici un exemple de configuration de sauvegarde :

cd /etc/ghettovcb/
vi ghettoVCB.conf
VM_BACKUP_VOLUME=/vmfs/volumes/VMFS_BCK/backup
DISK_BACKUP_FORMAT=thin
VM_BACKUP_ROTATION_COUNT=3
POWER_VM_DOWN_BEFORE_BACKUP=0
ENABLE_HARD_POWER_OFF=0
ITER_TO_WAIT_SHUTDOWN=3
POWER_DOWN_TIMEOUT=5
ENABLE_COMPRESSION=0
VM_SNAPSHOT_MEMORY=0
VM_SNAPSHOT_QUIESCE=0
ALLOW_VMS_WITH_SNAPSHOTS_TO_BE_BACKEDUP=0
SNAPSHOT_TIMEOUT=15
EMAIL_ALERT=0
EMAIL_LOG=0
EMAIL_SERVER=[@IP]
EMAIL_SERVER_PORT=25
EMAIL_DELAY_INTERVAL=1
EMAIL_TO=ghettovcb@zwindler.fr
EMAIL_ERRORS_TO=
EMAIL_FROM=alert_ghettoVCB@zwindler.fr
WORKDIR_DEBUG=0
VM_SHUTDOWN_ORDER=
VM_STARTUP_ORDER=

Ce fichier va nous permettre de configurer toutes les valeurs « par défaut » lors de nos sauvegardes.

Pour éviter tout souci, vérifiez qu’il y a bien de l’espace disponible sur le datastore choisi et que le chemin existe ;-).

ls /vmfs/volumes/VMFS_BCK/backup

Chacune des valeurs contenues dans la configuration peuvent être surchargées par le fichier de sauvegarde que nous allons créer. Dans cet exemple je ne modifie rien mais là c’est à vous de voir ! Ici, j’ajoute simplement la VM à une liste des machines virtuelles à sauvegarder :

vi /etc/ghettovcb/vm_backup_list
ma_vm_a_sauvegarder

On commence par lancer le script à la main pour voir en live si ça fonctionne :

/opt/ghettovcb/bin/ghettoVCB.sh -f /etc/ghettovcb/vm_backup_list -g /etc/ghettovcb/ghettoVCB.conf

Une fois que le script rend la main, vérifier dans le dossier de destination que la sauvegarde s’est bien réalisée. Il devrait contenir un dossier daté du jour et tous les fichiers de la VM.

cd /vmfs/volumes/VMFS_BCK/backup

Pour faire simple, vous pouvez commencer par une sauvegarde toutes les semaines (dimanche minuit) :

crontab -e
#Sauvegarde hebdo des VMs critiques
00 0 * * 0 /opt/ghettovcb/bin/ghettoVCB.sh -f /etc/ghettovcb/vm_backup_list -g /etc/ghettovcb/ghettoVCB.conf

Restauration

Nous allons jouer ici le scénario d’une restauration (ma_vm_a_restaurer) située sur le datastore /vmfs/volumes/VMFS. Il faut donc :

Mettre de côté la machine HS
Trouver la sauvegarde que l’on souhaite restaurer
La restaurer à l’emplacement initial de la VM

Retirer la VM à restaurer de l’inventaire et garder une copie au cas où

vmware-cmd -s unregister ma_vm_a_restaurer
mv /vmfs/volumes/VMFS/ma_vm_a_restaurer /vmfs/volumes/VMFS/ma_vm_a_restaurer.ko

Retrouver la sauvegarde qu’on souhaite restaurer

cd /vmfs/volumes/VMFS_BCK/backup/ma_vm_a_restaurer
ls -l
drwxr-xr-x 1 root root 840 Sep 3 14:12 ma_vm_a_restaurer-2032-09-03_00-00-00

Réaliser la restauration en elle même

Ici, on fait une copie du template de restauration et on y modifie les variables comme le chemin souhaité et le datastore cible. On termine l’opération en exécutant le script ghettoVCB-restore.sh

cd /etc/ghettovcb/
cp ghettoVCB-restore_vm_restore_configuration_template ghettoVCB-restore_ma_vm_a_sauvegarder
vi ghettoVCB-restore_ma_vm_a_restaurer
/vmfs/volumes/VMFS_BCK/backup/ma_vm_a_restaurer/ma_vm_a_restaurer-2032-09-03_00-00-00;/vmfs/volumes/VMFS;3
/opt/ghettovcb/bin/ghettoVCB-restore.sh -c /etc/ghettovcb/ghettoVCB-restore_ma_vm_a_restaurer

Finaliser la restauration

Une fois la recopie de la sauvegarde terminée, la VM devrait réapparaitre (automatiquement) dans l’inventaire de votre serveur VMware (le script effectue le register_vm).

Démarrer la VM. Si tout a fonctionné, la VM devrait rester bloquée et c’est « normal ».

VMware va détecter qu’il y a eu une opération et vous posera la question pour savoir si c’est une copie ou déplacement. Même si dans la majorité des cas ça ne devrait pas avoir d’impact, il est préférable de répondre « I moved it »/ »Je l’ai déplacé ».

Dans le cas contraire, VMware modifiera une partie de la VM, notamment son adresse MAC, ce qui n’est pas forcément souhaitable dans le cadre d’une restauration. « I moved it » permet de garder la VM telle quelle.

Enjoy !

Sauvegarder automatiquement et proprement ses VMs sur ESXi via Ghetto VCB

Wed, 09 Jun 2010 08:28:27 +0000

Comment je suis tombé sur Ghetto VCB

Alors bien sûr j’entends par proprement autre chose que les snapshots. Je rappelle que snapshoter ses VMs n’est pas vraiment un moyen de sauvegarde. Ce n’est pas du tout conseillé par VMware en tant que backup, car en réalité ça n’en est pas vraiment une.

En informatique, la sauvegarde (backup en anglais) est l’opération qui consiste à dupliquer et à mettre en sécurité les données contenues dans un système informatique{.mw-redirect}.

Définition de la sauvegarde de Wikipedia

Alors bien sûr, on peut imaginer faire régulièrement des snapshots pour restaurer la VM en cas de soucis. Mais en cas de crash sur l’ESXi ?

Du coup, on pourrait imaginer aussi utiliser Veeam FastSCP pour transférer les fichiers des VMs depuis le datastore vers votre destination.

Beaucoup de gens font ça, soit parce que ça leur suffit, soit parce qu’ils n’ont pas osé chercher mieux. Et pourtant, il y a (mais ce n’est que mon avis) BEAUCOUP mieux.

Une vraie sauvegarde

Quand on parle d’ESXi, c’est quand même assez souvent un choix par rapport à une problématique de coûts. Ce n’est bien évidemment pas la seule raison qu’on peut invoquer mais c’est probablement le plus significatif.

Du coup, on imagine ne pas avoir de vCenter pour piloter les ESXi, ne pas avoir de licences pour pouvoir utiliser l’utilitaire « fait pour » de VMware (VMware Consolidated Backup). Et enfin, on n’a pas très envie de payer pour pouvoir profiter d’un moyen sûr et automatisé de sauvegarder ses VMs, comme par exemple en s’achetant:

Trilead VMX (lien mort, j’utilise Internet Archive)

ou bien encore

Veeam Backup & Replication

[Edit]D’autant plus que ce que je n’avais pas compris au début, c’est que ces outils ne peuvent pas marcher si vous n’avez pas la licence pour VCB (ce qui est logique, finalement). Ces produits ne font qu’apporter des fonctionnalités supplémentaires au-dessus des fonctionnalités VCB fournie par VMware[/Edit]

Sans avoir pu les essayer vraiment, j’imagine que ces deux produits fonctionnent à merveille. Revenons un peu sur l’outil VMware Consolidated Backup, intégré aux licences Foundation, Enterprise, et Standard. Il faut se tourner vers la version anglaise de la datasheet (lien mort, j’utilise Internet Archive) pour avoir plus de détails.

VMware Consolidated Backup ?

Vous avez peut être déjà essayé de copier un disque d’une machine virtuelle sur un VMware Server 2.0, par exemple. Le système d’exploitation vous annonce froidement que vous ne pouvez pas car le fichier contenant le disque est protégé en lecture (oui oui, en lecture)! Quand on y réfléchit, c’est bien normal. Ce disque en fonctionnement est donc constamment en train d’être modifié par le système d’exploitation virtuel, même quand on ne fait rien sur la machine. Alors comment copier ce fichu disque, sans être obligé d’éteindre la machine virtuelle (ce qui marche parfaitement, soit dit en passant)?

Et c’est là toute la trick de VMware : passer par une snapshot temporaire. Au moment où vous voulez backuper, VCB créé une snapshot de la machine, ce qui est très rapide. Sur notre infra ESX, c’est fait en moins d’une seconde, et sous ESXin à peine plus. On voit beaucoup mieux ce qui se passe sur un VMware Server 2, par exemple, où l’opération est beaucoup plus longue. Je ne suis pas certain à 100% que ça se passe toujours de la même façon, mais pour ce produit, le serveur met la VM en pause, créé une snapshot très rapidement, puis rallume la machine. Du point de vue de l’utilisateur, ça donne probablement un petit lag durant le processus, mais pour ce qui est du fonctionnement de la VM, c’est parfaitement transparent.

Une fois cette snapshot créée, il ne reste plus à VCB qu’à créer une backup pérenne de la machine virtuelle. L’étape finale consiste à supprimer la backup temporaire une fois terminé.

Une fois qu’on a compris comment ça marche, on peut se réjouir d’apprendre que quelqu’un a utilisé les fonctionnalités internes des ESX/ESXi pour reproduire les mêmes fonctionnalités. Je ne rentrerai pas dans les détails techniques de l’installation vu que tout est déjà très bien présenté.

Et donc Ghetto VCB ?

Behold! Voici la bibliothèque Ghetto VCB (lien mort, j’utilise Internet Archive) et probablement le script le plus connu de cette bibliothèque : GhettoVCB.sh (lien mort, j’utilise Internet Archive).

Update 2024 : j’ai retrouvé un repo contenant les scripts sur Github.com.

Ghetto VCB fait la même chose que VCB, mais sans avoir besoin de payer une licence à VMware. En fait, il se base sur le serveur lui-même, ce qui permet de contourner les fonctionnalités manquantes (par exemple, l’écriture à distance sur les disques des VM est bloqué si vous n’avez pas une licence).À partirr de là, il ne reste plus qu’à envoyer le script sur votre ESXi. Par SSH par exemple, nous savons le faire maintenant ;-). Enfin, il faudra reconfigurer le script en fonction de votre ESXi et suivre les instructions pour rentrer le script dans le cron.

Juste magique…