GPU on Zwindler's Reflection

Installation d'un Alpine Linux en mode 'headless' sur Raspberry Pi

Tue, 23 Dec 2025 08:00:00 +0200

Introduction

Pour un article qui sortira peut-être sur papier (je croise les doigts), j’avais besoin de tester différents types d’OS à installer sur un Raspberry Pi Zero 2 W.

Comme je ne connaissais ni Alpine, ni les spécificités du Pi Zero 2 W, je suis tombé sur pas mal de trucs que je ne connaissais pas.

Même si au final, l’article papier ne traite pas d’installation d’Alpine Linux (ni même ne l’utilise), je me suis dit que c’était dommage de ne pas publier cette expérience Alpine + RPi Zero, donc la voici.

Pourquoi Alpine Linux ?

Principalement pour sa légèreté et sa faible consommation de ressources. Sur un nano-ordinateur avec seulement 512 Mo de RAM, chaque mégaoctet compte. Alpine Linux est connu pour être minimaliste et aussi un peu controversé (notamment dans le monde Docker) pour le remplacement de la glibc par musl (ce qui provoque parfois des surprises).

L’objectif de cet article est d’avoir une installation headless (sans écran ni clavier) accessible en SSH via WiFi, avec une RAM optimisée au maximum.

On va voir plein de détails techniques intéressants, notamment sur la gestion de la RAM du GPU et la configuration du swap avec zswap !

Téléchargement de l’image Alpine Linux pour Raspberry Pi

La première chose à faire est de télécharger l’image, avant de pouvoir la copier sur une carte microSD qui sera insérée dans le rpi avant boot.

Coup de bol, Alpine Linux propose des images spécifiques pour Raspberry Pi, on ne va pas avoir besoin d’ajouter à la main le firmware des RPi.

On va récupérer la dernière version disponible depuis le site officiel. Exemple :

wget https://dl-cdn.alpinelinux.org/alpine/v3.23/releases/aarch64/alpine-rpi-3.23.2-aarch64.tar.gz

Cette image est spécialement compilée pour l’architecture ARM64 (aarch64) des Raspberry Pi récents (donc mon RPi Zero 2 W).

Configuration headless avec le fichier overlay

Une fois l’image flashée sur votre carte microSD (avec Raspberry Pi Imager par exemple), on va préparer le système pour un accès headless.

Alpine Linux supporte ce qu’on appelle des “overlay files” qui permettent de préconfigurer le système avant le premier boot. C’est documenté dans la documentation officielle sur l’installation headless.

Montez le contenu de votre carte microSD sur votre machine et déposez le fichier overlay à la racine de cette carte microSD :

wget https://github.com/macmpi/alpine-linux-headless-bootstrap/raw/469ee440e7d394cca0976c78f357e7a0e1c82cc4/headless.apkovl.tar.gz

Note : c’est assez flippant de monter un fichier aussi sensible provenant d’un repo github tiers (github.com/macmpi), mais Alpine Linux se veut rassurant en nous disant :

Note: The author of above repo macmpi also maintains a number of packages for Alpine Linux.

Je suis pas beaucoup plus rassuré… mais bon, c’est “officiel”

Ce fichier headless.apkovl.tar.gz configure Alpine pour :

Booter en mode DHCP
Activer SSH automatiquement
Permettre la connexion root sans mot de passe (attention à ne pas laisser ça comme ça trop longtemps !)

Pour que le Raspberry Pi se connecte automatiquement à votre réseau WiFi, créez un fichier wpa_supplicant.conf à la racine de la microSD :

cat > wpa_supplicant.conf << EOF
country=FR

network={
 key_mgmt=WPA-PSK
 ssid="mySSID"
 psk="myPassPhrase"
}
EOF

Remplacez évidemment mySSID et myPassPhrase par vos informations WiFi.

Note : Le projet alpine-linux-headless-bootstrap propose d’autres options de configuration très utiles, comme la définition d’un mot de passe root, d’une adresse IP fixe, etc. Plus d’infos dans leur README.

Premier boot et installation permanente

Une fois le premier boot effectué, connectez-vous en SSH :

ssh root@<ip_du_raspberry>

Attention : Par défaut, le mot de passe root est vide ! Mais on n’a pas besoin de changer ça si on réalise immédiatement l’installation qui suit.

À ce stade, Alpine tourne entièrement en RAM (image “live”). Pour l’installer définitivement, nous allons utiliser l’utilitaire setup-alpine dont les options sont décrites dans wiki.alpinelinux.org/wiki/Installation.

setup-alpine

Voici un petit extrait des informations demandées (somme tout assez classiques pour une install d’OS) :

Suivez les instructions, puis rebootez :

reboot

Optimisation de la RAM GPU

Par défaut sur un Raspberry Pi, une (grande) partie de la RAM est allouée au GPU pour le traitement graphique. Sur un serveur headless, ça ne sert strictement à rien.

Vérifions d’abord la RAM disponible avant optimisation :

free -m
 total used free shared buff/cache available
Mem: 417 37 325 0 55 369
Swap: 0 0 0

Seulement 417 Mo disponibles sur les 512 Mo théoriques. Voyons comment récupérer ces précieux mégaoctets.

Idéalement, on va vouloir mettre l’option gpu_mem=16 dans /boot/config.txt pour n’allouer que 16 Mo au GPU (on ne peut pas mettre moins, et il faut des multiples de 16).

Mais attention, il y a un piège !

Lorsque vous réglez gpu_mem à 16 Mo, le bootloader du Raspberry Pi tente de charger des fichiers de firmware allégés :

start_cd.elf
fixup_cd.dat

Sauf que ces fichiers ne sont pas présents sur votre partition de boot. Si on met juste gpu_mem=16 dans /boot/config.txt et qu’on reboot, le Pi refusera de démarrer (LED ACT clignotant généralement 4 fois).

Solutions pour minimiser la RAM GPU

Vous avez deux options :

Option 1 : Mettre gpu_mem=32 dans /boot/config.txt

C’est la solution de facilité (qui a dit fainéant ?), il n’y a rien à faire. Vous récupérez quand même 32 Mo de RAM.

Option 2 : Télécharger les fichiers de firmware allégés (celle que je préfère)

On n’est pas à quelques Mo près sur la carte microSD, ce qui n’est pas le cas de la RAM, où chaque Mo compte.

Si vous voulez vraiment descendre à 16 Mo, récupérez les fichiers manquants :

cd /boot
wget https://raw.githubusercontent.com/raspberrypi/firmware/master/boot/start_cd.elf
wget https://raw.githubusercontent.com/raspberrypi/firmware/master/boot/fixup_cd.dat

Puis modifiez /boot/config.txt :

[...]
gpu_mem=16
start_file=start_cd.elf 
fixup_file=fixup_cd.dat

Après reboot, vérifiez le gain :

free -m
 total used free shared buff/cache available
Mem: 465 37 393 0 35 416
Swap: 0 0 0

On passe de 417 Mo à 465 Mo disponibles ! Soit presque 50 Mo de récupérés, ce qui représente environ 10% de RAM supplémentaire. Sur un système aussi contraint, c’est significatif.

Configuration du swap avec zswap

Sur un système avec seulement 512 Mo de RAM, il est plus que judicieux de configurer du swap. Or, Alpine Linux n’en configure pas par défaut. Je vais ici en configurer un avec zswap, qui compresse les pages de mémoire avant de les écrire sur le disque (ce qui limite la taille des accès à la carte microSD au passage).

Création du swapfile

# Créer un swapfile de 2 Go
fallocate -l 2G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile

Configuration persistante

Pour rendre le swapfile et zswap persistants au reboot, créez /etc/fstab :

echo "/swapfile none swap sw 0 0" >> /etc/fstab

Créez un script de démarrage pour Alpine :

cat > /etc/local.d/swap.start << 'EOF'
#!/bin/sh
swapon /swapfile
EOF

chmod +x /etc/local.d/swap.start
rc-update add local default

Enfin, éditez /boot/cmdline.txt et ajoutez à la fin (sur une seule ligne) :

zswap.enabled=1 zswap.compressor=lz4 zswap.max_pool_percent=20 zswap.accept_threshold_percent=85 zswap.shrinker_enabled=Y

Quelques explications sur ces paramètres :

compressor=lz4 : utilise lz4, rapide et efficace pour la compression
max_pool_percent=20 : zswap n’utilisera pas plus de 20% de la RAM (~93 Mo) comme cache de compression avant d’écrire sur le swapfile disque
accept_threshold_percent=85 : n’accepte de compresser que si le taux de compression attendu est d’au moins 85%
shrinker_enabled=Y : permet de libérer automatiquement la mémoire compressée si nécessaire

Le principe : zswap agit comme un cache rapide en RAM (compressé) devant le swapfile de 2 Go sur disque. Les pages sont d’abord compressées dans zswap, puis évacuées vers le disque si nécessaire.

Conclusion

Pas vraiment de conclusion à cet article, en réalité.

Je me suis pris pas mal de “murs”, ne sachant pas utiliser Alpine (au delà des usages que j’en avais fait avec Docker), et j’ai découvert quelques subtilités liées au firmware du Raspberry Pi Zero avec lequel je fais joujou depuis quelques semaines maintenant.

D’où cet article ;-)

Bon hack !

Générer ses images Stable Diffusion sur Ubuntu 22.04

Tue, 03 Jan 2023 07:15:00 +0000

L’IA et le retour de la vengeance

Ce n’est pas la première fois que je parle de machine learning sur le blog. La première fois, j’avais testé pour le fun de selfhost AIDungeon 2, un jeu de rôle où l’histoire est générée par l’“““IA”””.

A l’époque, j’essayais de jouer à AIDungeon sur l’application web disponible en ligne mais le site était très souvent down, car, à cause de l’engouement pour le jeu et son côté hyper ludique / technophile, l’auteur avait reçu une facture cloud de quelques dizaines de milliers de dollars (et c’était pas trop prévu).

Heureusement, le jeu étant (à l’époque) complètement open source, j’avais eu l’idée de faire un guide pour le lancer soi-même (enfin, fallait quand même un GPU avec 8 Go de VRAM)…

Et depuis l’an dernier, l’IA revient sur le devant de la scène.

Non, je ne vais pas parler de ChatGPT mais de DALL-E 2. Il faut bien le reconnaitre, a bluffé plus d’une personne. Et Dall-e n’étant pas open source, il n’a pas fallu bien longtemps pour que des alternatives open source voient le jour (avec des résultats souvent moins impressionnant mais quand même).

Sauf que… rebelote, les serveurs en ligne sont leeeeeents. Ca serait cool si on pouvait lancer ça en local.

Ca tombe bien, j’ai une machine avec Ubuntu 22.04 et une carte graphique NVidia RTX 3080 hors de prix sous mon bureau 😏😏😏.

Note: vous avez besoin d’une machine avec un GPU avec au minimum 4 Go de VRAM (sinon ça sera en mode CPU et ça sera extrêmement lent), de minimum 20 Go d’espace disque pour le modèle et les dépendances et d’un compte sur HuggingFace.com pour récupérer le modèle Stable Diffusion.

Installer les mises à jour et les prérequis

La première chose à faire dans tout bon guide est évidemment de tout mettre à jour.

sudo apt-get update
sudo apt-get upgrade

Normalement sur Ubuntu 22.04 vous devriez avoir Python 3 installé par défaut, il nous faut la version 3.9 ou 3.10 avec les venvs.

sudo apt install python3.10 python3.10-venv

Si on veut profiter de notre GPU, il va falloir passer par les pilotes officiels nvidia (et pas “nouveau”).

sudo apt-get install --no-install-recommends nvidia-driver-525 xserver-xorg-video-nvidia-525

Et surtout, il faudra absolument rebooter ensuite (sinon le GPU ne sera pas détecté).

Galères d’installation

Sur AIDungeon j’avais pété un plomb, car les dépendances pour tout ce qui est GPU + machine learning et Python sont très capricieuses…

Pour ce qui est de Stable Diffusion, à l’époque de la sortie j’avais trouvé la documentation pas ouffissime et j’avais abandonné assez vite. Jusqu’à il y a peu il y avait très peu de guides pour l’installer facilement sur sa machine.

La plupart des guides proposaient de le lancer sur des notebooks en ligne (donc hosté quelque part) et c’est pas du tout ce que je voulais.

Heureusement, je suis tombé sur ce post The simplest way to get started with Stable Diffusion on Ubuntu, qui parle d’un dépôt git github.com/lstein/stable-diffusion.

Sauf que ce guide proposait d’installer toutes les dépendances avec Anaconda et ne marche plus aujourd’hui (problèmes de dépendances python, encore…).

Heureusement, rebondissant sur le dépôt mentionné juste avant, je me suis rendu compte que le dépôt avait changé de nom et beaucoup évolué depuis l’article sur mendhak.com.

Le dépôt s’appelle maintenant github.com/invoke-ai/InvokeAI et dispose de scripts d’installation assez poussés et multi plateformes.

Récupérer l’installeur

On peut faire l’installation via les sources soit même (je donne des infos plus loin) mais le plus simple est de suivre le script d’installation, disponible dans les “releases” dans Github :

wget https://github.com/invoke-ai/InvokeAI/files/10254727/InvokeAI-installer-2.2.4-p5-linux.zip
unzip InvokeAI-installer-2.2.4-p5-linux.zip && cd InvokeAI-Installer/
./install.sh

Vous serez guidé lors du processus d’installation, c’est assez simple

Welcome to InvokeAI. This script will help download the Stable Diffusion weight files and other large models that are needed for text to image generation. At any point you may interrupt this program and resume later.

** INITIALIZING INVOKEAI RUNTIME DIRECTORY **
Select the default directory for image outputs [/home/zwindler/invokeai/outputs]: /home/zwindler/invokeai/outputs

[...]

A un moment on va vous demander de valider des licences (étape “3. Accept the license terms located here”). Il faut juste les lire sur le site et appuyer sur entrée pour continuer (j’avais pas compris au début…).

La dernière étape consiste à générer (ici) et donner au script un token en “read” sur votre compte Hugging Face. C’est assez simple et ça permet de télécharger automatiquement le dernier modèle de Stable Diffusion.

Lancer !

Une fois installé, on peut lancer le script invokeai/invoke.sh

L’important est que la ligne suivante apparaisse quand vous lancez le script (“cuda” et pas “cpu”)

>> Using device_type cuda

Ce qui est assez cool avec InvokeAI, c’est l’ajout d’une interface web pour faciliter vos générations, même s’il existe toujours un prompt terminal si vous préférez :

Do you want to generate images using the
1. command-line
2. browser-based UI
3. open the developer console
Please enter 1, 2, or 3: 1

A partir de là, vous pourrez générer autant de chats mignons que vous voudrez !

Have fun :D

Bonus : installation manuelle

Lors de ma première installation, j’avais oublié qu’il fallait absolument les drivers officiels nvidia pour faire du cuda sous Ubuntu (alors que j’avais eu le même problème pour AIdungeon 🤦). Le script se lançait en mode “CPU” et la génération de la moindre image prenait 5 minutes

* Initialization done! Awaiting your command (-h for help, 'q' to quit)
invoke> a cat
Generating: 0%| | 0/1 [00:00<?, ?it/s]>> Ksampler using model noise schedule (steps >= 30)
>> Sampling with k_lms starting at step 0 of 50 (50 new sampling steps)
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:41<00:00, 6.82s/it]
Generating: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [05:49<00:00, 349.51s/it]
>> Usage stats:
>> 1 image(s) generated in 349.99s
Outputs:
[1] /home/zwindler/invokeai/outputs/000001.3257807215.png: a cat -s 50 -S 3257807215 -W 512 -H 512 -C 7.5 -A k_lms

J’ai donc tâtonné et essayé d’installer l’outil “à la main”.

Si vous ne voulez pas utiliser l’installeur pour une raison ou pour une autre, vous pouvez donc aussi utiliser cette page de documentation.

J’ai essayé, ça marche (mais c’était pas mon problème).

Bonus : Vérifier que votre GPU est bien détecté

Python 3.10.6 (main, Nov 14 2022, 16:10:14) [GCC 11.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> torch.cuda.is_available()
True
>>> torch.cuda.device_count()
1
>>> torch.cuda.get_device_capability()
(8, 6)

Kubecon Europe 2021 – Récap’ du vendredi

Wed, 12 May 2021 07:00:00 +0000

Dernier jour de Kubecon !

C’est déjà la fin de la Kubecon :-(.

Bon, en vrai, faire une conférence en ligne sur 3 jours était hyper intense et je suis rincé et je suis aussi un peu content que la conférence ait une fin ;-p.

J’ai énormément appris de choses et je ne me suis pas trop trompé dans les talks que j’ai sélectionné. Visiblement, le board qui choisi les talks est bien rôdé maintenant et je pense que la très grande majorité des conférences étaient de grande qualité.

Si vous avez lu le résumé des jours précédents, vous aurez remarqué que j’ai fait un gros focus sur la partie réseau et sécurité de l’écosystème autour de Kubernetes. Et c’est bien normal puisque c’est une bonne partie du travail qui m’attend dans les prochains mois…

Keynotes

J’ai eu un peu de mal à suivre les keynotes ainsi que certaines conférences de cette journée pour une raison que je détaillerai dans un dernier article, avec mes conclusions. Voilà quand même ce que j’ai noté :

J’ai raté la keynote sur WASM, celle sur l’innovation dans l’open source (Success Through Failure), donnée par Thomas Di Giacomo, Chief Technology & Product Officer chez SUSE, ainsi que celle sur COVID Tracker.

La keynote suivante était une keynote sponsorisée par Vijoy Pandey, un VP chez Cisco, qui était assez basique sur l’intérêt des services mesh. Le talk aurait pu être résumé en une seule slide (la seule intéressante) qui disait que les services mesh servent à 4 choses : Discover, Consume, Connect, Observe.

Un keynote vraiment sympa (de mon point de vue) était la keynote de Daniel Mangum. Il a présenté l’architecture RISC-V (propriétaire) puis un projet open source pour l’Instruction Set Architecture, qui a permis le portage de nombreux projets open source sur RISC-V. A force de portages, d’abord go, puis des projets en go, puis docker et enfin Kubernetes ont été portés sur RISC-V (ce qui est aussi fun qu’inutile).

On a également eu un chouette talk sur la community culture pour le projet Kubernetes par Aeva Black (Microsoft) et Bob Killen (Google).

Globalement, j’en ai retenu que les communautés sur des projets si vastes (des milliers de contributeurs, dont des entreprises multinationales) étaient mouvantes et qu’il fallait mettre en place des processus parfois complexes de manière à garder de la cohérence mais surtout de la confiance dans le travail des uns et des autres.

J’ai aussi beaucoup aimé ce diagramme:

Gateway API: A New Set of Kubernetes APIs for Advanced Traffic Routing

Cette session avait vocation à présenter la Gateway API, une nouvelle API permettant d’étendre les capacités en termes de routage des requêtes HTTP par rapport à ce qu’on peut faire actuellement avec les Services (trop focus sur les Loadbalancers tiers) ou les Ingress (trop limités).

gateway-api.sigs.k8s.io/

Au delà de l’ajout indéniable de features comme le traffic splitting, les header matching, … out of the box, l’avantage de la Gateway API est qu’elle ajoute des couches d’abstractions, notamment au niveau implémentation.

Cela permet notamment (dans un contexte multi cloud par exemple) d’avoir des contrôleurs différents dans des clusters distincts, et ainsi fournir une expérience unifiée pour les développeurs d’un cluster à l’autre, ou alors de faciliter la migration d’un service mesh à un autre.

Aujourd’hui, les composants/logiciels suivants implémentent la Gateway API : Contour, kong, solo, gke, traefik, istio.

Kubernetes Advanced Networking Testing with KIND

Ce talk était plus une grande démo de KIND (Kubernetes in Docker) qu’autre chose.

Le speaker a montré qu’il était possible d’émuler sans trop de bidouilles plusieurs clusters Kubernetes sur un même laptop avec KIND.

Meh.

A Deep Dive on Supporting Multi-Instance GPUs in Containers and Kubernetes

Même si j’en ai effectivement « un peu » besoin puisque j’ai des workloads GPU à administrer, ce talk était plus un talk plaisir qu’autre chose ;)

Dans ce talk, ça a parlé de GROS GPU, notamment les A100, et des outils que NVidia met à disposition pour les splitter en plusieurs GPU virtuels. Ca a parlé de MIG (Multi Instance GPU), de GPU Instance, de compute instance et de memory slices.

Comme c’est littéralement une des premières choses que j’ai essayé de faire lorsque j’ai commencé à travailler il y a 12 ans (même si c’était pas pour Kubernetes à l’époque, bien sûr), j’ai vraiment adoré ce talk même si je n’ai pas appris grand chose.

Ce qu’il faut retenir, c’est que « oui », c’est possible de splitter des GPU dans Kubernetes, mais que ce n’est pas trivial et qu’il y a plein de limitations (en tout cas pour l’instant) qui rende le splitting pas flexible pour un sou.

Si ça vous intéresse, je vous invite à lire les slides qui décrivent pas mal les problématiques que vous pourriez rencontrer.

Discontiguous CIDRs for Dynamic Cluster Scaling

Comme j’avais déjà eu par le passé des problématiques de CIDR trop petit dans un cluster Kubernetes, j’ai voulu voir ce talk donné par deux ingénieurs de chez Google cloud, par curiosité.

Même si j’ai appris quelques trucs sur les raisons de pourquoi on doit trasher un cluster si le clusterCIDR qu’on a choisi est trop petit, je n’ai pas été super emballé par la façon dont c’était présenté (« on vous montre ce qu’on veut proposer comme solution à ce problème pour le projet Kubernetes ») qui faisait plus promo de leur implémentation de solution qu’un réel talk pour expliquer.

C’était quand même intéressant, en faisant abstraction de l’aspect « campagne électorale », puisqu’on a deep dive sur la façon dont les CIDR sont affectés et les composants qui utilisent le cluster CIDR (nodeIPAM controller & kube-proxy).

Les talks que j’aurai aimé voir

Après m’être un peu cassé les dents sur un problème de liveness probe pétée avec Rook, j’aurais bien aimé pouvoir voir le talk Rook: Intro and Ceph Deep Dive de Satoru Takeuchi et Blaine Gardner, deux mainteneurs de Rook, en particulier sur la partie Ceph.

Les slides sont disponibles ici.

J’aurais aimé aussi voir Multi-tenancy vs. Multi-cluster: When Should you Use What? mais un collègue est allé le voir alors je suis sûr qu’il me fera un retour ;)

Conclusion

Malgré quelques points négatifs (j’y reviendrais dans un dernier article la semaine prochaine), faire une Kubecon en ligne n’était pas un exercice vain.

Je repars avec beaucoup d’idées, beaucoup de motivation. C’était donc compliqué car intense, mais utile.

Les intervenants et leurs talks (je mets de côté les keynotes) étaient de grande qualité et il n’y a pas eu de créneaux « creux » où je n’avais rien envie d’aller voir (c’était même plutôt le contraire).

J’ai hâte de refaire des conférences IRL (voire en tant que speaker qui sait ?).

En attendant, have fun ;-)

Lancer AIDungeon 2 sur Ubuntu 18.04

Mon, 13 Jan 2020 07:15:00 +0000

AIDungeon 2

Il y a quelques semaines, je suis tombé sur AIDungeon 2, un jeu hilarant qui mixe jeu d’aventure textuel, machine learning et de gros (GROS) GPUs NVidia.

Note: English speakers, I’ve released an english version of this tutorial here

AIDungeon2 is a first of its kind AI generated text adventure. Using a 1.5B parameter machine learning model called GPT-2 AIDungeon2 generates the story and results of your actions as you play in this virtual world. Unlike virtually every other game in existence, you are not limited by the imagination of the developer in what you can do. Any thing you can express in language can be your action and the AI dungeon master will decide how the world responds to your actions. https://www.aidungeon.io/

Si vous n’en avez pas encore entendu parler, il s’agit d’un projet de machine learning créé par Nick Walton. Il est basé sur le model GPT-2 d’OpenAI que vous avez peut être déjà croisé dans d’autre projets fun comme celui qui permet, à partir de quelques lignes de texte, d’écrire une suite : TalkTotransformer by Adam D King.

Et ça fait quoi ?

C’est là où le fun commence. Comme TalkToTransformer, à partir d’un texte de départ semi aléatoire, le modèle de machine learning commence à construire une nouvelle histoire, différente à chaque fois. Et ce sont vos actions et votre imagination qui vont diriger l’histoire dans un sens ou dans l’autre.

Je ne vais pas mentir, c’est encore loin d’être parfait. Le modèle a la fâcheuse tendance à tourner en rond, ou alors à oublier ce que les personnages viennent de faire, juste une ligne plus haut. Et ça peut un peu gâcher l’histoire.

Mais… si on met de côté ces petits soucis de jeunesse, ce qui est vraiment incroyable, ce sont les possibilités qui semblent vraiment illimités. C’est vraiment très impressionnant.

Au final, ce n’est pas tellement surprenant. La seule limite du modèle, c’est le savoir et le style d’écriture d’OpenAI, qui se base sur 40 Go de texte provenant d’Internet. C’est colossal !

Si jamais vous avez besoin d’exemples concrets, je vous invite à aller faire un tour sur le Twitter de Nick Walton ou alors sur le subreddit dédié à AIDungeon. Vous y trouverez tout type d’aventures hilarantes compilées par les joueurs.

In this example, my inputs are the 2 lines preceded by the « > » symbol, the machine did the rest

Ok c’est cool ! Quel est le problème ?

En fait, j’en ai déjà parlé.

Le jeu, qui n’est ni plus ni moins qu’un prompt et du texte qui s’affiche, est très probablement le jeu le plus gourmand en GPU que vous avez rencontré. Quelle délicieuse ironie ;).

En réalité, le jeu nécessite actuellement près de 9 Go de VRAM GPU et un très grand nombre de coeurs CUDA pour fonctionner. Cela écarte d’office toutes les cartes AMD, ainsi que presque toutes les cartes graphiques NVidia (hormis les plus chère, à + de 1000€).

Dommage.

La communauté

Heureusement, l’enthousiasme de la communauté pour ce jeu a motivé Nick Walton et son frère à trouver des solutions. Pendant le mois de décembre, ils ont tout plaqué (dont des exams) pour proposer une infrastructure sous AWS, ainsi qu’une application iOS, Android, et une application web pour que tout le monde puisse en profiter.

Seulement, vous vous en douter, faire tourner une infra aussi gourmande à un coût. Selon les dires de Nick, les instances AWS avec des cartes Tegra leur coûtent autour de 65000 dollars par mois. Malgré le Patreon qu’ils ont ouvert et qui a permis de récolté 15000$, on est loin du compte.

Il est probable qu’à terme, le jeu ne soit plus gratuit. Du coup, si le jeu vous plait, je vous invite à aller voir leur Patreon !

Et maintenant ?

La troisième raison (au delà de la prouesse technique et du côté fun) pour laquelle je me suis intéressé au projet est que Nick l’a open sourcé, dès le début.

On peut donc imaginer, si on a suffisamment de puissance sur sa machine, pouvoir le lancer soit même (et ça c’est cool).

Les sources sont disponibles sur le compte Github AIDungeons.

Mais à partir de là, je me suis dis que ça pourrait être sympa de lancer AIDungeon 2 sur une instance GPU d’un cloud provider lambda.

Donc j’ai décidé d’essayer ;-p.

Pour mon test, j’ai donc choisi de commander une instance virtuelle NC6 (6 vcpus, 56 GiB memory, Tegra K80) de chez Microsoft Azure avec un compte de test gratuit. Mais c’est évidemment applicable à n’importe quelle machine, physique ou chez un autre provider, que vous auriez à votre disposition. Il faut juste qu’elle soit équipée d’une GTX 1080 Ti, GTX 2080 Ti, GTX 2080ti super ou équivalent pro.

Ce type de machine coute, selon les datacenters (mais ça nous importe peu ici) environ 43 centime d’euro de l’heure. On peut même descendre à 0,21€ en utilisant des VMs préemptibles. Du coup, même sans avoir un compte d’essai, ça ne reviendra pas très cher si vous ne faites que l’essayer.

Sur ma NC6, j’ai déployé un basique Ubuntu 18.04 et c’est là que le tutoriel commence !

Note: En suivant à la lettre le tuto et en partant d’une Ubuntu 18.04 fraichement installée, vous devriez en avoir tout de même pour 30 à 45 minutes d’installation de packages et de prérequis.

Installer les mises à jour et les prérequis

La première chose à faire est évidemment de tout mettre à jour.

sudo apt-get update
sudo apt-get upgrade

Une fois que c’est fait, on passe aux packages systèmes dont on a besoin pour la suite :

sudo apt-get install git aria2 unzip python3-pip

L’enfer des dépendances

Et c’est la que le vrai fun commence (ou pas). Cette partie justifie quasiment à elle seule le tuto. AIDungeon utilise TensorFlow (la lib de machine learning) et les drivers NVidia et CUDA pour fonctionner correctement. Cependant, la blague, c’est que toutes les versions de chaque composants ne fonctionneront pas ensemble.

Pour démarrer AIDungeons, vous aller devoir explicitement installer tensorflow 1.15 (pas plus, pas moins). Et bien sûr tensorflow==1.15 nécessite spécifiquement cuda10.0 (pas cuda10.1 ni cuda10.2) et Python de la version 3.4 à la version 3.7!

Horreur…

Installer les drivers NVidia, Cuda et les modules de machine learning

Ajoutez les dépôts pour cuda10.0:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update

Maintenant, installer les drivers nvidia-driver, puis rebooter (c’est important) :

sudo apt-get install --no-install-recommends nvidia-driver-440 xserver-xorg-video-nvidia-440
sudo reboot

Après reboot, installer les libs pour cuda10.0

sudo apt-get install --no-install-recommends \
cuda-10-0 cuda-runtime-10-0 cuda-demo-suite-10-0 cuda-drivers \
libcudnn7=7.6.2.24-1+cuda10.0 libcudnn7-dev=7.6.2.24-1+cuda10.0
sudo apt-get install -y --no-install-recommends libnvinfer5=5.1.5-1+cuda10.0 \
libnvinfer-dev=5.1.5-1+cuda10.0

Récupérer les sources

Téléchargez les sources depuis Github :

git clone https://github.com/AIDungeon/AIDungeon/
cd AIDungeon/

Installer python3, les dépendances via pip3

Et non, ce n’est toujours pas terminé. Maintenant qu’on a récupéré les sources, il est nécessaire d’installer tous les modules Python3 nécessaire à l’exécution du jeu.

Par défaut, Ubuntu 18.04 utilise toujours Python dans sa version 2 comme interpréteur Python par défaut. Or, vous le savez tous, Python 2 vient de tirer sa révérence ce 1er janvier.

De plus, pip, le package manager de Python, installé est une vieille version. Elle ne propose tensorflow que jusqu’à la 1.14 (voir l’annexe). La misère.

Et comme si ce n’était pas suffisant, ceux qui ont déjà essayé de mettre à jour pip depuis la version disponible dans le gestionnaire de paquet d’Ubuntu savent que c’est un bon moyen de tout casser.

On se retrouve très souvent avec l’erreur pip ImportError: cannot import name ’main’ after update

Pour passer outre cette difficulté, le plus simple est d’utiliser le script upgrading pip disponible sur la page officielle de pip.

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
sudo python3 get-pip.py

Installer AIDungeon, enfin !

Entre le moment où j’ai écris le draft de l’article il y a quelques semaines et aujourd’hui, le script d’installation a été amélioré et fonctionne mieux (il manquait une dépendance entre autre). Du coup, cette partie devrait se limiter à simplement exécuter 2 scripts. Cependant, au cas où, j’ai laissé les commandes que MOI j’ai du utiliser pour débloquer la situation.

sudo ./install.sh

Si ça ne fonctionne pas, vous pouvez installer les packages python comme ceci :

python3 -m pip install -r requirements.txt --user

Le script qui suit va télécharger le modèle de machine learning via un client torrent (au début, Nick s’est pris une facture bien salée à cause des coûts de téléchargement du modèle).

./download_model.sh
[...]
Status Legend:
(OK):download completed.
Download Complete!

Lancer AIDungeon 2

Bravo ! Vous pouvez enfin profiter du jeu

Si vous avez utilisé le script officiel (qui utilisez des venv Python), lancez les commandes suivantes :

source ./venv/bin/activate
./play.py

Sinon, vous pouvez vous passer de la partie venvs.

cd ~/AIDungeon/
python3 play.py

L’initialisation du jeu prennait quelques minutes mais c’est normal. A priori ce temps a été grandement réduit (on est passé de 5-10 minutes, c’était vraiment long, à 1 ou 2 max).

Bonus: Commandes utiles pour surveiller l’usage du GPU

Vous pouvez installer l’utilitaire gpustat pour vérifier que le GPU est bien utilisé par l’application

pip3 install gpustat --user
gpustat
gpustat -cp
aidungeon2 Mon Dec 9 13:22:24 2019 430.50
[0] Tesla K80 | 69'C, 17 % | 0 / 11441 MB |

Dans un genre plus simple, moins sexy, vous pouvez aussi tout simplement utiliser l’outil intégré avec le driver NVidia (mais c’est moche).

nvidia-smi --loop=1

Bonus: Vérifier que tensorflow trouve bien le GPU

Un des problèmes que j’ai eu au début était que je n’avais pas les bonnes libs. Les commandes qui suivent permettent de vérifier que tout fonctionne correctement côté tensorflow, et le cas échéant, vous afficher le message d’erreur :

python3
from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))

Exemple d’une install qui marche

2019-12-10 16:25:39.714605: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcuda.so.1
2019-12-10 16:25:39.743758: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1618] Found device 0 with properties:
name: Tesla K80 major: 3 minor: 7 memoryClockRate(GHz): 0.8235
pciBusID: 81c7:00:00.0
2019-12-10 16:25:39.744001: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudart.so.10.0
[...]
2019-12-10 16:25:39.754396: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1746] Adding visible gpu devices: 0
Num GPUs Available: 1

Exemple d’une install qui ne marche pas :-(

[...]
Num GPUs Available: 0

Note : si vous n’avez pas de GPU (ou que les libs ou drivers sont mal installés) vous pourrez quand meme jouer au jeu, mais il sera extrêmement lent (1-2 minutes entre chaque réponse de votre part et le temps que le texte suivant s’affiche).

Bonus: Erreurs gsutil et tensorflow

Si vous avez oublié de mettre à jour pip, vous aurez cette erreur :

Collecting tensorflow==1.15 (from -r requirements.txt (line 6))
Could not find a version that satisfies the requirement tensorflow==1.15 (from -r requirements.txt (line 6)) (from versions: 0.12.1, 1.0.0, 1.0.1, 1.1.0rc0, 1.1.0rc1, 1.1.0rc2, 1.1.0, 1.2.0rc0, 1.2.0rc1, 1.2.0rc2, 1.2.0, 1.2.1, 1.3.0rc0, 1.3.0rc1, 1.3.0rc2, 1.3.0, 1.4.0rc0, 1.4.0rc1, 1.4.0, 1.4.1, 1.5.0rc0, 1.5.0rc1, 1.5.0, 1.5.1, 1.6.0rc0, 1.6.0rc1, 1.6.0, 1.7.0rc0, 1.7.0rc1, 1.7.0, 1.7.1, 1.8.0rc0, 1.8.0rc1, 1.8.0, 1.9.0rc0, 1.9.0rc1, 1.9.0rc2, 1.9.0, 1.10.0rc0, 1.10.0rc1, 1.10.0, 1.10.1, 1.11.0rc0, 1.11.0rc1, 1.11.0rc2, 1.11.0, 1.12.0rc0, 1.12.0rc1, 1.12.0rc2, 1.12.0, 1.12.2, 1.12.3, 1.13.0rc0, 1.13.0rc1, 1.13.0rc2, 1.13.1, 1.13.2, 1.14.0rc0, 1.14.0rc1, 1.14.0, 2.0.0a0, 2.0.0b0, 2.0.0b1)
No matching distribution found for tensorflow==1.15 (from -r requirements.txt (line 6))

Cette erreur ne devrait plus apparaitre maintenant, mais si vous n’avez pas le module gsutil, voici la stacktrace que vous aurez en quittant le jeu (sans conséquence) :

> ^C
Traceback (most recent call last):
File "play.py", line 211, in <module>
play_aidungeon_2()
File "play.py", line 97, in play_aidungeon_2
action = input("> ")
KeyboardInterrupt
Exception ignored in: <bound method Story.__del__ of <story.story_manager.Story object at 0x7f797f4af0f0>>
Traceback (most recent call last):
File "/home/zwindler/AIDungeon/story/story_manager.py", line 35, in __del__
self.save_to_storage()
File "/home/zwindler/AIDungeon/story/story_manager.py", line 131, in save_to_storage
p = Popen(['gsutil', 'cp', file_name, 'gs://aidungeonstories'], stdout=FNULL, stderr=subprocess.STDOUT)
File "/usr/lib/python3.6/subprocess.py", line 729, in __init__
restore_signals, start_new_session)
File "/usr/lib/python3.6/subprocess.py", line 1364, in _execute_child
raise child_exception_type(errno_num, err_msg, err_filename)
FileNotFoundError: [Errno 2] No such file or directory: 'gsutil': 'gsutil'

GPU on Zwindler's Reflection

Installation d'un Alpine Linux en mode 'headless' sur Raspberry Pi

Introduction

Pourquoi Alpine Linux ?

Téléchargement de l’image Alpine Linux pour Raspberry Pi

Configuration headless avec le fichier overlay

Premier boot et installation permanente

Optimisation de la RAM GPU

Solutions pour minimiser la RAM GPU

Configuration du swap avec zswap

Création du swapfile

Configuration persistante

Conclusion

Générer ses images Stable Diffusion sur Ubuntu 22.04

L’IA et le retour de la vengeance

Installer les mises à jour et les prérequis

Galères d’installation

Récupérer l’installeur

Lancer !

Bonus : installation manuelle

Bonus : Vérifier que votre GPU est bien détecté

Kubecon Europe 2021 – Récap’ du vendredi

Dernier jour de Kubecon !

Keynotes

Gateway API: A New Set of Kubernetes APIs for Advanced Traffic Routing

Kubernetes Advanced Networking Testing with KIND

A Deep Dive on Supporting Multi-Instance GPUs in Containers and Kubernetes

Discontiguous CIDRs for Dynamic Cluster Scaling

Les talks que j’aurai aimé voir

Conclusion

Lancer AIDungeon 2 sur Ubuntu 18.04

AIDungeon 2

Et ça fait quoi ?

Ok c’est cool ! Quel est le problème ?

La communauté

Et maintenant ?

Installer les mises à jour et les prérequis

L’enfer des dépendances

Installer les drivers NVidia, Cuda et les modules de machine learning

Récupérer les sources

Installer python3, les dépendances via pip3

Installer AIDungeon, enfin !

Lancer AIDungeon 2

Bonus: Commandes utiles pour surveiller l’usage du GPU

Bonus: Vérifier que tensorflow trouve bien le GPU

Bonus: Erreurs gsutil et tensorflow

Sources