Créer un avatar à partir de votre webcam grâce au Deep Learning

J’ai découvert récemment un article traitant d’un travail de recherche “First Order Motion Model for Image Animation” qui présente un modèle de deeplearning appliqué à l’animation vidéo. Cette technique a été pratiqué par plusieurs amateurs sur youtube sous le titre “deepfake”. J’ai retrouvé quelques code pour pouvoir exécuter cela sur sa machine et voir le résultat. Je partage ici le projet inité par un groupe de développeurs sur github, ainsi que comment mettre en place l’environnement de développement et aboutir à un résultat.

Le travail des chercheurs tourne autour de quatres typologies de vidéo :

Un réseau neuronal pondéré, à l’image de ce qui a été crée ici, est un réseau où les liens entre les nœuds ont des poids qui leur sont attribués. Les éléments d’un système sont représentés comme des nœuds (également appelés acteurs ou sommets) et les connexions entre les éléments en interaction sont appelées liens, arêtes, arcs ou liens. Les nœuds peuvent être des neurones, des individus, des groupes, des organisations, des aéroports ou même des pays, tandis que les liens peuvent prendre la forme d’amitié, de communication, de collaboration, d’alliance, de flux ou de commerce, pour n’en nommer que quelques-uns.

Nous allons utiliser le réseau de neurone (VoxCeleb) qui va nous permettre d’utiliser la capture video de la webcam.

Notre objectif est de pouvoir capturer le flux video, d’appliquer le modèle machine learning, et à partir d’une bibliothèque d’image, arriver à sortir un flux vidéo qui reprend nos expressions faciales mais avec le modèle. voir le résultat final ci dessous :

Etapes

Pour pouvoir exploiter le code, nous allons installer Anaconda (lite) qui nous permettera de disposer de l’interpréteur python, mais aussi des dépendances assez rapidement :

Voici le lien pour installer miniconda pour windows : https://docs.conda.io/en/latest/miniconda.html#windows-installers

Nous devons aussi installer la version Windows de GIT, un outil de contrôle de version qui va nous permettre de répliquer le code des chercheurs sur notre machine.

Lien pour installer GIT for Windows : https://git-scm.com/download/win

Suivre les étapes de l’install, et une fois installez, lancez depuis le menu démarrer le “Anaconda Prompt (miniconda3)”

Une fois lancé, nous allons nous mettre dans un répértoire de travail et utiliser GIT pour répliquer le code à travers les commandes suivantes et l’installer :

git clone https://github.com/alievk/avatarify.git
cd avatarify
scripts\install_windows.bat

Ensuite nous aurons besoin de télécharger les poids du réseau qui sont les données du réseau neuronal crée par les chercheurs, nous allons donc télécharger les données de voxceleb, et les mettre dans le repertoire de travail avatarify crée par git précedemment (par défaut, le prompt de anaconda s’ouvre dans c:\users\your-username\..)

Ces données sont disponibles sur le lien google drive suivant : https://drive.google.com/file/d/1coUCdyRXDbpWnEkA99NLNY60mb9dQ_n3/view?usp=sharing

Ensuite, nous allons nous remettre sur le prompt anaconda pour démarrer le programme avec la commande suivante toujours dans le repertoire de travail avatarify :

run_windows.bat

Si tout est bien fait, une première fenêtre de capture de votre webcam va démarrer, il vous sera demandé de zoomer ou dézoomer de telle facon à contenir votre visage dans le rectangle rouge de capture, une fois le calibrage fait, appuyer sur X.

une deuxième fenêtre va démarrer avec votre modèle.

Noter que le code arrive avec 9 avatars que vous pouvez changer en appuyant sur les touches de 0 à 9 et à chaque fois que l’image nécessite un recalibrage, refaire l’opération décrite plus haut.