En utilisant l’API getUserMedia pour récupérer le flux vidéo de la webcam, et webgl pour le traiter, nous avons développé une application de tracking vidéo.
Il s’agit d’un POC (Proof Of Concept) développé rapidement (en moins de 2 jours). Vous pouvez le tester en utilisant la dernière version de Chrome sur http://www.spacegoo.com/trackGL .
html2canvas est une librairie javascript permettant de rendre du code HTML avec des CSS dans un canvas. Elle est disponible ici : http://html2canvas.hertzen.com/ .
Afin de prendre en main cette librairie, voici une petite démonstration développée en quelques heures. Elle affiche le contenu de Google News ( http://news.google.com ) avec un effet ondulant. C’est essentiellement un exercice de style, cet effet ne facilitant pas trop la lecture… Techniquement, le canvas contenant le rendu de la page est récupéré par webgl, qui rajoute l’effet d’ondulation via le Fragment shader. Le canvas webgl contient l’attribut CSS pointer-events: none , qui a pour effet de rediriger tous les évènements souris et clavier vers la page web originale toujours affichée derrière. Grâce à cette astuce, les liens hypertextes de la page fonctionnent toujours.
La démonstration est disponible ici : http://www.spacegoo.com/floatingNews
Vidéo capture d’écran :
Article introuvable
Le projet principal sur lequel nous travaillons depuis 5 mois est un configurateur de maisons, LIGNUM. Du fait des développements de la démo de jeu d’échecs webgl/webrtc , de la démo Paris Bubbles ainsi que du petit jeu Teach me to fly, le temps effectif passé sur le projet est plutôt de 4 mois.
LIGNUM est une application en ligne permettant de créer sa propre maison à partir d’un modèle prédéfini, en personnalisant le modèle. Nous visons dans un premier temps le marché français des maisons individuelles et plus particulièrement celui des maisons à ossature bois. Nous comptons commercialiser l’application en service as a software à compter de début septembre 2012.
Ce configurateur est conçu pour être utilisé soit par le prospect, à partir du site internet du fabricant ou d’un autre site agglomérant les offres, ou par un commercial devant le client. Il permettra de réduire la durée de la phase de conception en 3D de la maison, pendant laquelle un architecte dessine la future maison sans savoir encore si le client va signer le contrat. Il permettra aussi de présenter au client immédiatement un rendu. La plupart des maisons vendues étant proches de modèles sur catalogue, LIGNUM devrait pouvoir satisfaire à terme ces demandes.
D’ici là, il reste une importante phase de débogage, de rajout de fonctionnalités spécifique demandées par les constructeurs, ainsi que l’ajout de modèles de maisons, de matériaux et d’objets 3D (fenêtres, mobilier, barrières, …).
Au niveau technique, le rendu et l’éditeur de terrain sont réalisés en utilisant la technologie webgl. Les phases de configuration 2D avec vue de dessus utilisent l’élément CANVAS 2D d’HTML5.
TEACH ME TO FLY est un petit jeu de vol en webgl développé en deux jours en utilisant la librairie Three.js . Le code est disponible sur github ici.
Ce jeu peut facilement être recustomisé. Tux est un modèle Collada créé sous Blender puis exporté. La map est dans l’index.html et elle est composée de lignes sous la forme :
FF 32 00 EA EA EF EF FF FF A8 00 FF \
Chaque ligne de ce type représente une rangée de building. Chaque bloc de charactères hexadécimaux représente un building. La forme du building correspond à la notation binaire du bloc en hexadécimal. Par exemple FF s’écrit 11111111 en binaire, et sera donc un building plein de hauteur maximale.
L’éclairage de la scène se compose d’une spotlight placée au niveau du pingouin pour éclairer les buildings, d’une lumière ambiante, d’une pointlight orangée placée au niveau de la caméra pour éclairer surtout le pingouin, et d’une lumière directionnelle utilisée uniquement pour l’ombrage.
Le jeu est disponible ici
Voici la vidéo capture d’écran pour les non compatibles webgl :
Nous avons effectué un petit break dans le projet sur lequel nous travaillons depuis 3 mois, et sur lequel nous n’avons encore rien communiqué, afin de développer un sympathique jeu d’échecs en 3D en 5 jours.
Au niveau 3D, la démonstration repose sur une version allégée du moteur 3D SPACEGOO. L’éclairage est réalisé par combinaison d’ambient occlusion par cuisson de texture (baking) avec le modèle d’éclairage de Blinn Phong ( http://en.wikipedia.org/wiki/Blinn%E2%80%93Phong_shading_model ). Les ombres sont réalisées en ombres projetées, en activant l’option GL.BLEND et en utilisant le stencil buffer pour ne pas foncer plusieurs fois les mêmes pixels de l’ombre.
Au niveau de la retransmission webcam, nous avons utilisé la récente technologie webrtc ( http://www.webrtc.org ) . Cette dernière permet de récupérer l’image de la webcam dans l’élément VIDEO d’HTML5, et de la retransmettre en P2P.
Pour l’ouverture du canal de transmission et la transmission P2P, nous avons utilisé le serveur d’exemple (peerconnection_server) dont la compilation est expliquée ici : http://www.webrtc.org/reference/getting-started . Ce serveur ayant tendance à être assez capricieux (il communique par requêtes AJAX avec les clients et parfois il ne les retransmet pas), il a été nécessaire de rajouter un petit protocole de transmission de données avec ACK pour éviter des deadends au cours des parties.
Cette démonstration serait présentée au meeting de l’IETF à Paris à la fin du mois, dans le but de promouvoir la technologie webrtc et de montrer que cette dernière peut apporter bien plus qu’un simple « Skype dans le navigateur ».
En attendant que la démo soit en ligne (il manque le serveur pour la faire tourner, et pour l’instant notre contrat d’hébergement ne nous permet pas de faire tourner ce serveur sur spacegoo.com), voici une video screenshot du résultat :
Il ne reste plus qu’à espérer que cette technologie se démocratise rapidement. Elle est pour l’instant disponible sur les builds des canaux Dev et Canary de Chrome, et elle devrait arriver d’ici peu dans les Firefox Nighties.