Gameface Project : L’innovation Google rend le jeu accessible pour tous !

Lors du I/O 2023, Google a lancé Project Gameface. Il s’agit d’une souris de jeu open-source. Elle permet aux utilisateurs de contrôler le curseur de l’ordinateur avec des mouvements de tête et des gestes faciaux. Inspiré par l’histoire de Lance Carr, un streamer de jeux vidéo tétraplégique atteint de dystrophie musculaire. Ce projet innovant vise à rendre le jeu plus accessible à tous. Il promet des avancées significatives dans l’accessibilité des jeux vidéo.

Ouverture du code source du projet Gameface

Google a décidé de partager davantage de code de Project Gameface. Cela vise à aider les développeurs à créer des applications Android. Ces applications visent à améliorer l’accessibilité, notamment pour les utilisateurs ayant des besoins spécifiques. Grâce à la caméra de l’appareil, cette technologie suit les expressions faciales et les mouvements de la tête de l’utilisateur. Elle les traduit en commandes intuitives et personnalisées pour l’interaction.

Pour le développement de cette version, Google a collaboré avec Incluzza, une entreprise sociale indienne qui soutient les personnes handicapées. Cette collaboration a permis d’explorer l’éventail des applications potentielles de Project Gameface, allant de l’éducation à la recherche d’emploi.

Principes du design du Project Gameface

Le développement de Project Gameface pour Android est basé sur trois principes clés : offrir une nouvelle méthode d’utilisation des appareils Android aux personnes handicapées, proposer une solution économique disponible à grande échelle, et tirer parti des leçons tirées du premier lancement de Gameface pour rendre le produit convivial et personnalisable.

Nouveau curseur sur Android

Une des innovations majeures de ce projet est l’introduction d’un nouveau curseur sur Android. L’utilisateur commande ce dernier par les mouvements de sa tête, grâce à l’API de détection des repères faciaux de MediaPipe.

Les expressions faciales sont mappées à l’aide de valeurs de Blendshape, ce qui permet aux utilisateurs de configurer leur expérience de manière extrêmement personnalisée.

Fonctionnalités mobiles et caméra

Project Gameface pour Android présente plusieurs avancées notables par rapport à la version Windows. Il permet d’effectuer une multitude de tâches en plus simple clic de souris. De même, nous avons utilisé l’API Android Accessibility pour déterminer les actions que nous pouvons fournir à l’utilisateur.

L’évolution la plus intéressante concerne l’exploitation de la caméra. En effet, en plus de comprendre les mouvements et gestes de la tête, la caméra améliore la compréhension des gestes par les paramètres de seuil précis, tout en indiquant clairement à l’utilisateur que sa caméra est activement utilisée.

Nous sommes ravis de constater les avancées en matière d’accessibilité permises par Project Gameface, et nous avons hâte de voir les applications innovantes que les développeurs créeront à l’aide de ce code source ouvert.

Alors, que pensez-vous de cette initiative de Google? N »hésitez pas à partager vos réflexions et expériences avec nous dans les commentaires!