Traducteur de la langue des signes de brevets Sony en jeu

Sony fait une étape importante vers l'amélioration de l'accessibilité pour les joueurs sourds avec un brevet nouvellement déposé visant à fournir une traduction en langue des signes en jeu en temps réel. Le brevet, intitulé «Traduction de la langue des signes dans un environnement virtuel», détaille un système qui peut traduire la langue des signes américaine (ASL) en langue des signes japonaise (JSL) et vice versa, améliorant la communication dans les jeux vidéo.

Sony brevets ASL au traducteur JSL pour les jeux vidéo

Proposé d'utiliser les appareils VR et de travailler sur les jeux en nuage

Le brevet de Sony présente une approche révolutionnaire pour aider les joueurs sourds en permettant des traductions en temps réel des langues de signe pendant les interactions en jeu. La technologie décrite dans le brevet implique des indicateurs virtuels ou des avatars qui apparaissent à l'écran pour effectuer la langue des signes en temps réel. Le processus commence par traduire les gestes de signe d'une langue en texte, suivi par la conversion de ce texte en une autre langue spécifiée, et enfin transformer les données en gestes de signe de la langue cible.

"Les implémentations de la présente divulgation concernent les méthodes et les systèmes de capture de la langue des signes d'un utilisateur (par exemple, japonais) et de traduction de la langue des signes à un autre utilisateur (par exemple, anglais)", a expliqué Sony dans le brevet. "Parce que les langages des signes varient en fonction des origines géographiques, la langue des signes n'est pas universelle. Cela permet de capturer de manière appropriée la langue des signes d'un utilisateur, de comprendre la langue maternelle et de générer un nouveau langage de signe comme une sortie pour un autre utilisateur dans leur langue de signe native."

Sony envisage le système implémenté à l'aide de périphériques de type VR ou d'écrans montés sur la tête (HMD). "Dans certaines implémentations, le HMD se connecte via une connexion câblée ou sans fil à un périphérique utilisateur, comme un ordinateur personnel, une console de jeu ou un autre appareil informatique", a expliqué Sony. "Dans certaines implémentations, le périphérique utilisateur rend les graphiques pour l'affichage via le HMD qui fournissent une visualisation immersive de l'environnement virtuel pour l'utilisateur."

La société propose en outre que les appareils utilisateur peuvent communiquer de manière transparente entre eux sur un réseau, facilité par un serveur de jeux. "Dans certaines implémentations, le serveur de jeux exécute une session partagée d'un jeu vidéo, en maintenant l'état canonique du jeu vidéo et de son environnement virtuel", a déclaré Sony, "et à laquelle les appareils utilisateur sont synchronisés concernant l'état de l'environnement virtuel."

Cette configuration permet aux utilisateurs d'interagir dans le même environnement virtuel ou jeu sur un réseau ou un serveur partagé. Sony a également mentionné que dans certaines implémentations, le serveur de jeux pourrait faire partie d'un système de jeu cloud, qui "rend et diffuse une vidéo" entre chaque appareil utilisateur, améliorant l'expérience de jeu globale pour les joueurs sourds en garantissant une communication en douceur et en temps réel.