Het innovatieve patent van Sony heeft tot doel de toegankelijkheid voor dove gamers te verbeteren door de introductie van realtime in-game gebarentaalvertaling. Deze baanbrekende technologie overbrugt communicatiekloven, waardoor naadloze interactie tussen spelers mogelijk wordt die verschillende gebarentalen gebruiken.

Sony patenteert real-time gebarentaalvertaling voor videogames

Gebruik maken van VR- en cloudgamingtechnologieën

Dit patent, getiteld "VERTALING VAN GEBARENTAAL IN EEN VIRTUELE OMGEVING", stelt een systeem voor dat realtime vertaling tussen gebarentalen mogelijk maakt, zoals Amerikaanse gebarentaal (ASL) en Japanse gebarentaal (JSL). Het doel is om dove gamers volledig te laten deelnemen aan in-game communicatie.

De gepatenteerde technologie maakt gebruik van virtuele indicatoren of avatars op het scherm om vertalingen in gebarentaal in realtime weer te geven. Het proces omvat een vertaling in drie stappen: eerst worden gebaren in tekst omgezet; ten tweede wordt de tekst vertaald in de doeltaal; en ten slotte wordt de vertaalde tekst weer omgezet in de overeenkomstige gebarentaalgebaren.

Zoals Sony in de patentaanvraag uitlegt: "Implementaties van de huidige openbaarmaking hebben betrekking op methoden en systemen voor het vastleggen van gebarentaal van de ene gebruiker en het vertalen ervan voor een andere gebruiker in hun moedertaal. Omdat gebarentalen geografisch variëren, richt deze technologie zich op de behoefte aan nauwkeurige opname, taalbegrip en het genereren van geschikte gebarentaaluitvoer."

Sony stelt voor om dit systeem te implementeren met behulp van VR-headsets of head-mounted displays (HMD's). Deze HMD's zouden verbinding kunnen maken met een gebruikersapparaat (pc, gameconsole, enz.) om een ​​meeslepende virtuele omgeving te bieden. Het gebruikersapparaat zou dan via een netwerk communiceren met andere gebruikersapparaten en een gameserver.

Het patent stelt verder voor om een ​​spelserver te gebruiken, mogelijk binnen een cloud-spelsysteem, om de status van het spel te beheren en de virtuele omgeving te synchroniseren met alle verbonden gebruikers. Dit maakt gedeelde gameplay en interactie binnen dezelfde virtuele wereld mogelijk. Het cloudgamingaspect zou de weergave en streaming van video tussen apparaten verzorgen. Deze architectuur zorgt voor een soepele, realtime vertaling en interactie voor alle spelers, ongeacht hun gebarentaal.