Spraak-naar-gebarentaal Software wint Microsoft Dev Contest

Spraak-naar-gebarentaal-vertaalsoftware geschreven door een team uit Thailand won de hoofdcategorie van een Microsoft-gesponsorde softwareontwikkelingswedstrijd voor studenten, de Imagine Cup, op donderdag.

De vier studenten van de Kasetsart University in Bangkok hebben de categorie softwareontwerp gewonnen, vóór zes andere finalisten. Ze werkten zes uur per dag gedurende zes maanden om hun inzending te voltooien, vertrouwden op een strikte planning om hen logistieke problemen te bezorgen die waren veroorzaakt door rellen en politieke instabiliteit in hun thuisland. Voorstellen Cup-deelnemers moesten Microsoft-software-ontwikkelplatforms gebruiken om een of meer van de Millenniumdoelstellingen van de Verenigde Naties, waaronder halvering van extreme armoede, het stoppen van de verspreiding van HIV / AIDS en het bieden van universeel basisonderwijs, allemaal tegen 2015.

De eerste prijs van $ 25.000 van de wedstrijd trok inzendingen van 325.000 studenten, volgens Microsoft. Daarvan bereikten 400 de finaleronde, die een totaal prijzengeld van $ 240.000 bood in vijf competitiecategorieën en zes awards.

De software van het Thaise team, EyeFeel, combineert spraakherkenning, gezichtsherkenning en gebarentaalanimatie om echte tijdvertaling voor mensen met gehoorproblemen.

"De spraakherkenningsmodule legt de spraak vast en converteert de zin zodat deze past in de grammatica van gebarentaal", vertelde Team Skeek-kapitein Pichai Sodsai aan IDG News Service. "De gebarentaal wordt dan geanimeerd op het scherm, terwijl gezichtsherkenning wordt gebruikt om verschillende sprekers te onderscheiden." De software zet ook tekstballonnen in als een stripboek, allemaal in realtime.

Om de software levensvatbaar te maken, moest het team efficiënt gebruik maken van bronnen. "We maken uitgebreid gebruik van multithreading-code om alle delen van de software te combineren tot één functionerend geheel", zei Sodsai. "Elk onderdeel moet naast elkaar worden uitgevoerd, zonder dat zou het niet kunnen."

Zelfs nu zijn er enkele problemen waar het team mee te maken heeft. Gebarentaal heeft problemen bij het bijhouden van de gesproken taal en tijdens de demo bleven de animatie en de geschreven tekst aanzienlijk achter.

"Het is een enorme uitdaging om hiermee om te gaan," zei Sodsai. "We behandelen het grootste deel van het probleem door de software automatisch de zin te laten verkorten." Elke zin wordt teruggebracht tot de kernbetekenis, waardoor het voor de software eenvoudiger wordt om bij te blijven. Een andere beperking is dat de software momenteel alleen Amerikaanse gebarentaal en Engels ondersteunt. "Het wisselen van taal is nog steeds een enorme taak", zei Sodsai. "We zouden daarvoor een hele module moeten schrijven."

Het zal de teamleden nog een jaar nodig hebben om het systeem te perfectioneren, aldus Sodsai. Tot die tijd blijven ze op zoek naar potentiële kopers.

"Het ontwerp is zeer modulair, zodat we functies kunnen toevoegen en verwijderen wanneer dat nodig is," zei hij. "We zijn van plan een licentieregeling te gebruiken op basis van gratis kerncomponenten en extra opties te betalen." Team Skeek schat dat er wereldwijd ongeveer 350 miljoen mensen met gehoorproblemen zijn. De belangrijkste markt zou in het onderwijs zijn, waar de software kan worden gebruikt door dove en bijna dove mensen om lezingen en presentaties te volgen. EyeFeel kwam een ​​Servisch team voor dat een handsfree communicatie en web-browsing interface voor mensen ontwikkelde met ernstige vormen van verlamming. De derde plaats werd ingenomen door Nieuw-Zeeland, met een toepassing voor het converteren van bestanden naar geluiden die over lange afstanden kunnen worden uitgezonden met behulp van de FM- en AM-banden naar plaatsen waar er weinig of geen internetconnectiviteit is. Laptops van OLPC (One Laptop Per Child) kunnen de bestanden ontvangen via een verbonden radio en ze omzetten naar hun oorspronkelijke vorm.

Niet alle projecten zullen een commerciële toekomst hebben, aldus Jon Perera, General Manager van de Microsoft Education Group.

"In termen van toepasbaarheid in de echte wereld, heeft een deel van de software [het potentieel om] op de echte wereldmarkt te landen en zullen de impact hebben die de studenten willen hebben. En we zien zeker veel software die niet noodzakelijk een commerciële of duurzame oplossing op de markt zal worden, "zei hij.

De verkenning zelf is een startpunt voor discussies over de rol van technologie bij het oplossen van problemen, zei Perera.

"Sommige oplossingen worden al gebruikt door overheden. Het team van Jordanië bijvoorbeeld bouwde een" woestijnvolgsysteem ", dat een zelfregulerend systeem is. een ingebouwd chipsetbord dat de groei van de woestijn in de loop van de tijd volgt, "zei hij. "De regering van Jordanië werkt samen met hen en sponsort het team om verschillende sites bij te houden."