Al dia

Transferència de tecnologia

Creat un sistema visual per interpretar llengües de signes

La llengua de signes espanyola és utilitzada per més de 100.000 persones amb discapacitat auditiva i està formada per centenars de signes. Els investigadors del Centre de Visió per Computador de la Universitat Autònoma de Barcelona (CVC-UAB) Sergio Escalera, Petia Radeva i Jordi Vitrià n’han seleccionat més de 20 per desenvolupar un nou sistema visual que els interpreta i permet a les persones amb sordesa realitzar consultes usant el seu llenguatge natural.

3 de juny de 2010

Els signes sofreixen alteracions introduïdes pels usuaris. Els investigadors del projecte també les han tingut en compte realitzant assajos amb diferents persones per a que el sistema ‘aprengui’ aquesta variabilitat. La vintena de signes que pot reconèixer permet a les persones amb sordesa mantenir una conversa bàsica, com sol·licitar ajuda per ubicar-se o preguntar sobre indrets turístics. “És una manera de comunicació no artificial per a elles, i alhora els permet comunicar-se amb individus que no entenguin la llengua de signes, ja que realitza una traducció de signe a paraula en temps real”, comenta Sergio Escalera.

El hardware disposa d’una càmera de vídeo que enregistra seqüències d’imatges quan percep la presència d’un usuari que vol realitzar la seva consulta. Seguidament, un sistema de visió per computador i d’aprenentatge automàtic detecta els moviments del rostre, de les mans i dels braços, així com el seu desplaçament en la pantalla, i els incorpora a un sistema de classificació que identifica cada moviment amb la paraula associada al signe corresponent.

Un aspecte destacable del sistema és la seva capacitat d’adaptació a qualsevol llengua de signes, atès que la metodologia emprada és general. L’únic que caldria fer seria canviar els signes apresos pels de la llengua a utilitzar. És també escalable, quant a quantitat de signes que pot reconèixer, tot i que, a mesura que incorpora més dades, els investigadors reconeixen que augmenta també la dificultat per discriminar-les.

Aplicacions com la desenvolupada pels investigadors del CVC-UAB requereixen d’una precisió extrema en la fase d’identificació dels signes i són molt difícils de dur a terme de manera fiable, perquè han d’estar treballant en un entorn obert, amb canvis d’il·luminació i oclusions, diferents fisonomies dels individus i distintes velocitats de realització dels signes.

Amb anterioritat, hi ha hagut diversos intents de realitzar projectes similars, però la majoria han fracassat o funcionen de manera poc fiable perquè la variabilitat dels entorns no controlats és altament complexa. Per a l’èxit d’aquest projecte ha estat fonamental la fixació de la posició en la qual els individus realitzen els signes, que evita que puguin haver-hi diversos punts de vista en els enregistraments.

El sistema acaba de ser presentat com a prototipus en la fase final d’un projecte europeu i els investigadors ja treballen en noves vies de continuació, com ara usar dues càmeres per reconèixer signes més complexos i complementar el reconeixement incloent-hi característiques facials. Per dur-lo a terme, han comptat amb la participació de diversos membres de FESOCA, la Federació de Persones Sordes de Catalunya.

Més informació

Tòpics de l'article