Mediante el diseño de algoritmos basados en inteligencia artificial, un equipo de investigación del Departamento de Ciencias de la Computación del CICESE trabaja en el desarrollo de un sistema de traducción automática de la Lengua de Señas Mexicana (LSM).

El equipo está integrado por estudiantes de posgrado liderados por el doctor Irvin Hussein López Nava, investigador por México del CICESE, quienes se han propuesto desarrollar una aplicación que sea capaz tanto de reconocer como de generar la lengua de señas.

Para lograr este objetivo, el equipo entabló una alianza con la Asociación Regional de Sordos Ensenadenses, organización que está aportando expertos en LSM y apoyando en la validación del desarrollo.

“La idea sería tener un sistema que con una cámara del celular detecte la lengua de señas, lo traduzca al español e interprete el mensaje. Posteriormente el sistema generará una respuesta en lengua de señas para interactuar con el usuario”, explicó Hussein López en entrevista.

Como una primera fase del proyecto, generaron un diccionario de 100 frases relacionadas con situaciones de emergencias.

Esta parte fue desarrollada por medio del proyecto de maestría de Michelle Sainos Vizuett, ahora egresada del CICESE, quien dio inicio con la captura de datos, uno de los procesos cruciales para el proyecto.

Michelle Sainos, egresada del CICESE, y el Dr. Irvin Hussein López.

“Ya que teníamos estas 100 frases las llevábamos a validación con los expertos de LSM para que nos dijeran si son útiles o detalles como que de dos frases del diccionario realmente solo utilizaban una”, puntualizó Hussein López.

Una vez definidas las frases del diccionario, procedieron a la captura de datos en un entorno controlado, para lo cual montaron un escenario con fondo verde y equipo de iluminación donde se realizó la captura de cada frase en lengua de señas con una cámara profesional.

Entrenar con diferentes datos

Se estima que en nuestro país hay 2.3 millones de personas con discapacidad auditiva. Desde hace 20 años, la LSM es reconocida en México como lengua nacional, al igual que el español y las lenguas indígenas.

Y de la misma forma que ocurre con las lenguas orales, la lengua de señas tiene variaciones de país a país, o incluso por regiones dentro de un mismo país. Además, no hay una correspondencia exacta entre la lengua oral y la de señas y este fue uno de los retos que encontró el grupo de investigación.

Sin embargo, Hussein López subrayó la importancia de que en el proceso de captura no solamente participen los expertos cuya primera lengua es la LSM, sino también aquellos que la aprendieron como segunda lengua y quienes son principiantes y están en proceso de aprendizaje.

“Todos los datos son valiosos porque si entrenamos solo con datos de expertos cuando se use el traductor con alguien que no tiene ese nivel de dominio el sistema no lo va a entender y podría desmotivar a la persona que desea aprender el lenguaje señado”, explicó.

Esto es algo similar a lo que ocurre cuando en el buscador de una aplicación colocamos una frase escrita de forma incorrecta. Gracias a que el buscador no está entrenado solamente con una escritura perfecta es que puede comprender lo que buscamos incluso cuando tecleamos con algunos errores.

Así es como el equipo está entrenando a su sistema para que comprenda y genere Lengua de Señas Mexicana con mayor eficiencia.

De las frases al abecedario

Después de las primeras experiencias capturando las frases del diccionario de emergencias, ahora la captura se está llevando a cabo por dactilología, que consiste en reconocer señas estáticas de forma continua. Es decir, ahora en lugar de frases, están capturando, letra por letra, el alfabeto de la LSM. 

Esta parte del desarrollo se lleva a cabo mediante el proyecto de Ricardo Morfín Chávez, estudiante de la Maestría en Ciencias de la Computación del CICESE.

El Dr. Irvin Hussein López y Ricardo Morfín Chávez, estudiante de la Maestría en Ciencias de la Computación del CICESE.

Tanto Michelle como Ricardo se han encontrado con la escasez de datos, un desafío importante si se toma en cuenta que el área de aprendizaje automático, en la que se ubica este desarrollo, demanda bases de datos voluminosas para entrenar los modelos que posteriormente harán el reconocimiento de forma automática.

Poco a poco se ha sorteado este reto para lograr pasar a la etapa de procesamiento, que va desde la segmentación, el etiquetado de datos y el relacionar cada video de los gestos manuales y faciales a una “glosa”, que sería la correspondencia a una palabra en español.

Hussein López detalló que con este tipo de modelos de machine learning, técnica de inteligencia artificial, se pueden usar las imágenes directamente o, como ellos lo están haciendo, pasarlas a un sistema que extrae automáticamente las articulaciones de las manos y los segmentos del cuerpo humano, proporciona información cinemática de alto nivel y deja en el anonimato a quienes produjeron las señas.

“Entonces en lugar de tener una representación de imágenes, es como si tuviéramos un esqueleto que se está moviendo en el espacio, que es una información más rica. Lo hemos comprobado, ya experimentalmente, y los resultados son prometedores”, comentó.

Incentivando colaboraciones

Dado que el desarrollo del sistema de traducción es uno de los objetivos a largo plazo del proyecto, de forma paralela el equipo se dedica a alcanzar objetivos de corto plazo, entre ellos, ampliar las colaboraciones.

Este año se suman al proyecto estudiantes de licenciatura de la Facultad de Ciencias de la Universidad Autónoma de Baja California (UABC), quienes estarán trabajando en aplicaciones específicas.

Una de ellas consiste en un menú interactivo para una cafetería operada por la Asociación Regional de Sordos Ensenadenses. La idea es que el menú se pueda ofrecer con Lengua de Señas Mexicana y que también permita registrar las órdenes de los clientes de la cafetería.

“Ese sería uno de los objetivos finales, no solamente trabajar en algoritmos que nos ayuden a realizar el reconocimiento o producción de señas de forma automática, sino que lleguemos al punto de desarrollar y desplegar estas aplicaciones”, destacó Hussein López.

Aunado a esto, para incentivar las colaboraciones con más especialistas, abrirán de forma pública los datos que han capturado siguiendo los protocolos de otras lenguas de señas como la americana o la alemana, de tal forma que puedan ser útiles para otros grupos de investigación. 

La intención del equipo es que los esfuerzos se sumen, evitar la duplicidad de actividades y fortalecer el proyecto con nuevas colaboraciones de investigadores y estudiantes.

Además, en el desarrollo del proyecto han surgido otros objetivos no menos importantes, como concientizar sobre la brecha de comunicación que existe entre la comunidad sorda y quienes desconocen la LSM.

“Si esto que hacemos concientiza un poco sobre la importancia de conocer la Lengua de Señas Mexicana, creo que es uno de los impactos que más nos van a enorgullecer”, concluyó el investigador.

Palabras clave: traductor, lengua, señas, LSM, computación, CICESE