Un equipo de investigadores de la Universidad de las Islas Baleares ha sido galardonado por la Asociación Preinscripción Persona-Ordenador (AIPO) con el premio Jesús Lorés al mejor artículo de investigación por un estudio centrado en el uso de redes neuronales para el reconocimiento facial dirigido a personas con discapacidad intelectual.

Los autores del trabajo premiado son Silvia Ramis Guarinos, Cristina S. Manresa Yee, José María Buades Rubio y Francesc Xavier Gayà Morey, investigadores de la Unidad de Gráficos y Visión por Ordenador e Inteligencia Artificial y profesores del Departamento de Ciencias Matemáticas e Informática de la Universidad de las Islas Baleares. El premio les fue entregado el 6 de septiembre a la Universidad de Lleida en el marco del XXIII Congreso Internacional de Interacción Persona-Ordenador (Interacción 2023).

El reto de las redes neuronales: entrenarse para reconocer la diversidad

El reconocimiento de expresiones faciales tiene un papel importante tanto en el comportamiento humano como en la interacción entre personas. Actualmente, las redes neuronales se utilizan para el reconocimiento automático de expresiones faciales y han demostrado que obtienen buenos resultados. Pero muchas veces no entendemos por qué pueden clasificar mal una expresión donde nosotros no tenemos ninguna duda de cuál es.

Para hacer frente a este problema, existen técnicas en el campo de la visión por computador que sirven para proporcionar información sobre el funcionamiento interno de una red neuronal y hacerla más transparente. Estas técnicas se denominan técnicas de explicabilidad. De esta manera podemos entender, por ejemplo, las zonas de la cara más importantes para una red neuronal y compararlas con las zonas más importantes para el ojo humano. Por otro lado, normalmente estos sistemas se entrenan y se prueban con conjuntos de datos de personas sin discapacidad, ya que, en la comunidad científica, casi no hay bases de datos públicas con personas con discapacidad. Pero ¿estos sistemas son viables para trabajar con personas con discapacidad?

En su trabajo, el equipo de investigadores de la Universidad de las Islas Baleares propone un estudio de reconocimiento de expresiones faciales dirigido a personas con discapacidad intelectual, para dar respuesta a dos preguntas principales: ¿pueden las redes neuronales existentes entrenadas con expresiones faciales predecir las expresiones faciales de personas con discapacidad intelectual? Y si no fuera así, ¿qué diferencias hay entre las expresiones faciales de personas con y sin discapacidad intelectual?

Los resultados obtenidos muestran que los modelos entrenados en personas sin discapacidad no son capaces de reconocer las expresiones faciales de personas con discapacidad intelectual, al menos en el conjunto de datos evaluado. Las técnicas de explicabilidad utilizadas en este trabajo ayudan al lector a entender las diferencias que existen entre los diferentes conjuntos de datos.

En el trabajo premiado se observa que los modelos entrenados, aunque se centran cada uno en zonas de la cara diferentes para cada expresión, todavía se centran en las mismas zonas faciales cuando cambian de conjunto de datos. Se aprecia una diferencia significativa en cómo las personas del conjunto de datos con discapacidad intelectual manifiestan las expresiones faciales, lo que conlleva modelos de predicciones erróneas.

Este trabajo es un primer estudio para poder integrar un sistema de reconocimiento de expresiones faciales en personas con discapacidad intelectual en un robot social, ya que los robots sociales han demostrado que son útiles en el aprendizaje de habilidades en una persona con discapacidad intelectual. Esto demuestra que todavía hay que trabajar más en este campo y utilizar más modelos y más conjuntos de datos de personas con discapacidad para poder conseguir un sistema robusto.