Samsung ha presentado la aplicación Tallk, una herramienta de software que facilita la comunicación de las personas con movilidad reducida y ausencia del lenguaje oral, como los pacientes de ELA.
Tallk ha sido desarrollada por la startup española Irisbond, especializada en soluciones de ‘eye tracking‘; lo que la convierte en la primera aplicación basada en tecnología de seguimiento ocular que hace uso de la cámara integrada en una tablet para la comunicación interpersonal. Esta aplicación está disponible en castellano para determinados modelos de Galaxy Tab de Samsung en España y tiene como objetivo el facilitar la comunicación verbal a las personas que sufren este tipo de patologías y otras similares, así como de dotarles de una mayor independencia, mejorar su calidad de vida y la de sus seres queridos y cuidadores.
El proyecto ha tenido un fuerte componente de I+D y gracias a una combinación de Inteligencia Artificial, mecanismos de seguimiento facial y metodologías de Deep learning basado en redes neuronales, se ha conseguido desarrollar un seguimiento ocular sin necesidad de dispositivos adicionales y simplemente usando la cámara integrada de determinados modelos de Galaxy Tab.
El proyecto desde sus inicios ha pasado por diferentes fases hasta poder llegar a la solución final. Por un lado, una fase de desarrollo de algoritmos para realizar el ‘eye tracking’ utilizando las cámaras de las tablets Samsung Galaxy. Y por otro lado, se ha desarrollado la aplicación “Tallk”, diseñada especialmente para ser controlada con la mirada. Finalmente, se ha realizado la integración del resultado de ambas fases aplicando diferentes herramientas de usabilidad, con el objetivo de hacer posible el control de la aplicación con la mirada.
Para llevar a cabo este proyecto se ha involucrado a un gran equipo con diferentes perfiles dada la gran complejidad del producto final. Por un lado, están los expertos en ‘eye tracking’ e Inteligencia Artificial, que se han ocupado de desarrollar las metodologías para la interacción a través de la mirada en tablets Samsung Galaxy.
Por otro lado, los expertos en usabilidad han desarrollado las herramientas que han permitido integrar la tecnología con la aplicación de forma óptima. Además, cabe resaltar que todo el equipo involucrado es experto en el campo de la comunicación utilizando tecnologías asistidas. A este equipo encargado de crear la solución se le une el asesoramiento recibido por expertos en la enfermedad y problemas de comunicación, como la Fundacion Luzón, logopedas e incluso un grupo de pacientes de ELA que han hecho posible adaptar la aplicación a las necesidades reales.
Funcionamiento basado en la Inteligencia Artificial
Con un tamaño de pantalla mínimo de 8” por motivos de usabilidad y accesibilidad, la tecnología de seguimiento ocular de Tallk utiliza la cámara de la tablet para localizar el iris usando patrones faciales del usuario. El seguimiento del iris a través de la cámara estándar de una tablet ha supuesto un reto durante su desarrollo, ya que, hasta el momento, sólo se podía realizar a través de cámaras adicionales basadas en infrarrojos.
Gracias a diferentes algoritmos e Inteligencia Artificial, el software traduce el movimiento de los ojos en trazados aproximados dentro de la pantalla para acceder a un teclado virtual predictivo y verbalizar el texto introducido por el usuario, mediante la voz configurada en el menú de accesibilidad de la tablet. Los avanzados algoritmos de software de Irisbond, unidos al modelado y reconocimiento de patrones faciales junto con la Inteligencia Artificial aplicada, captan el movimiento de los ojos y lo traducen en movimientos dentro de una pantalla.
Gracias a ello, cualquier persona puede manejar el teclado virtual de forma natural, intuitiva y sin utilizar las manos; creando así una nueva manera de relacionarse con su entorno a través de tecnologías de seguimiento ocular. Irisbond, además, lleva a cabo un proyecto de colaboración con el Instituto de Tecnología de Massachusetts (MIT) para investigar técnicas que perfeccionen sus algoritmos.
El uso de redes neuronales para crear mapas de reconocimiento facial que sean capaces de identificar puntos característicos de la cara y landmarks; combinado con vectores oculares, genera unos modelos que, entrenados convenientemente con miles de datos, permiten realizar un seguimiento eficaz de la mirada.
La aplicación también permite gestionar una colección con las frases favoritas del usuario, así como un histórico de las utilizadas recientemente, por lo que puede acceder a ellas y activarlas en cualquier momento, de forma rápida y sencilla.
Además, el teclado permite al usuario comunicarse con Bixby, el asistente de Inteligencia Artificial de Samsung, con el fin de utilizar sus comandos para resolver distintas peticiones, como establecer una alarma, leer en voz alta los mensajes recibidos o reproducir una canción. De la misma forma, permite controlar dispositivos del hogar compatibles con Smartthings, como el televisor o los electrodomésticos.
Tallk ha pasado ya por diferentes pruebas piloto, con especialistas en tecnologías de comunicación y pacientes de ELA, para tener un feedback preciso e incorporar todas las mejoras detectadas en los últimos meses de su desarrollo. La aplicación Tallk está disponible en castellano y se puede descargar de forma totalmente gratuita en las tiendas Galaxy Store y Play Store en España. Una vez descargada, tan sólo hay que configurar la aplicación y calibrar el cursor a través de la cámara de la tablet.
