Meta ha introducido nuevas herramientas en el campo de la robótica y la inteligencia artificial (IA) con el objetivo de mejorar la capacidad de los robots para interactuar con el entorno físico de forma más cercana a la percepción humana.
Las nuevas herramientas, Sparsh, Digit 360 y Digit Plexus, junto con el estándar PARTNR para evaluar la colaboración humano-robot, representan un avance que busca mejorar la capacidad de los robots para percibir y manipular objetos en su entorno. Estos desarrollos, impulsados por la unidad de Investigación Fundamental en IA (FAIR) de Meta, marcan un hito hacia el desarrollo de una inteligencia de máquina avanzada (AMI, por sus siglas en inglés) que integre habilidades sensoriales y colaborativas para aplicaciones prácticas.
Innovaciones en percepción táctil: Sparsh
Sparsh es una familia de modelos de codificación táctil que permite a los robots una percepción del tacto similar a la humana, y fue desarrollada en colaboración con la Universidad de Washington y Carnegie Mellon University. Esta tecnología representa un salto significativo en la percepción robótica, al permitir que los robots detecten e interpreten la cantidad de presión que pueden aplicar sobre un objeto sin dañarlo, una capacidad crucial en tareas de manipulación delicada.
Hasta ahora, los sistemas de percepción táctil requerían grandes cantidades de datos etiquetados para entrenar modelos específicos para cada tarea y sensor, lo que limitaba su adaptabilidad. Con Sparsh, Meta utiliza aprendizaje auto-supervisado (SSL), lo que elimina la necesidad de datos etiquetados y permite que el modelo generalice su capacidad de detección táctil a múltiples tipos de sensores y tareas. Esta tecnología, que ha sido entrenada con más de 460.000 imágenes táctiles provenientes de diversos conjuntos de datos, ha demostrado un rendimiento superior, alcanzando una precisión un 95.1% mayor en comparación con modelos específicos de tarea y sensor.
La versatilidad de Sparsh, apoyada en arquitecturas de Meta como I-JEPA y DINO, representa una oportunidad para avanzar en la destreza robótica y en tareas que requieren una percepción del entorno más detallada. Esta tecnología no solo permite el contacto físico en robótica sino que además establece una base para nuevas aplicaciones en la detección de texturas, densidades y otras características sensoriales.
Digit 360: Un sensor táctil avanzado con múltiples aplicaciones
Meta también ha lanzado Digit 360, un sensor táctil en forma de dedo diseñado para proporcionar información detallada y tridimensional sobre el entorno de un robot. Este dispositivo cuenta con más de 8 millones de taxels, lo que le permite capturar deformaciones en la superficie de la yema del “dedo” de manera omnidireccional. La capacidad de Digit 360 para detectar múltiples modalidades sensoriales —incluidas vibraciones, calor e incluso ciertos olores— permite una interpretación detallada y en tiempo real de los objetos que un robot puede manipular, ya sea en entornos reales o virtuales. Esto último abre la puerta a aplicaciones en realidad virtual, medicina y prostética, donde el sentido del tacto digitalizado es una ventaja significativa.
Una característica notable de Digit 360 es su capacidad para procesar la información localmente gracias a modelos de IA integrados, lo que reduce la dependencia de servidores en la nube y permite una respuesta rápida ante estímulos. La similitud de este sistema con el arco reflejo en humanos permite que Digit 360 reaccione rápidamente ante cambios en el entorno, emulando así un sistema nervioso periférico.
Meta ha decidido publicar el código y los diseños de Digit 360 para fomentar la investigación y el desarrollo comunitario en el ámbito de la percepción táctil. La empresa espera que al compartir este dispositivo se impulsen innovaciones en aplicaciones de interacción humano-robot y que se cree una base sólida para futuros desarrollos en el metaverso, donde la representación física y táctil de los entornos es un objetivo clave.
Digit Plexus: Una plataforma para la integración sensorial en manos robóticas
Otro avance que Meta ha presentado es Digit Plexus, una plataforma que facilita la integración de múltiples sensores táctiles en una sola mano robótica. Este sistema de hardware y software permite que los sensores ubicados en los dedos y la piel de una mano robótica se integren y codifiquen en un solo flujo de datos, que luego se transmite a un ordenador a través de un único cable. La integración de estos sensores —incluyendo el propio Digit 360— en un sistema unificado representa un avance hacia la creación de robots con habilidades de percepción y destreza más avanzadas.
La plataforma Digit Plexus, que también será de código abierto, permite que los investigadores construyan sobre ella, explorando nuevos enfoques en la manipulación y el control táctil. Al ofrecer este sistema como una base estándar, Meta busca facilitar el acceso a tecnologías avanzadas de destreza robótica y fomentar una investigación más amplia en aplicaciones prácticas de la IA encarnada (embodied AI). La posibilidad de controlar todos los sensores desde un único sistema hace que la recolección de datos y el análisis en robótica sea más eficiente y escalable, con aplicaciones potenciales en diversas industrias.
PARTNR: Evaluación de la colaboración humano-robot
Con el objetivo de promover la colaboración eficiente entre humanos y robots, Meta ha lanzado el estándar PARTNR (Tareas de Planificación y Razonamiento en Colaboración Humano-Robot), que permite evaluar la capacidad de los modelos de IA para realizar tareas domésticas en colaboración con humanos. Este estándar se basa en Habitat, el entorno simulado de Meta, y contiene 100.000 tareas en lenguaje natural distribuidas en 60 escenarios domésticos y más de 5.800 objetos diferentes. PARTNR está diseñado para evaluar el desempeño de los modelos de lenguaje y visión (LLMs y VLMs) en tareas de colaboración, facilitando la investigación en entornos de simulación seguros y escalables.
PARTNR permite a los investigadores analizar cómo los robots pueden interpretar instrucciones, coordinar acciones y adaptarse a situaciones cambiantes en tiempo real. La necesidad de un estándar como PARTNR surge a medida que los robots y los modelos de IA avanzan hacia una interacción más social y colaborativa con los humanos, y su diseño incluye parámetros específicos de tiempo y espacio para simular entornos realistas. En este contexto, PARTNR proporciona una base sistemática para comparar modelos y avanzar en el desarrollo de agentes de IA que se adapten no solo a las tareas físicas sino también a los entornos sociales.
Alianzas estratégicas para el desarrollo de hardware robótico
Meta está trabajando en estrecha colaboración con empresas del sector para llevar estas innovaciones a la producción comercial. GelSight Inc. será responsable de la fabricación y distribución de Digit 360, que estará disponible para la comunidad investigadora a partir del próximo año. Según Youssef Benmokhtar, CEO de GelSight, esta alianza representa un acuerdo inmediato en la visión de ambas empresas para fomentar una adopción más amplia de la tecnología de detección táctil en la investigación.
Además, la empresa surcoreana Wonik Robotics colaborará con Meta en el desarrollo de la Allegro Hand, una mano robótica avanzada que integrará los sensores táctiles de Meta a través de la plataforma Digit Plexus. Esta nueva generación de la Allegro Hand busca facilitar la investigación experimental en manos robóticas, ayudando a investigadores de todo el mundo a innovar en el campo de la destreza robótica.
Futuro y aplicaciones prácticas de la IA robótica
Meta ha anunciado que liberará modelos, conjuntos de datos y plataformas de hardware, facilitando el desarrollo de aplicaciones en IA robótica para la comunidad investigadora. Estos avances podrían impactar sectores como la medicina, la manufactura y la logística, al permitir la creación de robots con capacidades de interacción y colaboración más avanzadas. Al asociarse con actores de la industria y ofrecer acceso abierto a sus plataformas, la compañía espera que estos desarrollos inspiren nuevos casos de uso y aplicaciones prácticas. La visión de Meta es que los robots se conviertan en herramientas útiles y eficientes en entornos físicos, capaces de realizar tareas complejas que integren planificación y habilidades sociales.
