En colaboración con Intel, el Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC-CNS) ha logrado por primera vez cifrar la ejecución de grandes redes neuronales de forma eficiente, gracias a la memoria persistente Intel Optane (PMem, por sus siglas en inglés) y a los procesadores escalables Intel Xeon con aceleración de inteligencia artificial (AI, por sus siglas en inglés) incorporada.
Hasta ahora, el tamaño de la memoria principal soportado por la tecnología actual había limitado el uso del cifrado homomórfico a modelos pequeños de redes neuronales (hasta 1,7 millones de parámetros), diseñados para dispositivos portátiles. Por esta razón, el cifrado de grandes redes neuronales supone un gran avance tecnológico.
Este tipo de cifrado (Cifrado Homomórfico), que no puede descifrarse ni siquiera por ordenadores cuánticos, permite realizar directamente operaciones sobre los datos cifrados, de modo que la entidad que lo opera no tiene acceso a su contenido. Dado que este cifrado no necesita ser descifrado para funcionar, la privacidad en entornos no seguros está garantizada, como, por ejemplo, en la nube.
El principal reto que plantea el cifrado homomórfico es su coste adicional, puesto que aumenta a medida que aumenta el tamaño de los datos, que puede multiplicarse hasta por 10.000. La memoria persistente Intel Optane ofrece capacidades mucho mayores que la DRAM y un tiempo de acceso mucho más rápido que otras memorias no volátiles. Pese a no ser tan rápida como la tecnología de la memoria principal, la combinación de ambas con un patrón de acceso eficiente, ofrece ventajas enormes en cuanto a precio y rendimiento se refiere.
Esta nueva tecnología puede aplicarse en la ejecución privada de redes neuronales en entornos remotos no fiables, como la nube, e incluye tanto la protección de la propiedad intelectual relacionada con el modelo de red neuronal, como los datos utilizados, lo que permite cumplir con la proliferación de leyes y reglamentos de protección de datos. Estos datos podrían incluir, por ejemplo, secretos personales, médicos, comerciales o de Estado.
La investigación ha sido realizada por un equipo de investigadores del BSC, junto con un equipo internacional de Intel, con miembros tanto en Europa como en Estados Unidos. Ha sido dirigida por Antonio J. Peña, investigador senior del BSC.
En palabras de Peña, «esta nueva tecnología permitirá el uso generalizado de las redes neuronales en entornos de la nube, incluso, y por primera vez, cuando se requiera una confidencialidad indiscutible de los datos o del modelo de la red neuronal.»
Peña dirige el equipo de Accelerators and Communications for High Performance Computing en el departamento de Ciencias de la Computación del BSC. Su investigación se centra en la heterogeneidad de los recursos de hardware y comunicación de la computación de alto rendimiento.
Fabian Boemer, uno de los líderes tecnológicos de Intel involucrado en esta investigación, señala que: «La computación es intensiva tanto en términos de computación, como de memoria. Para acelerar el cuello de botella del acceso a la memoria, estamos investigando diferentes arquitecturas que permitan una mejor computación cercana a la memoria. Este trabajo es el primer paso importante para resolver este reto, que a menudo se pasa por alto. Entre otras tecnologías, estamos investigando el uso de la memoria persistente Intel Optane para mantener los datos a los que se accede constantemente cerca del procesador durante la evaluación.»
El artículo científico relacionado con esta investigación se publicará en la revista IEEE Transactions on Computers, y en él, se analiza la ejecución del popular modelo ResNet-50, que incorpora 25 millones de parámetros y consume casi 1TB de memoria, más del doble de la que dispone un nodo de cálculo del superordenador MareNostrum4.
En este artículo también se menciona la arquitectura de un ordenador eficiente para esta tarea, con sólo 1/3 de la RAM normal, que suele consumir unas 10 veces más energía por byte que la memoria persistente Intel Optane, lo que permite configuraciones con mayor eficiencia energética y sostenibilidad de la solución.
