Fujitsu ha anunciado que ha sido seleccionada para el «Research and Development Project of the Enhanced Infrastructures for Post-5G Information and Communication Systems/Development of post-5G information and communication systems» (Proyecto de investigación y desarrollo de infraestructuras mejoradas para sistemas de información y comunicación post-5G/Desarrollo de sistemas de información y comunicación post-5G), un proyecto de subvención puesto en marcha por la Organización para el Desarrollo de Nuevas Energías y Tecnologías Industriales (NEDO) de Japón en el marco de la iniciativa Generative AI Accelerator Challenge (GENIAC) del Ministerio de Economía, Comercio e Industria (METI) de Japón para mejorar la capacidad de Japón para desarrollar IA generativa (1). En el marco del proyecto de subvención, Fujitsu iniciará la investigación y el desarrollo de una tecnología que combine grafos de conocimiento con grandes modelos lingüísticos para realizar LLM que permitan el razonamiento lógico.
Fujitsu ha estado llevando a cabo I+D de tecnologías de IA generativa para su aplicación en operaciones empresariales. El 10 de mayo, Fujitsu, en colaboración con un equipo de investigadores, anunció el lanzamiento de Fugaku-LLM (2), un gran modelo lingüístico con capacidad mejorada para el idioma japonés, y tiene previsto seguir reforzando el desarrollo de LLM especializados para diversos sectores y empresas.
Como parte de sus actividades de I+D, Fujitsu se ha centrado en el problema que plantean las alucinaciones en los grandes modelos de lenguaje (LLM), un fenómeno en el que la IA generativa crea resultados plausibles pero incorrectos o no relacionados. Fujitsu pretende desarrollar una nueva tecnología que refuerce la fiabilidad de los LLM combinándolos con grafos de conocimiento, lo que en última instancia permitirá la aplicación de los LLM en operaciones que requieren altos niveles de cumplimiento y explicabilidad, como la determinación de daños y la búsqueda de fundamentos en el ámbito jurídico, el control interno y las auditorías contables en finanzas, y la búsqueda de síntomas y el apoyo al diagnóstico en el ámbito médico. Fujitsu prevé que la nueva tecnología desarrollada permitirá crear un LLM para el razonamiento lógico que genere resultados claros y comprensibles.
Fujitsu planea ofrecer la nueva tecnología al mercado japonés a finales del año fiscal 2024, como un paso más para mejorar sus tecnologías de protección de la IA conversacional frente a alucinaciones y ataques de adversarios anunciadas en septiembre de 2023 (3).
LLM que permiten el razonamiento lógico
Para abordar la tarea de la fiabilidad en la salida de los LLM, Fujitsu inició el desarrollo de LLM especializados en la generación e inferencia de grafos de conocimiento, una de las tecnologías de procesamiento del conocimiento, para hacer que los LLM infieran lógicamente respuestas de acuerdo con el grafo de conocimiento generado a partir de normativas y reglas de lenguaje natural. Fujitsu planea posicionar esta tecnología como la tecnología central de una tecnología fiduciaria de IA generativa que elimine la inestabilidad de la salida y garantice una salida precisa en el cumplimiento de normativas reguladoras e internas grandes y complejas, una técnica que Fujitsu pretende hacer realidad en el año fiscal 2024 como parte de su estrategia de IA para toda la empresa (4).
Como parte del programa GENIAC, Fujitsu desarrollará dos LLM especializados: un LLM para la generación de grafos de conocimiento, que convierte documentos de lenguaje natural en grafos de conocimiento para formar conocimiento, y un LLM para la inferencia de grafos de conocimiento que busca información relevante en grafos de conocimiento para una pregunta dada, la agrega lógicamente y la responde.
Para desarrollar eficientemente dos LLM especializados en un periodo de desarrollo limitado, Fujitsu desarrollará primero un LLM preentrenado que sea común a ambos LLM especializados. La ventaja de este desarrollo de LLM es que permite a los LLM manejar tanto documentos en lenguaje natural como grafos de conocimiento añadiendo un corpus bilingüe (5) a los datos de preaprendizaje. Los LLMs especializados se desarrollan entonces simultáneamente llevando a cabo el aprendizaje de instrucciones (6) para la generación de grafos de conocimiento para el primer modelo, y el aprendizaje de instrucciones para la inferencia de grafos de conocimiento para el segundo modelo.
Planes de futuro
De cara al futuro, Fujitsu ofrecerá los LLM especializados para la generación e inferencia de grafos de conocimiento, los scripts de evaluación para las tareas de generación e inferencia de grafos de conocimiento y otros conocimientos y know-how adquiridos durante este proyecto a través de Hugging Face (7), GitHub (8), el blog de Fujitsu y la comunidad GENIAC, respetando los términos de uso, las licencias OSS y los derechos de autor de los datos y el software utilizados. Además, Fujitsu tiene previsto publicar las nuevas tecnologías a través de Fujitsu Kozuchi, el servicio dedicado a la IA de Fujitsu que permite a los usuarios acelerar las pruebas y el despliegue de tecnologías avanzadas de IA.
Notas
– [1] Visión general de la empresa : Nombre del proyecto: Proyecto de investigación y desarrollo de las infraestructuras mejoradas para los sistemas de información y comunicación post-5G/ Desarrollo de sistemas de información y comunicación post-5G (Proyecto de subvención)
Resumen del proyecto : Proyecto de investigación y desarrollo de infraestructuras mejoradas para sistemas de información y comunicación post-5G
– [2] «Lanzamiento de “Fugaku-LLM” – un gran modelo lingüístico entrenado en el superordenador “Fugaku”» (Comunicado de prensa, 10 de mayo de 2024)
– [3] «Fujitsu lanza nuevas tecnologías para proteger la IA conversacional de alucinaciones y ataques de adversarios» (Comunicado de prensa, 26 de septiembre de 2023)
– [4] «La estrategia de IA de Fujitsu refuerza la integración de datos, las capacidades de IA generativa con una plataforma dedicada y nuevas ofertas de Fujitsu Uvance» (Comunicado de prensa, 14 de febrero de 2024)
– [5] Corpus bilingüe : Conjunto de datos para traducción automática que combina frases de diferentes idiomas, como el japonés y el inglés, en forma de traducciones
– [6] Aprendizaje por instrucciones : Sistema en el que las instrucciones y las respuestas de ejemplo a una nueva tarea se dan a un LLM en una serie de frases para su aprendizaje
– [7] Hugging Face : Plataforma para compartir conjuntos de datos de IA en todo el mundo
– [8] GitHub : Plataforma utilizada en todo el mundo para publicar software de código abierto
