Las empresas demandan soluciones tecnológicas más avanzadas para gestionar de manera eficiente sus cargas de trabajo de inteligencia artificial (IA) y acelerar el procesamiento de datos. Esta tendencia se ve impulsada por la búsqueda de mayores retornos en la inversión destinada al entrenamiento y ajuste de modelos de IA, además de mejorar las capacidades de inferencia en tiempo real para optimizar la experiencia del usuario.
En el marco de la conferencia Oracle CloudWorld, Oracle presentó su primer supercluster a escala zettabyte, desarrollado en conjunto con la plataforma Blackwell de NVIDIA. Este supercluster tiene como objetivo capacitar a las empresas para entrenar y desplegar modelos de IA de nueva generación con el respaldo de más de 100.000 GPUs de última generación de NVIDIA.
Superclusters de OCI y NVIDIA: flexibilidad y rendimiento a gran escala
Los superclusters de OCI permiten a las organizaciones seleccionar entre una amplia gama de GPUs de NVIDIA y desplegarlas en diversas configuraciones, desde entornos locales hasta nubes públicas y nubes soberanas. La nueva infraestructura basada en la plataforma Blackwell estará disponible durante la primera mitad de 2024 y permitirá a las empresas escalar hasta 131.072 GPUs Blackwell. La integración de redes de interconexión NVIDIA ConnectX-7 y la tecnología Quantum-2 InfiniBand posibilitará alcanzar un rendimiento máximo de 2,4 zettaflops en computación para IA en la nube.
Entre las novedades destacadas durante el evento, se presentó también la instancia de metal desnudo NVIDIA GB200 NVL72, que incorpora un sistema de refrigeración líquida diseñado para manejar aplicaciones de IA generativa a gran escala. Este sistema es capaz de entrenar modelos de IA con trillones de parámetros y realizar inferencias en tiempo real mediante la expansión del dominio NVLink de NVIDIA, que permite que 72 GPUs funcionen como una única entidad.
Nueva infraestructura para IA generativa y cargas intensivas
Oracle también anunció el lanzamiento de la instancia NVIDIA HGX H200, que conecta ocho GPUs Tensor Core H200 en una única instancia de metal desnudo mediante NVLink y el conmutador NVLink. Esta configuración puede escalar hasta 65.536 GPUs, lo que la convierte en una solución ideal para empresas que buscan realizar inferencias en tiempo real a gran escala y acelerar sus procesos de entrenamiento de modelos de IA. Las empresas interesadas ya pueden realizar pedidos de esta instancia.
Además, se confirmó la disponibilidad general de las instancias aceleradas con la GPU NVIDIA L40S, diseñadas para gestionar cargas de trabajo intermedias de IA, así como aplicaciones en la plataforma NVIDIA Omniverse. Estas soluciones proporcionan capacidades adicionales para visualización y simulaciones avanzadas.
Para casos de uso que requieren soluciones desde un solo nodo hasta múltiples racks, Oracle amplió su oferta en el edge. Por ejemplo, el dispositivo Roving Edge v2 ahora es compatible con hasta tres GPUs Tensor Core NVIDIA L4, lo que permite despliegues de IA a pequeña escala en ubicaciones remotas o desconectadas.
Casos de uso: IA impulsada por OCI y NVIDIA
Diversas empresas ya están utilizando los superclusters de OCI impulsados por NVIDIA para acelerar la innovación en inteligencia artificial. Un ejemplo destacado es la startup Reka, que desarrolla modelos multimodales avanzados para agentes empresariales. La compañía utiliza los clusters de OCI y NVIDIA para gestionar datos en múltiples formatos, como texto, imágenes y audio, con el fin de mejorar la capacidad de los agentes para operar en entornos complejos.
Dani Yogatama, cofundador y CEO de Reka, subrayó que la infraestructura proporcionada por OCI y NVIDIA les ha permitido gestionar modelos de gran tamaño con eficiencia, escalando tanto el entrenamiento denso como el disperso en grandes clusters. En reconocimiento a su contribución en el sector, NVIDIA recibió el premio Oracle Technology Solution Partner 2024 en la categoría de Innovación.
Oracle Database y la IA generativa
Oracle también anunció la integración de GPUs NVIDIA en su Oracle Autonomous Database, lo que permite a las empresas acelerar sus cargas de trabajo de procesamiento de datos en aplicaciones de IA generativa. Durante Oracle CloudWorld, NVIDIA y Oracle demostraron varias capacidades que integran la plataforma de computación acelerada de NVIDIA con Oracle Database para optimizar componentes clave en los pipelines de recuperación de información aumentada por IA.
Entre las demostraciones se destacó el uso de GPUs NVIDIA para acelerar el cálculo de incrustaciones vectoriales directamente desde Oracle Autonomous Database Serverless. Estos vectores pueden ser buscados posteriormente utilizando Oracle Database 23c AI Vector Search, mejorando así el rendimiento en la búsqueda de datos relacionados con IA.
Otra demostración mostró un prototipo que utiliza las GPUs de NVIDIA y un marco de descarga desarrollado por Oracle para acelerar la generación de índices de grafos vectoriales, lo que reduce significativamente el tiempo de construcción de índices y mejora la eficiencia en las búsquedas vectoriales. Por último, se demostró cómo NVIDIA NIM, un conjunto de microservicios de inferencia, optimiza el rendimiento de IA generativa en tareas como la generación de texto y la traducción.
Estas capacidades permiten a las empresas aprovechar al máximo sus datos estructurados y no estructurados alojados en Oracle Database, acelerando así sus proyectos de IA.
Expansión global de la IA soberana
NVIDIA y Oracle están colaborando para ofrecer infraestructura de IA soberana en todo el mundo, con el objetivo de satisfacer los requisitos de residencia de datos impuestos por gobiernos y empresas. Un ejemplo destacado es el de Wide Labs, una startup brasileña que ha desarrollado Amazônia IA, un modelo de lenguaje a gran escala en portugués brasileño. Amazônia IA fue entrenado utilizando GPUs Tensor Core H100 de NVIDIA y el marco NeMo en los centros de datos de OCI en Brasil, lo que garantiza la soberanía de los datos.
Nelson Leoni, CEO de Wide Labs, destacó que el desarrollo de un modelo de lenguaje soberano permite a la empresa ofrecer servicios que procesan datos dentro de las fronteras brasileñas, otorgando a Amazônia una posición única en el mercado local.
En Japón, el Instituto de Investigación Nomura (NRI) está utilizando la infraestructura OCI Alloy y GPUs de NVIDIA para mejorar su plataforma financiera de IA, cumpliendo con las regulaciones de soberanía de datos. En Arabia Saudita, la empresa Zoom implementará GPUs NVIDIA en los centros de datos de OCI para cumplir con los requisitos locales de protección de datos. Además, RSS-Hydro está utilizando la plataforma Omniverse y las GPUs L40S de NVIDIA para simular impactos de inundaciones en Japón, ayudando a mitigar los efectos del cambio climático.
Estos ejemplos demuestran cómo la colaboración entre NVIDIA y Oracle está permitiendo a diversas organizaciones desarrollar y desplegar aplicaciones de IA nacionales, contribuyendo a la resiliencia económica a través de una infraestructura de IA soberana.
IA lista para empresas con NVIDIA y Oracle
Las empresas que buscan automatizar tareas complejas pueden beneficiarse de las soluciones escalables de NVIDIA en OCI. Herramientas como los microservicios NIM y la plataforma NVIDIA cuOpt permiten una adopción rápida de la IA generativa, mejorando flujos de trabajo como la generación de código y la optimización de rutas.
Estas soluciones, junto con otras como RAPIDS, están disponibles en la plataforma NVIDIA AI Enterprise, accesible a través del Oracle Cloud Marketplace.
