En Intel Vision, Intel ha presentado el acelerador de IA Intel® Gaudi® 3 , que ofrece 4 veces más capacidad de cálculo de IA para BF16, 1,5 veces más ancho de banda de memoria y 2 veces más ancho de banda de red para un escalado masivo del sistema en comparación con su predecesor. Esto supone un salto significativo en el rendimiento y la productividad para la formación y la inferencia de IA en los populares modelos de grandes lenguajes (LLM) y modelos multimodales. Basándose en el rendimiento y la eficiencia demostrados del acelerador Intel® Gaudi® 2 AI -la única alternativa MLPerf para LLM del mercado- Intel ofrece a los clientes la posibilidad de elegir entre un software abierto basado en la comunidad y una red Ethernet estándar del sector para escalar sus sistemas de forma más flexible.
Por qué es importante: En la actualidad, las empresas de sectores relevantes como el financiero, el manufacturero y el sanitario están tratando de ampliar rápidamente la accesibilidad a la IA y la transición de los proyectos de IA generativa (GenAI) de las fases experimentales a la implementación a gran escala. Para gestionar esta transición, impulsar la innovación y alcanzar los objetivos de crecimiento de ingresos, las empresas necesitan soluciones y productos abiertos, rentables y más eficientes energéticamente que satisfagan las necesidades de retorno de la inversión (ROI) y eficiencia operativa.
El acelerador Intel Gaudi 3 cumplirá estos requisitos y ofrecerá versatilidad a través de software abierto basado en la comunidad y Ethernet abierta estándar de la industria, ayudando a las empresas a escalar con flexibilidad sus sistemas y aplicaciones de IA.
Cómo la arquitectura personalizada proporciona rendimiento y eficiencia a GenAI: El acelerador Intel Gaudi 3, diseñado para la computación eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo -con el motor de multiplicación de matrices (MME), los núcleos procesadores de tensor (TPC) y las tarjetas de interfaz de red (NIC)-, lo que permite la aceleración necesaria para una computación de aprendizaje profundo rápida, eficiente y a escala. Entre las características clave se incluyen:
● Motor de cómputo dedicado a la IA: El acelerador Intel Gaudi 3 fue diseñado especialmente para cómputo GenAI de alto desempeño y alta eficiencia. Cada acelerador cuenta con un motor informático heterogéneo compuesto por 64 TPC personalizadas y programables para IA y ocho MME. Cada MME de Intel Gaudi 3 es capaz de realizar la impresionante cantidad de 64.000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional, haciéndolos expertos en el manejo de operaciones matriciales complejas, un tipo de computación que es fundamental para los algoritmos de aprendizaje profundo. Este diseño único acelera la velocidad y la eficiencia de las operaciones paralelas de IA y admite múltiples tipos de datos, incluidos FP8 y BF16.
● Aumento de la memoria para los requisitos de capacidad de LLM: 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) incorporada proporcionan memoria de sobra para procesar grandes conjuntos de datos GenAI en menos Intel Gaudi 3, especialmente útil para servir grandes modelos lingüísticos y multimodales, lo que se traduce en un mayor rendimiento de la carga de trabajo y una mayor eficiencia de costes del centro de datos.
● Escalado eficiente del sistema para GenAI empresarial: Cada acelerador Intel Gaudi 3 integra 24 puertos Ethernet de 200 gigabits (Gb), lo que proporciona una red flexible y de estándar abierto. Permiten un escalado eficiente para admitir grandes clústeres informáticos y eliminan la dependencia de proveedores de tejidos de red propietarios. El acelerador Intel Gaudi 3 está diseñado para escalarse y reducirse eficientemente desde un solo nodo hasta miles para satisfacer los requisitos expansivos de los modelos GenAI.
● Software abierto del sector para la productividad de los desarrolladores: El software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso y la productividad, así como la portabilidad de modelos entre distintos tipos de hardware.
● Gaudi 3 PCIe: la tarjeta complementaria Gaudi 3 Peripheral Component Interconnect express (PCIe) es una novedad en la línea de productos. Diseñada para ofrecer alta eficiencia con menor consumo, este nuevo factor de forma es ideal para cargas de trabajo como el ajuste fino, la inferencia y la generación aumentada por recuperación (RAG). Está equipada como factor de forma de altura completa a 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.
El acelerador Intel Gaudi 3 ofrecerá importantes mejoras de rendimiento para tareas de formación e inferencia en los principales modelos de GenAI. En concreto, se prevé que el acelerador Gaudi 3 ofrezca un rendimiento medio superior al de Nvidia H100:
● Tiempo de entrenamiento un 50% más rápido1 en los modelos de parámetros Llama 2 7B y 13B, y GPT-3 175B.
● Rendimiento de inferencia2 del 50%y eficiencia energética de inferencia3 del 40% en los modelos de parámetros Llama 7B y 70B, y Falcon 180B. Una ventaja de rendimiento de inferencia aún mayor en secuencias de entrada y salida más largas.
● Inferencia un 30% más rápida4 en los modelos de parámetros Llama 7B y 70B, y Falcon 180B frente a Nvidia H200.
Acerca de la adopción y disponibilidad en el mercado
El acelerador Intel Gaudi 3 estará disponible para los fabricantes de equipos originales (OEM) en el segundo trimestre de 2024 en configuraciones estándar del sector de placa base universal y módulo acelerador abierto (OAM). Entre los fabricantes de equipos originales que lanzarán Gaudi 3 al mercado se encuentran Dell Technologies, HPE, Lenovo y Supermicro. La disponibilidad general del acelerador Intel Gaudi 3 está prevista para el tercer trimestre de 2024, y la de la tarjeta complementaria PCIe Intel Gaudi 3 para el último trimestre de 2024.
El acelerador Intel Gaudi 3 también alimentará varias infraestructuras rentables de LLM en la nube para formación e inferencia, ofreciendo ventajas de precio-rendimiento y opciones a las organizaciones que ahora incluyen NAVER.
Los desarrolladores pueden empezar hoy mismo con el acceso a instancias basadas en Intel Gaudi 2 en la nube para desarrolladores para aprender, crear prototipos, probar y ejecutar aplicaciones y cargas de trabajo.
Qué es lo siguiente: El impulso del acelerador Intel Gaudi 3 será fundamental para Falcon Shores, la unidad de procesamiento gráfico (GPU) de nueva generación de Intel para IA e informática de alto rendimiento (HPC). Falcon Shores integrará la propiedad intelectual (IP) de Intel Gaudi e Intel® Xecon una única interfaz de programación de GPU basada en la especificación Intel® oneAPI.
