Huawei ha celebrado en Berlín el Huawei Innovative Data Infrastructure Forum 2024, bajo el lema “El despertar de los datos: construyendo una infraestructura AI-Ready Data”. El Dr. Peter Zhou, vicepresidente de Huawei y presidente de la línea de productos de almacenamiento de datos de la compañía, ha mostrado el futuro del almacenamiento de datos, que será impulsado por múltiples capacidades, como el ultra rendimiento, la resiliencia de los datos, la escalabilidad, la sostenibilidad y el tejido de datos.
Desde la década de los noventa, las aplicaciones empresariales han avanzado desde hosts únicos, bases de datos, virtualización y uso compartido de archivos hasta abarcar big data y análisis de datos de alto rendimiento (HPDA, por sus siglas en inglés), una evolución que ha llevado a un cambio en las tecnologías de almacenamiento de datos DAS, SAN y NAS para almacenamiento de datos no estructurados. Con el auge de la IA generativa, la demanda de soluciones de almacenamiento de datos se ha vuelto aún más crítica en el panorama tecnológico actual.
A medida que la escala de los grandes modelos de IA crece hasta incluir decenas de miles, e incluso cientos de miles de datos GPU, surgen nuevos retos, problemas e interrupciones en el entrenamiento de IA. El largo proceso de escribir repetidamente datos de puntos de control y reanudar el entrenamiento conduce a un tiempo de inactividad prolongado en las tarjetas informáticas, lo que hace que la utilización del modelo caiga por debajo del 50% en su rendimiento. Es más, para 2026, se espera que el consumo de energía de los centros de datos globales alcance 2,3 veces el de 2022, lo que es equivalente al consumo de energía anual de Japón. En este sentido, hay que señalar que más de la mitad de la energía de los centros de datos será consumida por la IA.
La IA busca impulsar el almacenamiento de datos tradicional, no solo centrándose en el rendimiento, la fiabilidad, sino también en la escalabilidad y la sostenibilidad. En la era del despertar de los datos, Huawei redefinirá el almacenamiento a través de un servicio innovador, y líder, en estas seis dimensiones:
1. Ultra performance: Huawei mejora el rendimiento del almacenamiento en un factor de 1 a 10, en comparación con el almacenamiento tradicional. El almacenamiento también admite ancho de banda en PB/s y 100 millones de IOPS, lo que mejora enormemente la eficiencia de todo el proceso de IA generativa.
2. Data resilience: La nueva arquitectura y las tecnologías innovadoras aumentan la alta fiabilidad hasta el 99,9999%. El motor de detección de ransomware incorporado eleva la precisión de detección al 99,99%. Incluso el tiempo de recuperación del punto de control durante el entrenamiento de IA se reduce a menos de un minuto.
3. Nuevo paradigma de datos: Los datos del tensor multidimensional están habilitados para admitir la recuperación rápida de datos a través de un motor de búsqueda inteligente. La tecnología de generación aumentada de recuperación funciona con la base de conocimiento integrada para eliminar las alucinaciones en los grandes modelos de IA.
4. Escalabilidad: Un solo centro de almacenamiento se puede escalar para la capacidad de nivel EB y cada motor se puede escalar con más GPU, DPU o NPU para una computación cercana al almacenamiento.
5. Sostenibilidad: Las innovaciones en medios y dispositivos de almacenamiento han traído consigo una eficiencia energética de almacenamiento excepcional (menos de 1 vatio/TB) y una densidad de almacenamiento (mayor de 1 PB/U).
6. Estructura de datos: Las capacidades de gestión y búsqueda de metadatos de almacenamiento permiten la visibilidad y gestión de datos globales, así como la movilidad de datos que es 10 veces más eficiente.
Estas innovaciones han sentado las bases para el lanzamiento del OceanStor A800 de alto rendimiento, lo que supone una gran evolución en los modelos de almacenamiento de la serie OceanStor A de Huawei. Adaptado a la IA, OceanStor A800 puede aumentar la utilización del modelo de IA en un 30%, y en cuanto al rendimiento, ofrece un ancho de banda y IOPS cuatro y ocho veces mejores que los de su proveedor. En cuanto a la escalabilidad, OceanStor A800 admite escalado a nivel de capacidad EB con hasta 512 controladores, así como escalado hasta un máximo de 4.096 tarjetas de cálculo. En cuanto a la conservación de espacio y energía, alcanza una densidad de almacenamiento excepcional de 1 PB/U y una eficiencia energética de 0,7 vatios/TB. También proporciona un nuevo paradigma de datos con índice vectorial, datos tensores y RAG. En términos de resiliencia de datos, la precisión de la detección de ransomware se mejora del 99,9% al 99,99%. Además, la capacidad de la estructura facilita la gestión de activos de datos.
Al mismo tiempo, las innovaciones en los medios de almacenamiento están impulsando el desarrollo sostenible. Los nuevos SSD de alta capacidad de Huawei proporcionan 10 veces más capacidad con el mismo tamaño de disco, lo que puede reducir aún más el consumo de energía de un centro de datos. Con una capacidad de 128 TB por disco, los nuevos SSD consumen un 88% menos de espacio de almacenamiento y un 92% menos de energía que los SSD de otros proveedores cuando almacenan cada PB de datos.
Para estar preparadas para la IA, las empresas deben estar preparadas para los datos. El sistema de archivos globales Omni-Dataverse integrado en el DME hace que los activos de datos empresariales sean visibles, manejables y móviles en todas las regiones, creando así una sólida base de almacenamiento de datos de IA para las empresas.
El Dr. Peter Zhou terminó haciendo hincapié en el compromiso de Huawei de redefinir el almacenamiento de datos que se centra en los desafíos y las demandas de los clientes en la era del despertar de datos- Todo ello, con el objetivo de construir una infraestructura de datos líder, preparada para la IA y lista para dar un valor añadido al cliente.
