La empresa china de inteligencia artificial DeepSeek ha captado la atención del sector tecnológico con el lanzamiento de su modelo R1, un sistema de razonamiento abierto que promete un rendimiento comparable al O1 de OpenAI, pero con una fracción del costo. Este anuncio no solo generó revuelo en redes sociales, sino también impacto en los mercados financieros, provocando una caída significativa en la capitalización bursátil de Nvidia.
Un camino marcado por la innovación
Para quienes siguen los avances en inteligencia artificial (IA), DeepSeek y su modelo R1 no surgieron repentinamente. La compañía ha estado publicando investigaciones y liberando pesos de modelos durante meses, siguiendo una estrategia similar a la utilizada por Meta con Llama. A diferencia de otras grandes empresas como OpenAI o Google DeepMind, que mantienen sus modelos cerrados y limitan sus informes técnicos públicos, DeepSeek apuesta por un enfoque más transparente.
El desarrollo del modelo R1 se basa en mejoras algorítmicas aplicadas sobre su predecesor directo: DeepSeek V3. Lanzado originalmente en diciembre pasado, este último es un modelo base generalista capaz de competir con GPT-4o (OpenAI), Claude 3.5 Sonnet (Anthropic) y Gemini 1.5 (Google). Con estas bases establecidas, el equipo optimizó las capacidades analíticas para dar lugar a R1.
Optimizaciones clave detrás del éxito
Uno de los aspectos fundamentales detrás del desempeño eficiente tanto del V3 como del R1 es cómo han sido entrenados para maximizar el uso computacional sin incrementar significativamente los costos operativos. Una técnica crucial fue emplear cálculos nativos en formato FP8 (punto flotante 8 bits) durante el entrenamiento—una práctica adoptada también por otros laboratorios—permitiendo reducir memoria sin sacrificar precisión.
Además implementaron lo que llaman FP8 accumulation fix, donde periódicamente combinan cálculos dentro acumuladores FP32 para evitar errores numéricos progresivos; esto mejora notablemente la eficiencia cuando se entrena utilizando miles de unidades GPU simultáneamente.
Dicho enfoque resulta especialmente relevante debido a las restricciones impuestas por EE.UU., limitando exportaciones avanzadas hacia China relacionadas con hardware especializado para IA. En consecuencia, lograr mayor rendimiento aprovechando mejor cada unidad disponible era esencial para mantener competitividad global frente a gigantes tecnológicos occidentales.
Otro punto destacado es su arquitectura Mixture of Experts (MoE). Mientras que modelos tradicionales activan todos sus parámetros neuronales ante cada predicción tokenizada individualmente—como ocurre con Llama 3 cuya versión más grande usa constantemente sus 405 mil millones parámetros activos—DeepSeek V3 activa únicamente alrededor del 11% (~37B) mediante MoE reduciendo drásticamente consumo computacional manteniendo calidad predictiva alta.
Asimismo introdujeron Multi-head Latent Attention (MLA), técnica presentada inicialmente junto al paper técnico correspondiente al V2 publicado mayo pasado; esta solución permite comprimir almacenamiento KV-cache hasta 93% menos, aumentando velocidad generación textual hasta x5 comparado métodos convencionales similares empleados previamente dentro industria IA generativa avanzada.
