GSMA Foundry, el centro de innovación de la GSMA, ha anunciado el lanzamiento de GSMA Open-Telco LLM Benchmarks , una comunidad global y de código abierto creada para evaluar el rendimiento de los modelos de lenguaje de gran escala (LLM) en aplicaciones del sector de telecomunicaciones. La iniciativa busca mejorar la capacidad de estos modelos en escenarios operativos reales, garantizando mayor precisión, eficiencia energética y seguridad en su implementación.
Desde su presentación, la comunidad cuenta con el respaldo de actores clave en inteligencia artificial y telecomunicaciones, incluyendo Hugging Face, Khalifa University, The Linux Foundation, así como operadores de redes móviles y proveedores tecnológicos de renombre como Deutsche Telekom, LG Uplus, SK Telecom, Turkcell y Huawei.
Louis Powell, jefe de Iniciativas de IA de GSMA, destacó la necesidad de desarrollar modelos más precisos y fiables: “Los modelos de IA actuales generan recomendaciones inexactas en telecomunicaciones. Un marco de evaluación específico para la industria nos permitirá mejorar su rendimiento y garantizar soluciones seguras y eficaces en entornos operativos reales”.
El lanzamiento de este nuevo marco responde a una creciente preocupación en la industria sobre las limitaciones actuales de los LLM para manejar información técnica especializada, garantizar el cumplimiento normativo y proporcionar respuestas precisas a problemas de red.
Desafíos actuales de la IA en telecomunicaciones
A medida que las empresas de telecomunicaciones adoptan soluciones basadas en inteligencia artificial, se han identificado deficiencias notables en el desempeño de los modelos de lenguaje cuando se aplican a escenarios específicos del sector. En recientes evaluaciones, algunos de los modelos más avanzados demostraron resultados por debajo de lo esperado:
- GPT-4, uno de los modelos más potentes en la actualidad, logró menos del 75% de precisión en TeleQnA, un benchmark diseñado para medir el conocimiento en telecomunicaciones.
- En la prueba 3GPPTdocs Classification, basada en documentos de estándares 3GPP, obtuvo una precisión inferior al 40%.
- Phi-2 de Microsoft, un modelo de menor tamaño, apenas alcanzó un 10% en MATH500, una prueba que evalúa habilidades matemáticas generales, esenciales para optimización de redes y análisis de datos en telecomunicaciones.
Estos resultados revelan que los modelos actuales no están suficientemente adaptados para abordar consultas técnicas del sector telco, lo que limita su aplicabilidad en tareas críticas como diagnóstico de redes, automatización de operaciones y gestión de infraestructuras.
Jeff Boudier, jefe de Producto y Crecimiento en Hugging Face, subrayó la importancia de la colaboración abierta en la adopción de IA en telecomunicaciones: “Estamos encantados de respaldar y alojar los GSMA Open-Telco LLM Benchmarks. Esta iniciativa contribuirá a la innovación en IA y mejorará la adopción de modelos específicos para el sector telco”.
Para resolver estas deficiencias, GSMA Open-Telco LLM Benchmarks propone un enfoque estructurado y colaborativo que permitirá a operadores, investigadores y desarrolladores contribuir con casos de uso, conjuntos de datos y modelos de IA para su evaluación y mejora.
Un marco estandarizado para evaluar la IA en telecomunicaciones
La comunidad GSMA Open-Telco LLM Benchmarks ha sido diseñada para proporcionar una evaluación estructurada y transparente de los modelos de IA en función de tres ejes fundamentales:
- Conocimiento técnico del sector telco: medición del desempeño de los modelos en la comprensión de documentos técnicos, normativa y protocolos de telecomunicaciones.
- Capacidad de razonamiento matemático: evaluación de la precisión de los modelos en problemas matemáticos complejos, fundamentales para la optimización de redes y la predicción de tráfico de datos.
- Eficiencia energética y seguridad: análisis del consumo energético de los modelos, un factor clave en centros de datos y despliegues en infraestructuras, así como su resistencia frente a ataques adversariales y vulnerabilidades.
Arpit Joshipura, gerente general de Redes, Edge e IoT en The Linux Foundation, enfatizó el impacto de los benchmarks en la industria: “El lanzamiento de Open-Telco LLM Benchmarks representa un hito clave para la adopción de IA en telecomunicaciones. Al establecer un marco estandarizado, brindamos mayor transparencia y confianza a la industria”.
El marco de evaluación permitirá realizar comparaciones objetivas entre diferentes modelos de IA, asegurando que los avances en la tecnología respondan a las necesidades operativas del sector. Para garantizar la transparencia y facilitar el acceso a la comunidad, los benchmarks estarán alojados en Hugging Face, una de las principales plataformas abiertas para la investigación y desarrollo de modelos de IA.
Inteligencia artificial en MWC25 Barcelona
El papel de la IA en telecomunicaciones será uno de los temas centrales del MWC25 Barcelona, donde se presentará el evento Gen AI Summit: Experimentation to Transformation. En este foro, expertos del sector analizarán el impacto de la IA generativa en las telecomunicaciones a través de sesiones sobre:
- Optimización de redes con IA.
- Experiencias personalizadas para clientes mediante IA generativa.
- Integración de IA en redes 5G y futuras tecnologías de conectividad.
Entre los ponentes confirmados destacan figuras de primer nivel:
- Harry Singh, director Digital en BT.
- Harrison Lung, director de Estrategia del Grupo en e&.
- Kaniz Mahdi, directora de Tecnología en AWS Industries (Amazon Web Services).
- Laurent Leboucher, CTO de Orange.
Además, en la Keynote 7: Tech Game Changers, Arthur Mensch, CEO de Mistral AI, abordará las últimas innovaciones en IA aplicada a telecomunicaciones. Por su parte, en la Keynote 10: Why AI Agents will Change Everything, Bret Taylor, CEO y cofundador de Sierra y miembro de la junta de OpenAI, analizará el impacto de los agentes de IA en el mundo empresarial.
