Confluent y Databricks han anunciado la ampliación de su colaboración estratégica. Esta nueva fase de integración busca facilitar a las empresas el acceso a datos en tiempo real mediante la combinación de las capacidades de streaming de Confluent con la infraestructura de datos de Databricks.
Las nuevas integraciones, que vinculan Tableflow de Confluent con Unity Catalog y Delta Lake de Databricks, permitirán gestionar datos operativos y analíticos de manera más eficiente. Con ello, las organizaciones podrán desarrollar aplicaciones avanzadas de inteligencia artificial sin las limitaciones de los silos de datos tradicionales.
Desafíos en la gestión de datos para la inteligencia artificial
Las empresas están acelerando la implementación de aplicaciones de IA que dependen de datos fiables en tiempo real para optimizar la toma de decisiones y mejorar la experiencia del usuario. Sin embargo, según datos del sector, solo un 22% de las empresas consideran que su infraestructura tecnológica actual es suficiente para soportar estas aplicaciones.
Uno de los principales desafíos radica en la separación entre los sistemas operativos, donde se generan los datos, y los sistemas analíticos, donde se procesan para extraer valor. La falta de integración entre ambos impide que los equipos combinen eficazmente datos en tiempo real con otras fuentes, lo que limita el desarrollo de modelos de IA avanzados.
Ali Ghodsi, cofundador y CEO de Databricks, destacó la importancia de consolidar los datos en un único ecosistema: «Para maximizar el valor de sus inversiones en IA, las empresas necesitan que sus datos, modelos de inteligencia artificial, analítica y gobernanza operen de manera conjunta. Nos entusiasma que Confluent adopte Unity Catalog y Delta Lake como sus soluciones abiertas preferidas para almacenamiento y gobernanza.”
Por su parte, Jay Kreps, cofundador y CEO de Confluent, subrayó el papel de los datos en tiempo real en el desarrollo de IA: «Los datos en tiempo real son el motor de la inteligencia artificial. Con demasiada frecuencia, las empresas se ven limitadas por sistemas desconectados que no pueden proporcionar los datos en el formato y momento adecuados. Con nuestra colaboración con Databricks, garantizamos que las empresas puedan utilizar el streaming de datos para impulsar aplicaciones de IA en sus procesos más críticos.”
Integración para datos en tiempo real y modelos de IA
Para abordar estas limitaciones, Confluent y Databricks han anunciado integraciones que mejorarán la interoperabilidad en tiempo real y facilitarán la colaboración entre equipos.
La integración entre Tableflow de Confluent y Delta Lake y Unity Catalog de Databricks proporcionará un modelo unificado de gobernanza para datos y aplicaciones de IA. Este avance permitirá que las empresas accedan a datos operativos y analíticos en tiempo real de manera coherente, segura y confiable.
Beneficios de la integración:
- Acceso a datos en tiempo real: Tableflow y Delta Lake facilitarán la transferencia de datos operativos a la infraestructura de Databricks para su análisis y procesamiento en IA.
- Compatibilidad con múltiples herramientas: Las empresas podrán emplear motores de análisis como Apache Spark, Trino, Polars, DuckDB y Daft con datos gestionados en Unity Catalog.
- Automatización de metadatos: La integración con Unity Catalog garantizará que los metadatos sean aplicados automáticamente a los datos compartidos entre ambas plataformas, facilitando su trazabilidad y gobernanza.
- Mejora en la gestión de calidad de datos: La suite Stream Governance de Confluent permitirá una supervisión detallada de los datos, asegurando su fiabilidad para aplicaciones de IA.
Dora Simroth, responsable de ingeniería de datos e IA en E.ON Digital Technology, señaló el impacto de esta integración en el sector energético y en la gestión de datos empresariales: «Confluent y Databricks son esenciales en nuestra infraestructura de datos e inteligencia artificial. Gracias a esta integración, nuestros equipos operativo y analítico podrán acceder a una única fuente de datos bien estructurada y en tiempo real, acelerando el desarrollo de soluciones digitales basadas en modelos de IA.»
Un ecosistema unificado para datos operativos y analíticos
Las nuevas funcionalidades garantizan que los datos operativos gestionados por Confluent puedan ser utilizados de manera nativa en Databricks. Esto permitirá que tanto los desarrolladores de aplicaciones empresariales como los analistas de datos trabajen con vistas consistentes de los mismos datos en tiempo real.
Esta interoperabilidad entre aplicaciones empresariales, sistemas analíticos y herramientas de gobernanza facilitará una toma de decisiones más ágil y basada en IA, lo que refuerza la posición de Confluent y Databricks como actores clave en el ecosistema de datos en tiempo real.
