Confluent, Inc. ha anunciado las nuevas funcionalidades de Confluent Cloud que brindan a los clientes la confianza de que los datos que utilizan son fiables y se pueden procesar y compartir de manera fácil y segura. Con Data Quality Rules, una expansión de la suite Stream Governance, las organizaciones pueden resolver fácilmente los problemas de calidad de los datos para que se pueda confiar en ellos, de cara a procesos de toma de decisiones críticas para el negocio. Además, las nuevas soluciones de Confluent Custom Connectors, Stream Sharing, Kora Engines, así como un programa de acceso temprano a Apache Flink, facilitan que las empresas obtengan insights de sus datos en una sola plataforma, lo que reduce las cargas operativas y garantiza un rendimiento líder en la industria.
Tener datos de alta calidad que se pueden compartir rápidamente entre equipos, clientes y socios ayuda a las empresas a tomar decisiones más rápido. Sin embargo, este es un reto al que se enfrentan muchas empresas al gestionar una infraestructura de código abierto altamente distribuida como Apache Kafka. De acuerdo con el nuevo informe 2023 Data Streaming Report de Confluent, el 72 % de los líderes de TI mencionan el uso inconsistente de los métodos y estándares de integración como un desafío o un obstáculo importante para su infraestructura de data streaming. El anuncio de hoy aborda estos retos con las siguientes capacidades:
Data Quality Rules refuerza la suite Stream Governance de Confluent para contar con datos aún más fiables
Los contratos de datos son acuerdos formales entre componentes upstream y downstream en torno a la estructura y la semántica de los datos que están en movimiento. Un componente crítico para hacer cumplir los contratos de datos son las reglas o políticas que garantizan que los streams de datos sean de alta calidad, aptos para el consumo y resilientes de cara a la evolución del esquema a lo largo del tiempo.
Para abordar la necesidad de contratos de datos más completos, Data Quality Rules de Confluent, una nueva funcionalidad disponible en Stream Governance, permite a las organizaciones obtener streams datos fiables y de alta calidad en toda la organización utilizando reglas personalizables que garantizan la integridad y compatibilidad de los datos. Con Data Quality Rules, los esquemas almacenados en Schema Registry ahora se pueden aumentar con varios tipos de reglas para que los equipos puedan:
● Garantizar una alta integridad de los datos validando y restringiendo los valores de los campos individuales dentro de stream de datos.
● Resolver rápidamente problemas de calidad de datos con acciones de seguimiento personalizables sobre mensajes incompatibles.
● Simplificar la evolución de un esquema utilizando reglas de migración para transformar mensajes de un formato de datos a otro.
Los Custom Connectors permiten que cualquier connector de Kafka se ejecute en Confluent Cloud sin necesidad de gestionar la infraestructura
Muchas organizaciones tienen arquitecturas de datos únicas y necesitan crear sus propios conectores para integrar sus sistemas de datos y aplicaciones personalizadas en Apache Kafka. Sin embargo, estos conectores personalizados deben autogestionarse y requieren un proceso manual de aprovisionamiento, actualización y monitorización, lo que supone una pérdida de tiempo y recursos de gran valor para otras actividades críticas del negocio. Al ampliar el ecosistema de conectores de Confluent, Custom Connectors permite a los equipos:
● Conectarse rápidamente a cualquier sistema de datos utilizando los propios plugins de Kafka Connect del equipo sin cambios en el código.
● Garantizar una alta disponibilidad y rendimiento utilizando logs y métricas para supervisar el estado de los conectores y de los trabajadores del equipo.
● Eliminar la carga operativa derivada de proporcionar y gestionar continuamente la infraestructura de conectores de bajo nivel.
Custom Connectors de Confluent está disponible en AWS en regiones seleccionadas. La compatibilidad con otras regiones y otros proveedores de cloud estará disponible en el futuro.
Stream Sharing facilita el intercambio de datos con una seguridad de nivel empresarial
Ninguna organización existe de forma aislada. Las empresas que realizan actividades como la gestión de inventarios, entregas y trading financiero necesitan intercambiar constantemente datos en tiempo real, tanto interna como externamente en todo su ecosistema para tomar decisiones informadas, crear customer experience únicas y mejorar las operaciones. Hoy en día, muchas organizaciones siguen dependiendo de transmisiones de archivos planos o API de sondeo para el intercambio de datos, lo que provoca retrasos en los datos, riesgos de seguridad y complicaciones adicionales de integración.
Stream Sharing de Confluent ofrece la alternativa más sencilla y segura para compartir data streaming entre organizaciones. Con Stream Sharing, los equipos pueden:
● Intercambiar fácilmente datos en tiempo real sin retraso directamente desde Confluent a cualquier cliente Kafka.
● Compartir y proteger sus datos de forma segura con sólidos controles de uso compartido autenticado, gestión de acceso y cifrado por capas.
● Confiar en la calidad y compatibilidad de los datos compartidos aplicando esquemas compatibles entre usuarios, equipos y organizaciones.
Se anunciarán más innovaciones en el Kafka Summit London:
Organizado por Confluent, el Kafka Summit London es el principal evento para desarrolladores, arquitectos, ingenieros de datos, profesionales de DevOps y aquellos que buscan aprender más sobre data streaming y Apache Kafka. Este evento se centra en las buenas prácticas, cómo construir sistemas de próxima generación y cuál será el futuro de las tecnologías de streaming.
Otras novedades de la plataforma líder de data streaming de Confluent son:
● Kora alimenta Confluent Cloud para ofrecer insights y experiencias más rápidas: Desde 2018, Confluent ha invertido más de 5 millones de horas de ingeniería para crear Kora, un motor Apache Kafka construido para el cloud. Con su capacidad de abstracción multi-tenancy y serverless, y gracias a que cuenta con capas desacopladas de networking-almacenamiento-computación, así como operaciones automatizadas y disponibilidad global, Kora permite a los clientes de Confluent Cloud escalar 30 veces más rápido, almacenar datos sin límites de retención, estar protegidos con un SLA del 99,99 % y alimentar cargas de trabajo con latencia ultrabaja.
● Apache Flink de Confluent ofrece un programa de acceso anticipado a las funcionalidades avanzadas de procesamiento de data streaming: El stream processing desempeña un papel fundamental en la infraestructura de data streaming filtrando, agrupando y añadiendo datos en tiempo real, lo que permite que las aplicaciones y los sistemas downstream ofrezcan información instantánea. Los clientes recurren a Flink para gestionar data streaming a gran escala, de alto rendimiento y baja latencia, gracias a sus funcionalidades avanzadas de procesamiento de streams y a sus sólidas comunidades de desarrolladores. Tras la adquisición de Immerok por parte de Confluent, se ha abierto el programa de acceso anticipado de Apache Flink gestionado para clientes selectos de Confluent Cloud, con la finalidad de que prueben el servicio y contribuyan a dar forma a la hoja de ruta colaborando con los equipos de producto e ingeniería de la compañía.
