Las empresas procesan exponencialmente más datos de clics, golpes, micropagos, paquetes cibernéticos, feeds sociales y lecturas de medidores. El volumen de transmisión de datos es abrumador para los sistemas de TI, como resultado, muchas empresas son “ciegas y sordas” por minutos u horas a la vez. Las soluciones de datos tradicionales tienen dificultades para actualizar, organizar e indexar sus datos, por lo que se pueden consultar en tiempo real para ver el verdadero estado de sus negocios.

Las empresas de hoy en día necesitan un acceso interactivo rápido a decenas o cientos de terabytes de datos extraídos de enormes lagos de datos y sistemas legados. También necesitan combinar múltiples fuentes de datos, tanto en vuelo como históricos, para agregar dinámicamente sus datos a diferentes dimensiones y visualizarlos tanto en forma tabular como gráfica. En particular, los analistas de las empresas impulsadas por datos deben ser capaces de “vivir en sus datos”, interactuando simultáneamente con datos de transmisión en tiempo real e históricos.

La industria de servicios financieros ha estado lidiando exitosamente con desafíos similares durante más de dos décadas. Los bancos y las empresas comerciales se han enfrentado con volúmenes de datos en constante aumento durante ese período utilizando una arquitectura de datos escalable simple compuesta de una base de datos en tiempo real (RDB) y una base de datos histórica (HDB). Su enfoque se basa en un híbrido de RDBs de transmisión, cómputo en memoria (IMC) y HDBs persistentes para proporcionar servicios en tiempo real a comerciantes, reguladores y gerentes de riesgos.

Los analistas de otras industrias como energía, soporte de sistemas de operaciones de telecomunicaciones (OSS) y ciberseguridad también necesitan mantener una visión total del estado actual y pasado de sus redes y redes.

Una de las principales ventajas de esta arquitectura es que es fácil ampliarla o ampliarla simplemente añadiendo RDB y HDB adicionales. Múltiples RDB y HDB pueden aprovisionarse para períodos de tiempo específicos, tipos de transacciones, etc. En servicios financieros es común encontrar arquitecturas de datos muy sofisticadas que combinan múltiples instancias de transmisión por secuencias con procesamiento de eventos complejos (CEP), RDB y HDB con capacidades de publicación / suscripción y procesamiento de negocios usando microservicios.

El RDB en memoria satisface las necesidades comerciales en tiempo real mientras el HDB es un registro inmutable de todas las transacciones pasadas. Al consultar tanto el RDB como el HDB, siempre se puede obtener una vista coherente del mundo y del estado del negocio. Cada vez más, los RDB se colocan en una gran memoria no volátil y los HDB se almacenan en SSD rápidos trabajando inteligentemente

Con las soluciones de memoria de hoy en día, las empresas pueden consultar todos sus datos en tiempo casi real, proporcionando una imagen coherente ensamblada directamente a partir de los datos transaccionales brutos, según sea necesario.

Esta arquitectura RDB / HDB ampliamente utilizada ha sido recientemente redescubierta por la comunidad de Big Data.

La transacción híbrida / procesamiento analítico promoverá oportunidades para la innovación empresarial dramática

La transacción híbrida / procesamiento analítico capacitará a los líderes de aplicaciones para evolucionar mediante una mayor conciencia de la situación y una agilidad comercial mejorada. Esto implicará un trastorno en las arquitecturas, tecnologías y habilidades establecidas impulsadas por el uso de tecnologías informáticas en la memoria como habilitadores.

Impactos

• El surgimiento de HTAP significa que los líderes de TI deben identificar el valor de los análisis avanzados en tiempo real, y dónde y cómo estos permiten la innovación de procesos.
• Al eliminar la latencia analítica y los problemas de sincronización de datos, HTAP permitirá a los líderes de TI simplificar su infraestructura de gestión de la información, si pueden superar los desafíos de adoptar este nuevo enfoque.
• La inmadurez tecnológica y el valor y la complejidad del entorno de aplicación establecido obligarán a los líderes de TI a planificar la coexistencia a largo plazo entre HTAP y los enfoques tradicionales.

Recomendaciones

• Educar a los líderes empresariales sobre los conceptos de HTAP e IMC, y por qué son importantes. Haga una lluvia de ideas con ellos para identificar oportunidades concretas para repensar los procesos comerciales.
• Discuta con sus proveedores estratégicos de administración de información y aplicaciones de negocios su visión, hoja de ruta y tecnología para la implementación de HTAP en sus productos.
• Pilotear el uso de arquitecturas HTAP en proyectos individuales de “sistema de innovación”.
• Equilibre los costos de la adopción de HTAP (infraestructura de hardware y software, migración, procesos operativos y habilidades) con los beneficios empresariales y de TI anticipados.
• Plan de coexistencia e interoperabilidad de IMC y tecnología tradicional, mezclando productos de diferentes proveedores, si es necesario.
• Revise su estrategia de gestión de la información, incluida la gobernanza, los SLA y la gestión del ciclo de vida, para garantizar una alineación y apropiación organizacionales adecuadas
• Revise su estrategia de gestión de la información, incluida la gobernanza, los SLA y la gestión del ciclo de vida, para garantizar una alineación organizativa adecuada y la propiedad de la información en apoyo del uso de arquitecturas HTAP junto con los enfoques tradicionales.

Análisis

La noción de ejecutar transacciones y análisis en la misma base de datos de registro ha existido desde los primeros días de la informática, pero hasta ahora no se ha materializado por completo debido a una variedad de problemas, incluidas las limitaciones tecnológicas.

Los sistemas de procesamiento de transacciones suelen ser soportados por DBMS operacionales (anteriormente denominados DBMSs de procesamiento de transacciones en línea [OLTP); el almacenamiento de datos en estructuras optimizadas para un acceso rápido a elementos de datos individuales (“filas”).

Los sistemas de procesamiento analítico se crearon por separado para optimizar las estructuras de datos para consultas masivas, así como para evitar la concurrencia de acceso y el impacto asociado de rendimiento y escalabilidad de las consultas analíticas sobre los sistemas transaccionales críticos para la empresa. Tal separación también permitió la combinación de datos de múltiples fuentes en bases de datos analíticas para medir el rendimiento de la empresa en todas las aplicaciones. Por lo tanto, el procesamiento de transacciones y los sistemas analíticos generalmente se basan en arquitecturas distintas, lo que agrega complejidad a la arquitectura de la información y la infraestructura relevante y presenta retraso en el análisis de datos

Debido a los avances tecnológicos, como la computación en memoria (IMC), las arquitecturas híbridas de transacción / proceso analítico (HTAP), que permiten a las aplicaciones analizar datos “en vivo” a medida que se crean y actualizado por las funciones de procesamiento de transacciones, ahora son realistas y posibles. Aunque no todos los procesos de negocios se benefician igualmente con dichas arquitecturas (por ejemplo, en ciertos casos la latencia es característica del proceso en sí y no solo un efecto negativo inducido debido a limitaciones tecnológicas), HTAP, en muchos casos, permitirá mejoras radicales.

Aunque es posible construir formas simples de aplicaciones HTAP usando DBMSs, Gartner cree que la mayoría de las implementaciones de HTAP deben y estarán habilitadas para IMC. Las tecnologías IMC, como los DBMS en memoria (IMDBMS) y las cuadrículas de datos en memoria (IMDG), son compatibles con un único almacén de datos en memoria de acceso de baja latencia que puede procesar grandes volúmenes de transacciones. Estas tecnologías también pueden soportar el análisis de latencia cero en los mismos datos, incluidos análisis avanzados, como pronósticos y simulaciones, así como estilos más tradicionales de análisis descriptivo

Gartner cree que menos del 1% de las organizaciones de usuarios han implementado aplicaciones basadas en HTAP, y espera que esta arquitectura tarde entre cinco y 10 años en alcanzar la adopción general. Sin embargo:

• Algunas organizaciones de usuarios ya han aprovechado el HTAP habilitado por IMC para respaldar la innovación transformadora del proceso comercial.

• Algunos proveedores de aplicaciones empaquetadas y proveedores de SaaS ya están explotando las arquitecturas HTAP en sus ofertas. Aunque estos están en sus primeras etapas y la adopción es a menudo limitada, los esfuerzos de comercialización de los proveedores pronto atraerán la atención de los usuarios comerciales.

Para respaldar la estrategia comercial de sus organizaciones, comprender los principios fundamentales de HTAP y definir una estrategia relevante será un imperativo para los líderes de TI que participan en la definición de la arquitectura de aplicaciones, la gestión de la información y las estrategias analíticas comerciales.