La era Data Driven

Analicemos por qué los datos son importantes y qué es una organización basada en datos. En primer lugar, una organización basada en datos es aquella que comprende la importancia de los datos. Posee una cultura de uso de datos para tomar todas las decisiones comerciales. Tenga en cuenta la palabra todos. En una organización basada en datos, nadie llega a una reunión armado solo con corazonadas o intuición. La persona con el título superior o el salario más alto no gana la discusión. Los hechos sí. Números. Análisis cuantitativos. Cosas respaldadas por datos.

¿Por qué convertirse en una empresa basada en datos? Porque compensa. El Centro de Negocios Digitales del MIT preguntó a 330 empresas sobre sus análisis de datos y procesos de toma de decisiones comerciales. Descubrió que cuantas más empresas se caracterizaban por basarse en datos, mejor se desempeñaban en medidas objetivas de éxito financiero y operativo.

Específicamente, las empresas en el tercio superior de sus industrias cuando se trataba de tomar decisiones basadas en datos eran, en promedio, un cinco por ciento más productivas y un seis por ciento más rentables que sus competidores. Esta diferencia de rendimiento se mantuvo incluso después de tener en cuenta la mano de obra, el capital, los servicios adquiridos y las inversiones en TI tradicionales. También fue estadísticamente significativo y se reflejó en un aumento de los precios del mercado de valores que se pudo medir objetivamente.

Otra encuesta, realizada por The Economist Intelligence Unit, mostró una clara conexión entre cómo una empresa usa los datos y su éxito financiero. Solo el 11 por ciento de las empresas dijo que su organización hace un uso “sustancialmente” mejor de los datos que sus pares. Sin embargo, más de un tercio de este grupo cayó en la categoría de “empresas de alto rendimiento”.  El reverso también indica la relación entre los datos y el éxito financiero. Del 17 por ciento de las empresas que dijeron que estaban “rezagadas” con respecto a sus pares en el aprovechamiento de los datos, ninguna era una empresa de alto rendimiento.

Otra encuesta de la Unidad de Inteligencia de The Economist encontró que el 70 por ciento de los altos ejecutivos de negocios dijeron que analizar los datos para las decisiones de ventas y marketing ya es “muy” o “extremadamente importante” para la ventaja competitiva de su empresa. Un 89 por ciento de los encuestados espera que esto sea así dentro de dos años.

Según el informe del MIT antes mencionado, el 50 por ciento de las empresas con un rendimiento “superior al promedio” dijeron que habían logrado una empresa basada en datos mediante la promoción del intercambio de datos. Más de la mitad (57 por ciento) dijo que una empresa basada en datos fue impulsada por mandatos de arriba hacia abajo desde el nivel más alto. Y un revelador 84 por ciento de los ejecutivos encuestados dijeron que creen que “la mayoría de todos” sus empleados deberían usar el análisis de datos para ayudarlos a realizar sus tareas laborales, no solo los trabajadores de TI o los científicos y analistas de datos.

Pero, ¿cómo te conviertes en una empresa basada en datos?

Según un artículo de Harvard Business Review escrito por ejecutivos de McKinsey, ser una empresa basada en datos requiere emprender simultáneamente tres iniciativas interdependientes

 Identificar, combinar y administrar múltiples fuentes de datos.  

Es posible que ya tenga todos los datos que necesita. O es posible que deba ser creativo para encontrar otras fuentes. De cualquier manera, debe eliminar los silos de datos mientras busca constantemente nuevas fuentes para informar su toma de decisiones. Y es fundamental recordar que cuando se extraen datos para obtener información, exigir datos de fuentes diferentes e independientes conduce a decisiones mucho mejores. Hoy en día, tanto las fuentes como la cantidad de datos que puede recopilar han aumentado en órdenes de magnitud. Es un mundo conectado, dadas todas las transacciones, interacciones y, cada vez más, sensores que generan datos. Y el hecho es que si combina varias fuentes independientes, obtiene una mejor perspectiva. Las empresas que hacen esto están en mucho mejor estado, financiera y operativamente.

Cree modelos analíticos avanzados para predecir y optimizar los resultados

El enfoque más efectivo es identificar una oportunidad de negocio y determinar cómo el modelo puede lograrlo. En otras palabras, no comienza con los datos, al menos al principio, sino con un problema.

Transformar la organización y la cultura de la empresa para que los datos realmente produzcan mejores decisiones comerciales

Muchas iniciativas de big data fallan porque no están sincronizadas con los procesos y hábitos de toma de decisiones del día a día de una empresa. Los profesionales de datos deben comprender qué decisiones toman sus usuarios comerciales y brindarles las herramientas que necesitan para tomar esas decisiones. 

Entonces, ¿por qué escuchamos sobre el fracaso de tantas iniciativas de big data? Un estudio de PricewaterhouseCoopers encontró que solo el cuatro por ciento de las empresas con iniciativas de big data las consideran exitosas. Casi la mitad (43 por ciento) de las empresas “obtienen pocos beneficios tangibles de su información” y el 23 por ciento “no obtienen ningún beneficio”. Estadísticas aleccionadoras.

Resulta que, a pesar de los beneficios de una cultura basada en datos, crear una puede ser difícil. Requiere un cambio importante en el pensamiento y las prácticas comerciales de todos los empleados de una organización. Cualquier cuello de botella entre los empleados que necesitan datos y los que los guardan debe eliminarse por completo. Esta es probablemente la razón por la cual solo el dos por ciento de las empresas en el informe del MIT cree que los intentos de transformar sus empresas utilizando datos han tenido un “impacto amplio y positivo”. 

Migración al acceso a datos de autoservicio

Pasar de los procesos manuales de aprovisionamiento de infraestructura, que crea los mismos cuellos de botella que ocurrían con el antiguo modelo de acceso a datos, a uno de autoservicio les brinda a los empleados una respuesta mucho más rápida a sus necesidades de acceso a datos a un precio mucho más bajo. menor costo de operación. Piénselo: así como tenía al equipo de datos posicionado entre los empleados y los datos, ahora tenía el mismo muro entre los empleados y la infraestructura. Tener acceso teórico a los datos no sirve de nada a los empleados cuando tenían que acudir al equipo de datos para solicitar recursos de infraestructura cada vez que querían consultar los datos.

La ausencia de tales capacidades en la infraestructura de datos provoca retrasos y perjudica el negocio. Los empleados a menudo necesitan iteraciones rápidas en las consultas para hacer realidad sus ideas creativas. Con demasiada frecuencia, una gran idea es una idea rápida: debe ser aprovechada en un momento.

Una infraestructura que no admite el intercambio justo también crea fricciones entre los proyectos prototipo y los proyectos de producción. Los proyectos de etapa de prototipo necesitan agilidad y flexibilidad. Por otro lado, los proyectos de producción necesitan estabilidad y previsibilidad. Una infraestructura común también debe soportar estos dos requisitos diametralmente opuestos. Este solo hecho fue uno de los mayores desafíos para idear mecanismos para promover una infraestructura compartida que pudiera soportar tanto el acceso a datos de autoservicio ad hoc (creación de prototipos o exploración de datos) como el acceso a datos de autoservicio de producción.

El objetivo es brindar acceso a los datos a todos, incluso a aquellos que no tienen capacitación en datos. Un aspecto adicional de la infraestructura para admitir el acceso de autoservicio a los datos es cómo las herramientas con las que están familiarizados se integran con la infraestructura. Las herramientas de un empleado deben comunicarse directamente con la cuadrícula de cómputo. Si el acceso a la infraestructura está controlado por un equipo central especializado, está volviendo a su modelo anterior.

La lección aprendida: para democratizar verdaderamente los datos, debe transformar tanto las herramientas de acceso a datos como el aprovisionamiento de infraestructura en un modelo de autoservicio.

Pero esto no es solo una cuestión de implementar la tecnología adecuada. Su empresa también necesita hacer un cambio cultural masivo. Debe existir colaboración entre ingenieros de datos, científicos y analistas. Debe adoptar el tipo de cultura que permita a sus empleados iterar rápidamente al refinar sus ideas basadas en datos.

La cultura DataOps.

El surgimiento de las operaciones de datos

Érase una vez, los desarrolladores corporativos y los profesionales de operaciones de TI trabajaban por separado, en silos fuertemente blindados. Los desarrolladores escribieron el código de la aplicación y “se lo tiraron por la borda” al equipo de operaciones, que luego se encargó de asegurarse de que las aplicaciones funcionaran cuando los usuarios realmente las tuvieran en sus manos. Esta nunca fue una forma óptima de trabajar. Pero pronto se volvió imposible cuando las empresas comenzaron a desarrollar aplicaciones web. En el vertiginoso mundo digital, necesitaban implementar código nuevo y actualizaciones de producción rápidamente. Y tenía que funcionar. Desafortunadamente, a menudo no fue así. Por lo tanto, las organizaciones ahora están adoptando un conjunto de mejores prácticas conocidas como DevOps que mejoran la coordinación entre los desarrolladores y el equipo de operaciones.

DevOps es la práctica de combinar ingeniería de software, control de calidad (QA) y operaciones en una sola organización ágil. La práctica está cambiando la forma en que las aplicaciones, en particular las aplicaciones web, se desarrollan e implementan dentro de las empresas.

Ahora, un modelo similar, llamado DataOps, está cambiando la forma en que se consumen los datos.

Aquí está la definición de Gartner de DataOps:

[Un] centro para recopilar y distribuir datos, con el mandato de proporcionar acceso controlado a los sistemas de registro de datos de rendimiento de marketing y de clientes, al mismo tiempo que se protege la privacidad, las restricciones de uso y la integridad de los datos.

 

Eso lo cubre en su mayoría. Sin embargo, prefiero una definición práctica ligeramente diferente, quizás más pragmática:

DataOps es una nueva forma de administrar datos que promueve la comunicación entre los datos, equipos y sistemas, y la integración de los mismos. Aprovecha el cambio de procesos, la realineación organizacional y la tecnología para facilitar las relaciones entre todos los que manejan datos: desarrolladores, ingenieros de datos, científicos de datos, analistas y usuarios comerciales. DataOps conecta estrechamente a las personas que recopilan y preparan los datos, los que analizan los datos y los que utilizan los resultados de esos análisis para un buen uso empresarial.

 

 

Dos tendencias están creando la necesidad de DataOps:

La necesidad de más agilidad con los datos

Las empresas de hoy funcionan a un ritmo muy rápido, por lo que si los datos no se mueven al mismo ritmo, se eliminan del proceso de toma de decisiones. Esto es similar a cómo la agilidad en la creación de aplicaciones web condujo a la creación de la cultura DevOps. Ahora también se necesita la misma agilidad en el lado de los datos.

Los datos se vuelven más convencionales

Esto se relaciona con el hecho de que en el mundo actual hay una proliferación de fuentes de datos debido a todos los avances en la recopilación: nuevas aplicaciones, sensores en Internet de las cosas (IoT) y redes sociales. También existe la creciente comprensión de que los datos pueden ser una ventaja competitiva. A medida que los datos se han generalizado, la necesidad de democratizarlos y hacerlos accesibles se siente con mucha fuerza en las empresas de hoy. A la luz de estas tendencias, los equipos de datos están recibiendo presión de todos lados.

En efecto, los equipos de datos tienen el mismo problema que alguna vez tuvieron los desarrolladores de aplicaciones. En lugar de que los desarrolladores escriban código, ahora tenemos científicos de datos que diseñan modelos analíticos para extraer información procesable de grandes volúmenes de datos. Pero ahí está el problema: no importa cuán inteligentes e innovadores sean esos científicos de datos, no ayudan al negocio si no pueden obtener los datos o no pueden poner los resultados de sus modelos en manos de los tomadores de decisiones. .

Por lo tanto, DataOps se ha convertido en una disciplina fundamental para cualquier organización de TI que quiera sobrevivir y prosperar en un mundo en el que la inteligencia empresarial en tiempo real es una necesidad competitiva. Tres razones están impulsando esto:

Los datos no son algo estático

Según Gartner, los grandes datos pueden describirse mediante las “Tres V”:10 volumen, velocidad y variedad. También está cambiando constantemente. El lunes, el aprendizaje automático podría ser una prioridad; el martes, debe concentrarse en el análisis predictivo. Y el viernes, estás procesando transacciones. Su infraestructura debe poder admitir todas estas cargas de trabajo diferentes, igualmente bien. Con DataOps, puede crear rápidamente nuevos modelos, volver a priorizar las cargas de trabajo y extraer valor de sus datos al promover la comunicación y la colaboración.

La tecnología no es suficiente

La ciencia de datos y la tecnología que la respalda se fortalecen cada día. Pero estas herramientas solo son buenas si se aplican de manera consistente y confiable.

Se necesita mayor agilidad

La agilidad que se necesita hoy es mucho más de lo que se necesitaba en la década de 1990, que es cuando surgieron la arquitectura de almacenamiento de datos y las mejores prácticas. La agilidad organizacional en torno a los datos es mucho, mucho más rápida hoy en día; de hecho, tantas veces más rápido que necesitamos cambiar la cadencia misma de la organización de datos.

DataOps es en realidad una forma muy natural de abordar el acceso a los datos y la infraestructura al crear un entorno de datos o un lago de datos desde cero. Por eso, las empresas más nuevas adoptan DataOps mucho más rápida y fácilmente que las empresas establecidas, que necesitan cambiar drásticamente sus prácticas existentes y su forma de pensar sobre los datos. Muchas de estas empresas más nuevas nacieron cuando DevOps se convirtió en la norma y, por lo tanto, poseen intrínsecamente una aversión a la cultura de siloficación. Como resultado, la adopción de DataOps para sus necesidades de datos ha sido un curso natural de evolución; su ADN lo exige. Facebook fue nuevamente un gran ejemplo de esto. En 2007, los lanzamientos de productos en Facebook ocurrieron cada semana. Como resultado, se esperaba que los datos de estos lanzamientos estuvieran disponibles de inmediato. Tomar semanas y meses para tener acceso a estos datos no era aceptable. En tal entorno, y con tal demanda de agilidad, una cultura de DataOps se convirtió en una necesidad absoluta, no solo en una característica agradable de tener.

En las empresas más tradicionales, las políticas corporativas en torno a la seguridad y el control, en particular, deben cambiar. Las empresas establecidas se preocupan: ¿cómo me aseguro de que los datos confidenciales permanezcan seguros y privados si están disponibles para todos? DataOps requiere que muchas empresas cumplan con estrictas normas de gobierno de datos. Todas estas son preocupaciones legítimas.