Calidad de los datos explicada: Mediendo, haciendo cumplir y mejorando la calidad de los datos

Los datos impulsan las decisiones empresariales que determinan el rendimiento de las organizaciones en el mundo real. Se generan enormes volúmenes de datos cada son diario, pero no todos los datos están fiables en su forma bruta para impulsar una decisión empresarial crítica. Hoy en día, los datos tienen un problema de credibilidad. Los líderes empresariales y los responsables de la toma de decisiones deben comprender el impacto de la calidad de los datos. En este artículo, hablaremos:

• Calidad de los datos, especialmente en la empresa
• Medición de la calidad de los datos
• Hacer cumplir la calidad de los datos, incluyendo el inicio y los roles clave
• Mejora de la calidad de los datos

¡Vamos Obtén ya!

¿Qué están la calidad de los datos?

La Calidad de los Datos se refiere a las características que determinan la fiabilidad de la información para cumplir un propósito previsto (a menudo, en el mundo empresarial incluyen planificación, toma de decisiones y operaciones). La calidad de los datos se refiere a la utilidad de los datos como función de atributos que determinan su idoneidad y fiabilidad para satisfacer el uso previsto. Estos atributos —en forma de métricas, KPIs y cualquier otro requisito cualitativo o cuantitativo— pueden ser subjetivos y justificables para un conjunto único de casos y contexto de utiliza. Si eso resulta poco claro, es porque los datos están perciben de forma diferente según la perspectiva. Al fin y al cabo, la forma te Define una cena de calidad, por ejemplo, puede ser diferente a la de un chef con estrella Michelin. considera calidad de los datos desde estas perspectivas:

• Consumidor
• Negocios
• Científico
• Normas
• Otras perspectivas

Para entender la calidad de un conjunto de datos, es un buen lugar para Comienza están entender en qué grado se compara con un estado deseado. Por ejemplo, un conjunto de datos libre de errores, consistente en su formato y completo en sus características, puede cumplir todos los requisitos o expectativas que determinan la calidad de los datos. (Entiende cómo se compara la calidad de los datos con la integridad de los datos.)

Calidad de los datos en la empresa

Ahora hablemos de la calidad de los datos desde una perspectiva de estándares, ya que se está ampliamente utilizada, especialmente en los dominios de:

• Gestión de bases de datos
• Big data
• TI empresarial

Veamos primero la definición de 'calidad' según la norma ISO 9000:2015:

La calidad es el grado en que las características inherentes de un objeto cumplen los requisitos.

Podemos aplicar esta definición a los datos y a la forma en que se están utilizados en la industria de TI. En el ámbito de la gestión de bases de datos, el término 'dimensiones' describe las características o características medibles de un conjunto de datos. La calidad de los datos también está sujeta a factores externos y extrínsecos, como la disponibilidad y el cumplimiento. Así que aquí tienes una definición holística y basada en estándares para la calidad de los datos en aplicaciones de big data:

La calidad de los datos está el grado en que las dimensiones de los datos cumplen los requisitos.

Es importante señalar que el término dimensiones no se refiere a las categorías utilizadas en los conjuntos de datos. En cambio, se refiere a las características medibles que describen características particulares del conjunto de datos. En comparación con el estado deseado de los datos, te pueden utiliza estas características para entender y cuantificar la calidad de los datos en términos medibles.

Por ejemplo, algunas de las dimensiones comunes de la calidad de los datos son:

• Precisión. El grado de cercanía a datos reales.
• Disponibilidad. El grado en que los usuarios o sistemas pueden acceder a los datos.
• Completitud. El grado en que todos los atributos, registros, archivos, valores y metadatos de datos están presentes y descritos.
• Cumplimiento. El grado en que los datos cumplen con las leyes aplicables.
• Consistencia. El grado en que los datos de múltiples conjuntos de datos o rango cumplen con reglas definidas.
• Integridad. El grado de ausencia de corrupción, manipulación, pérdida, fuga o acceso no autorizado al conjunto de datos.
• Latencia. El retraso en la producción y disponibilidad de datos.
• Objetividad. El grado con el que se están creados datos y pueden evaluarse sin sesgos.
• Plausibilidad. El grado en que el conjunto de datos está relevante para escenarios del mundo real.
• Redundancia. La presencia de información lógicamente idéntica en los datos.
• Trazabilidad. La capacidad de verificar la línea de datos de datos.
• Validez. El grado en que los datos cumplen con las normas vigentes.
• Volatilidad. El grado en que cambian los valores de los conjuntos de datos con el tiempo.

DAMA-NL proporciona una lista detallada de 60 Dimensiones de Calidad de Datos, disponible en PDF.

Por qué la calidad de los datos están tan críticos

Bien, Obtén qué están la calidad de los datos – ahora, veamos por qué te necesita:

• Optimización de costes. La mala calidad de los datos está perjudicial para los negocios y supone un coste significativo en cuanto a tiempo y esfuerzo. De hecho, Gartner estima que el impacto financiero medio del impacto financiero medio de la mala calidad de los datos en las organizaciones está de alrededor de 15 millones de dólares al año. Otro estudio de Ovum indica que la mala calidad de los datos cuesta a las empresas al menos el 30% de los ingresos.
• Marketing efectivo y más innovador. Datos precisos y de alta velocidad están fundamentales para tomar decisiones sobre a quién dirigirse y cómo. Esto conduce a una mejor segmentación y campañas de marketing más efectivas que llegan a los públicos adecuados.
• Mejor toma de decisiones. Una empresa solo están tan buena como su capacidad para Haz decisiones precisas en tiempos oportunos, impulsada por los aportes que te posee. Cuanto mejor sea la calidad de los datos, más confiados tendrán los líderes empresariales en mitigar riesgos en los resultados y en impulsar una toma de decisiones eficiente.
• Productividad. Según Forrester, "Casi un tercio de los analistas dedican más del 40 por ciento de su tiempo a verificar y validar sus datos analíticos antes de que puedan utilizarse para la toma de decisiones estratégicas." Así, cuando un proceso de gestión de datos produce datos consistentes y de alta calidad, puede producirse más automatización.
• Cumplimiento. Recopilar, almacenar y utilizar datos conlleva normativas y responsabilidades de cumplimiento, lo que a menudo resulta en procesos rutinarios y continuos. Los análisis tipo panel de control derivados de buenos datos se han convertido en una forma importante para que las organizaciones comprendan, de un simple vistazo, tu postura de cumplimiento.

Cómo medir la calidad de los datos

Ahora que te saber qué te esperar de tus datos —y por qué— te estás listo para Obtén empezar midiendo la calidad de los datos.

Perfilado de datos

El perfilado de datos es un buen punto de partida para medir tus datos. Es una evaluación directa que implica analizar cada objeto de datos en tu sistema y determinar si es completo y preciso. Esto están a menudo una medida preliminar para empresas que utilizan datos existentes pero desean un enfoque de gestión de la calidad de los datos.

Marco de Evaluación de la Calidad de los Datos

Una forma más elaborada de evaluar datos están hacerlo con un Marco de Evaluación de la Calidad de Datos (DQAF). El flujo de procesos DQAF comienza como un perfilado de datos, pero los datos se están medidos en función de ciertas cualidades específicas de buena calidad. Estas son:

• Integridad. ¿Cómo se comparan los datos con los estándares de calidad preestablecidos?
• Completitud. ¿Cuántos datos se han adquirido?
• Validez. ¿En caso contrario los datos se ajustan a los valores de un conjunto de datos dado?
• Unicidad. ¿Con qué frecuencia aparece un dato en un conjunto?
• Precisión. ¿Qué precisión están los datos?
• Consistencia. En diferentes conjuntos de datos, ¿los mismos datos tienen el mismo valor?

Utilizando estos principios fundamentales sobre buenos datos como línea de base, los ingenieros y científicos de datos pueden analizar los datos según sus propios estándares reales para cada uno. Por ejemplo, una unidad de datos que se evalúa en cuanto a la puntualidad puede analizarse en términos del rango de tiempos de entrega de mejor a promedio dentro de la organización.

Métricas de calidad de datos

Son algunas formas estandarizadas de analizar datos, como se ha descrito anteriormente. Pero también es importante que las organizaciones elaboren sus propias métricas para juzgar la calidad de los datos. Aquí son algunos ejemplos de métricas de calidad de datos:

• La relación datos-errores analiza el número de errores en un conjunto de datos teniendo en cuenta su tamaño.
• Los valores vacíos evalúan cuánto del conjunto de datos contiene valores vacíos.
• El porcentaje de "datos oscuros", o datos inutilizables, muestra cuánta información en un conjunto dado está utilizable.
• La relación tiempo-valor representa cuánto tarda te en utiliza y acceder a datos importantes tras introducirse en el sistema. Puede indicar te si los datos introducidos están útiles.

(Conoce más sobre datos oscuros.)

Cómo hacer cumplir la calidad de los datos

La gestión de la calidad de los datos (DQM) están un principio en el que todos los recursos críticos de una empresa —personas, procesos y tecnología— trabajan en armonía para Crea buenos datos. Más concretamente, la gestión de la calidad de datos están un conjunto de procesos diseñados para mejorar la calidad de los datos con el objetivo de lograr de forma accionable resultados empresariales predefinidos. La calidad de los datos requiere que exista una base para un éxito óptimo. Estos pilares fundamentales incluyen los siguientes:

• La estructura organizativa adecuada
• Un estándar definido para la calidad de los datos
• Auditorías rutinarias de perfilado de datos para garantizar la calidad
• Informes y seguimiento de datos
• Procesos para corregir errores en datos incorrectos e incompletos

Empezando

Si te son como muchas organizaciones, es probable que te son apenas se esté adaptando al big data. Aquí son nuestras recomendaciones para implementar una estrategia centrada en la calidad de los datos;

• Evalúa los esfuerzos actuales de datos. Una mirada honesta al estado actual de tus capacidades de gestión de datos están necesario antes de avanzar.
• Establece referencias para los datos. Esto será la base de tus nuevas prácticas de DQM. Para establecer los referentes adecuados, las organizaciones deben evaluar qué es importante para ellas. ¿Están los datos usados para servir a los clientes o para Crea una mejor experiencia de usuario en la web de la empresa? Primero, determina los propósitos empresariales de los datos y trabaja hacia atrás desde ahí.
• Asegura la infraestructura organizativa. Contar con el sistema de gestión de datos adecuado implica tener las mentes adecuadas que son capaces de afrontar el reto de garantizar la calidad de los datos. Para muchas organizaciones, eso significa promocionar empleados o incluso incorporar nuevos empleados.

Roles y responsabilidades del DQM

Una organización comprometida con garantizar que sus datos están de alta calidad debería considerar que los siguientes roles son parte de su equipo de datos:

• El Gestor de Programa DQM marca el tono en relación con la calidad de los datos y ayuda a establecer los requisitos de calidad de los datos. Esta persona también está responsable de controlar las tareas diarias de gestión de la calidad de los datos, asegurando que el equipo están dentro del programa, dentro del presupuesto y cumpliendo con los estándares de calidad de datos preestablecidos.
• El Gestor de Cambio Organizacional es fundamental en el cambio de gestión del cambio que se produce cuando los datos se están utilizados eficazmente, y esta persona toma decisiones sobre la infraestructura y los procesos de datos.
• El analista de datos/analista de negocio interpreta e informa sobre los datos.
• El Administrador de Datos está encargado de gestionar los datos como un activo corporativo.

Tecnología de apalancamiento

Las soluciones de calidad de datos pueden Haz el proceso más sencillo. Aprovechar la tecnología adecuada para una organización empresarial aumentará la eficiencia y la calidad de los datos para empleados y usuarios finales.

Mejorar la calidad de los datos: mejores prácticas

La calidad de los datos puede mejorarse de muchas maneras. La calidad de los datos depende de cómo te seleccionado, definido y medido los atributos y dimensiones de calidad. En un entorno empresarial, son hay muchas formas de medir y hacer cumplir la calidad de los datos. Las organizaciones de TI pueden tomar los siguientes pasos para garantizar que la calidad de los datos están objetivamente alta y están utilizada para entrenar modelos que generen un impacto rentable en el negocio:

• Encontrar las dimensiones de calidad de datos más adecuadas desde la perspectiva empresarial, operativa y del usuario. No todas las 60 dimensiones de calidad de datos son necesarias para cada utiliza caso. Probablemente, incluso las 12 incluidas arriba son demasiadas para un solo caso utiliza.
• Relaciona cada dimensión de calidad de datos con un objetivo y meta mayores. Este objetivo puede ser intangible, como la satisfacción del usuario y la fidelidad a la marca. Las dimensiones pueden estar altamente correlacionadas con varios objetivos: TI debería determinar cómo optimizar cada dimensión para maximizar el conjunto más amplio de objetivos.
• Establece los KPIs, métricas e indicadores adecuados para medir con precisión cada dimensión de calidad de datos. Elige las métricas adecuadas y entiende cómo compararlas correctamente.
• Mejorar la calidad de los datos en la fuente. Aplicar prácticas de limpieza de datos en el borde de la red donde se están generados los datos (si es posible).
• Elimina las causas raíz que introducen errores y fallos en la calidad de los datos. te puede tomar un atajo cuando te encontrar un dato erróneo, corrigiéndolo manualmente, pero eso significa que no te haber evitado lo que causó el problema en primer lugar. El análisis de causa raíz están una práctica necesaria y valiosa para los datos.
• Comunícate con los interesados y socios implicados en el suministro de datos. La limpieza de datos puede requerir un cambio de responsabilidad en la fuente que puede ser externo a la organización. Al transmitir los mensajes correctos a los creadores de datos, las organizaciones pueden encontrar formas de obtener datos de alta calidad que favorezcan a todos los miembros de la cadena de suministro de datos.

Por último, identifica y entiende los patrones, conocimientos y abstracción ocultos en los datos, en lugar de desplegar modelos que agrupan los datos en bruto en características predefinidas con relevancia limitada para los objetivos empresariales reales.

Lecturas relacionadas

• Blog de Aprendizaje Automático y Big Data de BMC
• Análisis de datos frente a análisis de datos: ¿cuál es la diferencia?
• 3 claves para construir Pipelines de datos resilientes
• Gestión de Datos vs Gobernanza de Datos: Principales diferencias
• Big Data vs Analytics vs Data Science: ¿Cuál es la diferencia?
• Guía de visualización de datos, una serie de tutoriales sobre gráficos, tablas, Tableau Online y más

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.