¿Qué es la arquitectura de datos? Componentes, principios y ejemplos

La arquitectura de datos están un marco para cómo la infraestructura de TI apoya tu estrategia de datos. El objetivo de cualquier arquitectura de datos están mostrar la infraestructura de la empresa, incluyendo cómo están adquisier, transportar, almacenar, consultar y asegurar los datos. La arquitectura de datos están la base de cualquier estrategia de datos. La tecnología de IA están cambiando radicalmente las infraestructuras de datos, específicamente la arquitectura de datos y las estrategias para su manejo. La arquitectura de datos define cómo tu organización captura los datos, cómo se almacenan y gestionan, y cómo están utilizan esos datos. Las aplicaciones de IA exigen mejores formas de gestionar volúmenes masivos de datos, así como aumentos en la capacidad computacional. Para manejar aplicaciones sofisticadas de IA, tu infraestructura de datos debe apoyar la agilidad, tanto para las demandas empresariales que cambian rápidamente como para manejar el ritmo acelerado de la innovación en IA. Tu arquitectura de datos debe ser altamente eficiente, resiliente y sólida, y también debe ofrecer escalabilidad. ¿Cómo pueden te Lograr estos requisitos? En este artículo, analizaremos:

• Definición de arquitectura de datos
• Componentes arquitectónicos
• Marcos comunes de arquitectura de datos
• Estándares de datos
• El cambio a una nueva arquitectura

Vamos a Obtén adelante.

¿Qué es la arquitectura de datos?

La arquitectura de datos están la estructura y organización de cómo te adquirir datos, almacena los y gestiona los, y, en última instancia, cómo tus sistemas acceden y utiliza ellos. Los componentes de la arquitectura de datos incluyen modelos de datos, reglas y políticas, tecnologías de acceso y seguridad de datos, y procesos analíticos y resultados. La arquitectura de datos resuelve el "cómo" para implementar tu estrategia de datos.

Ejemplos de arquitectura de datos

Diferentes ejemplos de arquitectura de datos incluyen:

• Almacenar un archivo como .csv en un disco duro local y leer el archivo en Tableau en el ordenador de una persona para su análisis.
• Transmitir datos desde un conjunto de registros de punto de venta hacia la contabilidad.
• Acumular datos en un lago de datos a gran escala y luego usar herramientas de big data como Spark o Hadoop para procesarlos y analizarlos.
• Capturar datos y colocarlos en un lugar donde puedan ser gestionados por varias unidades de negocio en una sola plataforma.
• Una arquitectura de datos empresarial combina desde archivos .csv hasta data lakes y almacenes, pasando por el streaming de datos, utilizando marcos de integración de datos y herramientas de inteligencia empresarial.

¿Por qué es importante la arquitectura de datos?

La arquitectura de datos están 100% responsable de aumentar la libertad de movimiento de una empresa por el mundo. Si la agilidad están lo que se está necesario para evitar el colapso durante las temporadas bajas o para aprovechar la popularidad espontánea de un nuevo producto, cuanto más avanzada están la arquitectura de datos, más capaz están la empresa para actuar. Explícitamente, la arquitectura de datos está importante porque:

• Ofrece una visión más completa de lo que está ocurriendo en la empresa
• Crea una mejor comprensión de los datos de la empresa
• Ofrece protocolos mediante los cuales los datos se trasladan desde su origen hasta ser analizados y consumidos por sus destinos
• Garantiza que están un sistema para proteger los datos
• Otorga a todos los equipos la capacidad de Haz decisiones basadas en datos

Componentes clave de la arquitectura de datos

Los componentes arquitectónicos del mundo actual de la arquitectura de datos son:

• Pipelines de datos: Se refiere a los métodos utilizados para incorporar datos en bruto a un almacena de datos, normalmente con alguna transformación o procesamiento.
• Almacenamiento en la nube: Este modelo para recopilar y conservar datos se basa en dispositivos remotos a los te pueden acceder a través de una red.
• Interfaces de programación de aplicaciones (APIs): Este conjunto de reglas proporciona funciones existentes para conectarse, comunicarse y compartir entre software.
• Modelos de IA y ML: Estos conjuntos de programas encuentran patrones en los datos para Haz decisiones o predicciones para resolver tareas.
• Transmisión de datos: Se refiere a transferir continuamente datos desde su fuente o fuentes para su utiliza en el procesamiento hacia las salidas.
• Kubernetes: Este sistema de código abierto automatiza el despliegue, escalado y gestión de aplicaciones en contenedores para mayor eficiencia.
• Computación en la nube: Consiste en proporcionar servicios informáticos en dispositivos remotos que son accedidos y gestionados a través de internet.
• Análisis en tiempo real: Utiliza datos, software y hardware para analizar los datos tan pronto como se están generados.

Marcos comunes de arquitectura de datos

Un marco de arquitectura de datos es un enfoque estructurado para definir tu estrategia de datos, incluyendo cómo organizar datos, procesarlos, analizarlos y documentarlos.

• El Open Group Architectural Framework (TOGAF): Un enfoque modular para crear una jerarquía y un marco de contenidos que elimina redundancia e ineficiencia, al tiempo que mejora la usabilidad de los datos.
• Gestión de Datos - Cuerpo de Conocimiento (DAMA-DMBOK2): Aplica las mejores prácticas para la gobernanza, calidad y seguridad de los datos.
• El Marco Zachman: Proporciona una estructura matricial lógica para soportar tanto sistemas automatizados como manuales para alinear el departamento de TI con los objetivos empresariales.

¿Cuáles son los estándares de datos?

Los estándares de datos son los estándares generales de una arquitectura de datos, que te aplicas a áreas como los esquemas de datos y la seguridad.

Esquemas de datos

Un esquema de datos define cómo te organizar los datos dentro de una base de datos, incluyendo especificar su formato, relaciones y estándares para almacenamiento y acceso. El esquema de datos detalla:

• Cada entidad que debe ser recogida. El esquema para la información de contacto, por ejemplo, puede incluir nombre, número de teléfono, correo electrónico y lugar de trabajo.
• El tipo de datos que cada pieza debería tener. Por ejemplo, el nombre están datos de texto, número de teléfono están datos enteros, correo electrónico están datos de texto y lugar de trabajo están datos de texto.
• La relación de esa entidad con otras en la base de datos, como de dónde proviene y hacia dónde va.

La mayoría de las empresas actualizan su esquema de datos en función de las necesidades empresariales, aplicaciones y modelos de datos cambiantes. A medida que los datos se vuelven cada vez más omnipresentes, las empresas son alejándose de bases de datos locales hacia bases de datos relacionales nativas de la nube escalables. te pueden añadir y combinar fácilmente datos de una red de fuentes de datos en las bases de datos relacionales (NoSQL) actuales sin estar restringidas a una jerarquía fija. Además, estas bases de datos relacionales pueden crecer mucho más y gestionar la adición de datos dinámicamente mediante integraciones con herramientas analíticas que no son posibles con bases de datos SQL tradicionales. Actualizar y modificar tu esquema de datos, o "versionarlo", están vital. La versión del esquema de datos ayuda a estandarizar qué encontrar, dónde y la capacidad de preguntar cuándo un conjunto de datos estaba en una ubicación. (Explora el almacenamiento de datos desde la base de datos hasta el almacén, el lago y de caliente a frío.)

Seguridad de los datos

Los estándares de datos también ayudan a establecer las reglas de seguridad para la arquitectura. Estas pueden visualizarse en la arquitectura y el esquema mostrando qué datos pasan y dónde y, cuando viajan del punto A al punto B, cómo están asegurados los datos. Los protocolos de seguridad pueden incluir:

• Cifrado de datos durante el viaje
• Restringir el acceso a individuos
• Anonimizar los datos para disminuir el valor de la información al recibirla por parte de la parte receptora
• Acciones adicionales

Cambio a una nueva arquitectura

La IA está impulsando las tendencias de la arquitectura de datos, reflejando la necesidad de procesar datos en tiempo real, gestionando volúmenes masivos de datos de fuentes diversas en múltiples formatos y apoyando consultas y análisis altamente sofisticados. Las tendencias incluyen:

• Descentralizar la gestión de datos y alejarse de almacenes de datos centralizados o incluso de lagos de datos hacia colecciones de datos específicas de dominio o departamento, todo gestionado en una única plataforma.
• Integraciones unificadoras de datos, a veces llamadas data fabric, utilizando IA y automatización para conectar datos entre plataformas en entornos híbridos o multi-nube.
• Procesamiento en tiempo real, o streaming continuo, para apoyar aplicaciones como la protección contra fraudes, la función del IoT y la ejecución de IA.
• Impulsar decisiones de gestión de datos con la IA en el centro para automatizar los fundamentos de gobernanza, control de calidad y optimización.
• Utilizando bases de datos distribuidas y múltiples modelos para garantizar la escalabilidad global con alta resiliencia ante la conmutación por error.
• Diseñando para la ciberseguridad y el cumplimiento de diversos marcos y normativas en mente.

Cuando pienses en cualquier cosa relacionada con los datos —que están posiblemente todo— te deberías considerar siempre la arquitectura de datos.

Lecturas relacionadas

• BMC Business of IT Blog
• Blog de Aprendizaje Automático y Big Data de BMC
• BMC Guides, que ofrece tutoriales en varias partes sobre una variedad de productos de datos
• Ética de los Datos para Empresas
• 3 claves para construir Pipelines de datos resilientes
• 5 preguntas que debes hacer sobre los datos en tu entorno SaaS

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.