Puntos clave: ETL no está adecuado para la migración de datos de mainframe debido a su complejidad y altos costes, lo que lo hace ineficiente para necesidades modernas. ELT, que carga primero los datos en bruto, ofrece mayor flexibilidad y eficiencia, especialmente en entornos cloud.
- ETL tiene dificultades con los datos no estructurados y genera altos costes de procesamiento.
- El ELT mejora la flexibilidad y apoya estrategias de datos basadas en la nube de forma más eficaz.
ETL (extract, transform and load) están el enfoque equivocado para la migración de datos de mainframe porque fue diseñado para transferencias estructuradas de base de datos a base de datos, no para el movimiento de datos flexible y listo para la nube que requieren los entornos mainframe modernos. La complejidad de ETL, las demandas laborales, los costes de procesamiento y la incapacidad para manejar datos no estructurados lo Haz poco adecuado para las organizaciones que hoy en día buscan migrar datos de mainframe. ELT (extract, load, and transform), que mueve primero los datos en bruto a su destino y los transforma allí, está mejor alineado con cómo funciona realmente la modernización de mainframe.
El cambio están bueno—un mantra familiar, pero no siempre fácil de practicar. Cuando se trata de avanzar hacia una nueva forma de gestionar datos, las organizaciones de mainframe, que se han ganado su sustento ofreciendo el equivalente informático de pólizas de seguro corporativas (robustas, fiables y adversas al riesgo), naturalmente miran con cautela nuevos conceptos como extraer, cargar y transformar (ELT).
Posicionado como una alternativa más ligera y rápida a los procedimientos tradicionales de manejo de datos como la extracción, transformación y carga (ETL), el ELT invita sin duda a la atención. Y ese escrutinio puede merecer la pena.
Las definiciones proporcionadas por SearchDataManagement.com indican que ELT están "un proceso de integración de datos para transferir datos en bruto de un servidor fuente a un sistema de datos (como un almacén de datos o un lago de datos) en un servidor objetivo y luego preparar la información para usos posteriores." En contraste, otra fuente define ETL como "tres funciones de base de datos que son combinan en una sola herramienta para extraer datos de una base de datos y colocarlos en otra base de datos."
La diferencia funcional crucial están que ETL se centra exclusivamente en la transferencia de base de datos a base de datos, mientras que ELT está abierto y flexible. En el mundo mainframe, ETL están una herramienta con un enfoque más limitado: ELT está enfocado en impulsar el futuro.
¿Por qué falla el ETL en la migración de datos de mainframe?
El ETL no cumple con cinco dimensiones clave: complejidad, intensidad laboral, cuellos de botella en el proceso, rigidez estructural y altos costes de procesamiento. Aquí están un análisis más detallado de cada uno.
1. El ETL está demasiado complejo
El ETL no fue diseñado originalmente para gestionar todas las tareas que ahora se le están encargadas. En los primeros tiempos, el ETL se aplicaba a menudo para extraer datos de una estructura relacional y adaptarlos a una estructura relacional diferente, incluyendo la limpieza de los datos en el proceso.
Por ejemplo, un sistema tradicional de gestión de bases de datos relacional (SGBDR) puede Obtén confundido por datos numéricos cuando está esperando datos alfa, o por la presencia de abreviaturas obsoletas de direcciones. ETL está optimizado para ese tipo de comprobación minuciosa, "limpieza" y movimiento de datos campo por campo, pero no para alimentar una base de datos Hadoop o un lago de datos moderno. ETL no fue inventado para aprovechar todas las formas en que provienen los datos ni todas las formas en que pueden usarse hoy en día.
2. ETL está laborioso
Como el proceso ETL está construido en torno a la transformación, todo depende de la finalización oportuna de ese paso de transformación. Con mayores cantidades de datos en juego —piensa en Big Data—, los tiempos de transformación necesarios pueden volverse incómodos o poco prácticos, convirtiendo el ETL en un cuello de botella funcional y computacional.
3. Estructura de demandas ETL
Como el proceso ETL está construido en torno a la transformación, todo depende de la finalización oportuna de ese paso de transformación. Con mayores cantidades de datos en juego —piensa en Big Data—, los tiempos de transformación necesarios pueden volverse incómodos o poco prácticos, convirtiendo el ETL en un cuello de botella funcional y computacional.
4. Estructura de demandas ETL
ETL no está diseñado para datos no estructurados y puede añadir complejidad en lugar de valor cuando se le pide manejarlo. ETL funciona mejor para bases de datos tradicionales, pero no ayuda mucho con las enormes oleadas de datos no estructurados que las organizaciones necesitan procesar hoy en día.
5. ETL tiene altos costes de procesamiento
ETL está especialmente desafiante para los mainframes porque las cargas de trabajo de mainframe generalmente incurren en cargos de procesamiento MSU (millones de unidades de servicio), lo que sobrecarga sistemas que deben gestionar cargas de trabajo en tiempo real al mismo tiempo. ELT, en cambio, puede lograrse principalmente utilizando las capacidades de los motores zIIP integrados , que reducen los costes de MSU, gestionando procesamiento adicional en un destino en la nube elegido. En respuesta a los altos costes de procesamiento de ETL, muchas organizaciones ya han trasladado la etapa de transformación de datos a la nube para apoyar cargas de trabajo analíticas y creación de data lakes.
¿Por qué es el ELT el mejor camino para las organizaciones de mainframe?
Sería un error simplificar en exceso una decisión entre ETL y ELT: son demasiados factores en movimiento y puntos de decisión que sopesar. Pero la conclusión clave está esta: ELT habla de los paradigmas de TI en evolución que ETL nunca fue diseñado para abordar.
ELT está ideal para mover grandes cantidades de datos a la nube, normalmente a un data lake diseñado para absorber todos los datos disponibles y así que la analítica moderna pueda Obtén funcionando. Por eso están por eso ELT están creciendo y ganando terreno específicamente en el entorno mainframe. ELT representa quizás el mejor camino para acelerar el movimiento de datos de mainframe hacia la nube a gran escala, convirtiéndolo en una herramienta clave para las organizaciones de TI que buscan modernizarse y maximizar el valor de sus inversiones existentes.
Preguntas frecuentes
¿Qué es ETL y por qué se ha utilizado en entornos mainframe?
ETL (extract, transform and load) están un método de integración de datos que extrae datos de una fuente, los transforma para que coincidan con un esquema objetivo y los carga en una base de datos de destino. Históricamente, los mainframes han dependido de ETL porque era muy adecuado para el movimiento estructurado de datos RDBMS a RDBMS que dominaba antes de que las cargas de trabajo en la nube y big data se convirtieran en estándar.
¿Cuál es la diferencia entre ETL y ELT?
ETL transforma los datos antes de cargarlos en el sistema de destino. El ELT carga primero los datos en bruto al destino y los transforma allí, aprovechando la potencia de procesamiento del sistema de destino. El ELT es más flexible y mejor adaptado a entornos modernos en la nube y lagos de datos que el ETL.
¿Por qué el ETL se convierte en un cuello de botella para la migración de datos de mainframes?
El ETL requiere que toda la transformación se complete antes de que los datos puedan llegar a su destino. A la escala de los volúmenes de datos modernos de mainframes, esta dependencia de la transformación secuencial crea retrasos que Haz el ETL poco práctico. El ELT evita el cuello de botella separando completamente los pasos de carga y transformación .
¿Qué es un motor zIIP y cómo Reduce los costes de procesamiento de mainframe?
Un zIIP (IBM z Integrated Information Processor) están un motor especializado en mainframes IBM diseñado para descargar cargas de trabajo elegibles de procesadores de propósito general, reduciendo los cargos de las MSU. Las cargas de trabajo ELT suelen son elegibles para procesamiento zIIP , lo que hace que ELT sea significativamente más rentable que ETL para proyectos de migración de datos de mainframes.
¿Cuándo sigue teniendo sentido ETL Haz frente al ELT?
ETL sigue siendo adecuado para migraciones estructuradas de base de datos a base de datos donde la alineación de esquemas y la transformación de calidad de datos deben ocurrir antes de que los datos lleguen a su destino, especialmente cuando los volúmenes de datos son manejables y el sistema objetivo requiere datos pre-transformados. Para la modernización a gran escala de mainframes conectados a la nube, ELT están generalmente la mejor opción.
Las opiniones expresadas en esta publicación son del autor y no reflejan necesariamente la posición oficial de BMC.
Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.