Puntos clave: Las mejores prácticas en automatización de big data enfatizan las limitaciones de Oozie en comparación con herramientas empresariales como Control-M, destacando problemas como la falta de monitorización y notificaciones de errores. Se son aconsejado a las empresas integrar Hadoop con herramientas de automatización integrales para mejorar la eficiencia y visibilidad.
- Oozie carece de notificaciones de error robustas ni de funciones de alerta.
- Las herramientas de automatización de cargas de trabajo proporcionan una mejor lógica de dependencias e integración.
Para muchos desarrolladores de Hadoop, usar Oozie parecería natural. Está parte de la instalación de Hadoop, está estándar en la mayoría de los proveedores Hadoop y ofrece una forma de programar procesos completos por lotes en lugar de trabajos Hadoop individuales como Pig y Hive.
A menudo, lo que muchos desarrolladores de Hadoop son no entienden están cómo se integra con el resto del negocio, especialmente si ese negocio está usando un planificador por lotes o una herramienta de automatización de cargas de trabajo como Control-M u otra herramienta. Algunos puntos a considerar: • La mayoría de las empresas ya tienen un grupo designado para monitorizar flujos críticos de producción • Las notificaciones de errores y alertas son limitadas en Oozie • La lógica de dependencias en Oozie no está tan robusta como la automatización de cargas de trabajo de clase empresarial • Hadoop no está un proceso independiente, obtiene datos de diferentes fuentes y los envía de vuelta • El procesamiento dinámico está limitado
Monitorización de los flujos críticos de producción
Una de las diferencias clave están quién están monitorizando los flujos. La mayoría de las empresas con automatización de cargas de trabajo cuentan con un equipo dedicado como primera línea de defensa en el monitoreo de lotes. Estos procesos por lotes son suelen considerarse flujos de producción y contienen procesos que son críticos para todo el negocio. El entorno de procesamiento por lotes supervisa prácticamente todas las aplicaciones de la empresa, como Data Warehouse, ERP, herramientas de origen local, cadena de suministro y muchas otras. Este equipo están el primero en Ve problemas o situaciones que puedan causar dificultades para el negocio. Las herramientas de automatización de cargas de trabajo proporcionan interfaces de usuario para todos los niveles de visibilidad de los flujos por lotes. Si los flujos son definidos y ejecutados por Oozie, el equipo por lotes tendría que conoce otra herramienta, Oozie, y no podría Ve la lógica de extremo a extremo de todo el flujo. Estos flujos tendrán que ser monitorizados por el equipo que los creó o como parte del equipo de Desarrollo de Aplicaciones. En esencia, la monitorización de los procesos de Oozie tendría que trasladarse a un equipo generalmente más caro y menos centralizado. Y, lo más notable, si estos flujos son críticos para el negocio, no son monitorizados junto con el resto de procesos.
Las notificaciones de error y las alertas son limitadas
Aunque Oozie ofrece cierta capacidad de alertas por correo electrónico basadas en decisiones definitorias, no está robusto para otras alertas ni sencillo de Define decisiones. Una herramienta de automatización de cargas de trabajo como Control-M ofrece múltiples opciones para enviar alertas o tomar acciones sobre ellas. El envío de alertas puede incluir mensajes SNMP, correo electrónico con salida adjunta o mensajes a un panel de alertas centralizado. Las acciones pueden incluir reejecutar el proceso, ejecutar un proceso de autoreparación, abrir tickets de help desk, publicar la dependencia para otro trabajo o realizar cualquiera de estas acciones basándose en un código de error específico.
La lógica de dependencias no está tan robusta
A diferencia de muchas herramientas que incluyen alguna función de planificación, Oozie ofrece al desarrollador una forma de Crea flujos en lugar de programa un solo proceso. Puede programa todos los trabajos tipo Hadoop, pero también incluye trabajos de Java, SSH, streaming y scripts de shell. Usando scripts de shell, el desarrollador puede ejecutar cualquier integración de línea de comandos con otro paquete de terceros. Lo que no puede hacer están Haz conexiones directas a estos paquetes como Informatica, IBM Datastage u otras herramientas. Las herramientas de automatización de cargas de trabajo como Control-M proporcionan verdaderas integraciones que se conectan con una herramienta de terceros y ejecutan, supervisan y controlan esos procesos. Tiene una capacidad de seguimiento de archivos más robusta para asegurar que los datos están recibidos antes de que se ejecuten los trabajos Hadoop. También puede ejecutar scripts SQL, procedimientos almacenados, SSIS y procesos SQL Agent contra múltiples bases de datos para Obtén o publicar datos Hadoop. Más importante aún, puede agrupar tanto los procesos Hadoop como los procesos externos en un solo servicio coordinado. Este servicio puede gestionarse según sus Acuerdos de Nivel de Servicio, enviando notificaciones cuando llega tarde o es problemático. Puede visualizarse y monitorizarse a través de múltiples interfaces de usuario, incluyendo aplicaciones web y móviles. Las dependencias pueden crearse basándose en múltiples escenarios, incluyendo archivos, trabajos que se completan o incluso procesos externos que se publican en ellas. Los flujos pueden ser impulsados por el tiempo o por eventos, o ambos. Pueden ejecutarse simultáneamente o de un solo hilo.
Hadoop no está un proceso independiente
Los desarrolladores de Hadoop son centrados en sus procesos de Big Data y puede que no sean conscientes de otras aplicaciones y tecnologías que Operaciones de TI necesita gestionar. considera el proceso terminado cuando su flujo Oozie son completado. En realidad, otras partes de la empresa requieren salida de Hadoop para realizar su trabajo y actualizar sus sistemas. Aquellos equipos que incorporan Hadoop a herramientas como Control-M han creado servicios que incluyen estos procesos no relacionados con Hadoop. En muchos casos, múltiples trabajos y aplicaciones necesitan procesar datos antes de que Hadoop pueda realizar sus funciones. La salida de Hadoop también se enviará a otros sistemas, todos ellos son siendo monitorizados y controlados por la herramienta de automatización de cargas de trabajo. Dado que se han configurado alertas y notificaciones para estos procesos que no son Hadoop ni Hadoop, todo el flujo está gestionado.
El procesamiento dinámico está limitado
La mayoría de los flujos de Oozie son programados en función de una hora o se agrupan con una hora. Aunque el equipo de desarrollo tiene acceso y puede ejecutar flujos dinámicamente, no están disponibles para que equipos externos hagan lo mismo. Utilizando una herramienta de automatización de cargas de trabajo como Control-M, cualquier usuario puede tener la capacidad de ejecutar, supervisar y controlar dinámicamente sus servicios y trabajos. Además, estos servicios son monitorizados para detectar retrasos o fallos que impidan su finalización a tiempo.
Resumen
Aunque Oozie tiene más capacidades y opciones que la herramienta tradicional de planificación integrada en un producto de terceros, aún carece de gran parte de la funcionalidad empresarial requerida en la que todo el negocio debe confiar en última instancia. Especialmente en comparación con la funcionalidad disponible en herramientas avanzadas de automatización de cargas de trabajo como Control-M. Muchas empresas son pidiendo al equipo de desarrollo de Hadoop que trabaje con los equipos de WA y Cree flujos funcionales en las herramientas adecuadas.
Guía completa de Hadoop de BMC
Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.