Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Tajo
Tu flujo de trabajo en Tajo comienza antes de que se ejecute una consulta SQL distribuida — y puede fallar cuando algo aguas arriba se estropea. Una partición HDFS llega incompleta. Una transformación Spark termina tras su ventana de procesamiento. Control-M orquesta toda la cadena — llegada de datos HDFS, transformación Spark y ejecución de consultas Tajo vía Control-M para Hadoop — hasta la entrega posterior.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan consultas Tajo en múltiples herramientas. Así es como Control-M gestiona cada una.
LLEGADA DE HDFS
Comienza tu consulta de las 02:00 en Tajo. La entrada HDFS está incompleta.
El Watcher de archivos HDFS de Control-M espera la ruta requerida y el tamaño mínimo del archivo antes de liberar el trabajo de Tajo. La falta o el tamaño de datos mantienen la ejecución bloqueada, evitando que la consulta se inicie contra una entrada incompleta.
RETRASO DE LA SUBIDA
Tu transformación de Chispa se retrasa. Tajo ya está esperando río abajo.
Control-M modela Spark y Tajo como trabajos dependientes en el mismo flujo de trabajo. La consulta Tajo espera a que se complete con éxito en el upstream en lugar de depender de una ventana cron fija, manteniendo la ejecución alineada con la preparación real de los datos
FALLO DE MANDO
Un comando de preparación de HDFS falla antes incluso de que comience la consulta de Tajo.
Control-M ejecuta pre-comandos HDFS antes de la ejecución de Tajo y puede fallar el trabajo cuando falla un comando de preparación. La consulta se está detenida antes de procesar entradas comprometidas, mientras que los operadores reciben un claro fallo de trabajo para investigar.
FALLO DE CONSULTA
Una consulta de Tajo en producción falla a mitad de la cadena de procesamiento nocturno.
Control-M captura el resultado del trabajo dentro del flujo de trabajo más amplio, impide que el procesamiento dependiente avance y pone a la luz el fallo para las operaciones. La recuperación puede coordinarse desde el mismo contexto de flujo de trabajo en lugar de rastrear fallos a través de horarios separados.
RIESGO DE SLA
La consulta tiene éxito, pero la entrega posterior está ahora tendiendo tarde.
Control-M rastrea a Tajo como parte del servicio completo en lugar de una consulta aislada. SLA Management supervisa la cadena de trabajos crítica y puede mostrar el riesgo de retraso antes de que se están incumplido el plazo final de entrega.
DATOS DE INTEGRACIÓN
Control-M + Tajo
|
workload.types |
Consultas abiertas de Tajo · Trabajos de archivo de entrada de Tajo · consultas SQL distribuidas · Analítica HDFS · ETL por lotes · Ejecución ad hoc de consultas ad hoc |
|
trigger.type |
Llegada de archivos HDFS · Umbral mínimo de tamaño HDFS · programa de tiempo · Finalización de trabajos aguas arriba · Evento Control-M · Envío de API de automatización |
|
cross_tool.deps |
Todo entregado a través de Control-M para Hadoop: HDFS File Watcher · Comandos HDFS · Apache Spark · Apache Hive · Sqoop · Java MapReduce · Pig · Flujos de trabajo Oozie · Entrega de archivos |
|
cloud.platforms |
Clústeres Hadoop locales (HDFS) · al menos un Control-M/Agent con Control-M para Hadoop por clúster · Orquestación SaaS Control-M del clúster Hadoop |
|
error_handling |
detección de fallos previos a los comandos · gestión de fallos posteriores · bloqueos de dependencias aguas abajo · alertas de fallos de trabajos · monitorización SLA · recuperación controlada |
|
Rendimiento |
cargas de trabajo SQL distribuidas · grandes conjuntos de datos HDFS · ETL por lotes · análisis ad hoc · ejecución SQL basada en archivos de entrada |
|
Observabilidad |
Estado de ejecución del trabajo · salida del trabajo · visibilidad de dependencias · historial de flujo de trabajo · seguimiento SLA · alertas de fallo · monitorización de flujo de trabajo de extremo a extremo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre Tajo, HDFS, Spark, Hive, Sqoop, transferencias de archivos y servicios Hadoop en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: llegada de HDFS → transformación de Spark → consulta de Tajo → transferencia de análisis
- Disparadores conscientes de datos: llegada de archivos HDFS, tamaño mínimo de archivo, finalización de trabajos aguas arriba, procesamiento programado
|
Tajo (un tipo de trabajo Hadoop) |
ejecución de consultas abiertas · ejecución de archivos de entrada · comandos HDFS pre/post · |
|
Dependencias de flujo de trabajo HDFS |
Vigilancia de llegada de archivos · criterios de tamaño mínimo · comandos HDFS · Acceso de Disponibilidad de Datos |
|
Chispa Apache |
Ejecución en Python · Aplicaciones Java/Scala · Orquestación de transformaciones ascendentes |
|
Colmena Apache |
Ejecución de trabajos colmena · parámetros de script · Dependencias del flujo de trabajo Hadoop |
|
Sqoop |
ejecución de comandos · orquestación de movimiento de datos · procesamiento dependiente |
|
Oozie |
ejecución de flujo de trabajo · propiedades de trabajo · procesamiento coordinado de Hadoop |
|
Control-M MFT |
movimiento gestionado de archivos · dependencias de entrega · activación del flujo de trabajo aguas abajo) |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Ve la ejecución de Tajo en la cadena completa de datos
Tajo muestra lo que ocurre dentro de su entorno de consultas distribuido; no proporciona la vista operativa de todas las dependencias externas que rodean esa consulta. Control-M conecta la ejecución de Tajo con el flujo de trabajo de producción más amplio, dando visibilidad a los equipos de datos sobre:
-
Estado de ejecución de trabajos en Tajo
-
Dependencias aguas arriba y aguas abajo
-
Producción y fracasos laborales
-
Historial de flujos de trabajo de extremo a extremo
-
Estado del procesamiento multiplataforma
GARANTÍA DE LA SLA
Mantén los servicios de datos dependientes de Tajo en programa
Una consulta Tajo exitosa aún puede contribuir a una entrega perdida cuando el procesamiento upstream comienza tarde o el trabajo posterior se estanca. Control-M gestiona el servicio a lo largo de toda la cadena de dependencias para que los equipos puedan identificar riesgos de programa antes de que la entrega se están afectada:
-
Seguimiento SLA de extremo a extremo
-
Visibilidad de dependencias de rutas críticas
-
Detección predictiva de retardos
-
Alertas automáticas de fallo
-
Recuperación coordinada aguas abajo
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.