Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + GCP Composer
Tu flujo de trabajo de GCP Composer comienza antes de que un DAG de Airflow se ejecute — y puede fallar cuando algo aguas arriba falla. Un objeto de almacenamiento en la nube llega tarde. Un trabajo de Dataflow pierde el tiempo esperado de finalización. Control-M orquesta toda la cadena: llegada de almacenamiento en la nube, transformación de flujo de datos, ejecución de GCP Composer y entrega posterior de BigQuery.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de funcionamiento para equipos que ejecutan DAGs de GCP Composer en múltiples herramientas. Así es como Control-M gestiona cada uno.
LLEGADA DE DATOS
Tu objeto Cloud Storage está retrasado. El DAG de Composer está programado de todas formas.
Control-M coordina el DAG con las condiciones del flujo de trabajo aguas arriba, de modo que la ejecución puede esperar los datos necesarios en lugar de depender solo de un calendario aislado. El flujo de trabajo avanza cuando son cumplidas sus dependencias, evitando el procesamiento prematuro y fallos posteriores.
DEPENDENCIA ENTRE HERRAMIENTAS
Tu trabajo de Dataflow terminó tarde. La partida de Composer ya pasó.
Control-M rastrea la finalización aguas arriba y coordina el DAG de GCP Composer con el flujo de trabajo circundante. Las dependencias entre herramientas reemplazan ventanas de programación desconectadas, por lo que el procesamiento retrasado no deja al DAG esperando el siguiente programa o un disparo manual.
RECUPERACIÓN DE FALLOS
Tu DAG falló a las 2:13 de la madrugada. Los trabajos posteriores son aún esperando
Control-M monitoriza el estado del trabajo de GCP Composer y aplica un manejo definido de fallos antes de que el trabajo dependiente continúe. El soporte para reejecuciones DAG, la gestión definida del estado de fallo (incluyendo upstream_failed y saltados) y el control de dependencias aguas abajo ayudan a contener el procesamiento de fallos y restauraciones sin liberar ciegamente etapas posteriores del flujo de trabajo.
REPETICIÓN DE LA DADA
El DAG falló a mitad de camino. Ahora te necesito una repetición controlada.
Control-M soporta reejecuciones de GCP Composer DAG con la opción de reprobar solo tareas fallidas, además de un comportamiento configurable de ID de Rerun DAG. La recuperación pasa a formar parte del flujo de trabajo orquestado de producción, ayudando a los equipos a reiniciar el procesamiento de forma controlada manteniendo la coordinación con dependencias aguas arriba y aguas abajo.
RIESGO DE SLA
El DAG está en marcha. Tu entrega de las 7:00 AM está en riesgo
Control-M gestiona el trabajo de Composer dentro del flujo de trabajo de extremo a extremo y puede adjuntarle un trabajo SLA para el seguimiento de entregas. Los equipos obtienen visibilidad sobre cómo los retrasos aguas arriba y la ejecución del DAG afectan a la entrega, ayudando a las operaciones a responder antes de que los retrasos en la tubería se conviertan en plazos de negocio incumplidos.
Control-M + GCP Composer
Control-M + GCP Composer
|
workload.types |
Airflow DAG se ejecuta · Se reejecutan el DAG (solo reintentos fallidos) · JSON-payload DAG se ejecuta · Pipelines de datos programados · Flujos de trabajo de datos multiplataforma |
|
trigger.type |
Finalización de tareas aguas arriba · llegada de archivos · programa de tiempo · dependencia del flujo de trabajo · ejecución impulsada por API · condición Control-M |
|
cross_tool.deps |
Llegada de almacenamiento en la nube · Finalización de tareas de flujo de datos · Trabajo de BigQuery · Trabajo de proceso de datos · Llamada a la API REST · Finalización de transferencia de archivos |
|
cloud.platforms |
Google Cloud Platform · GCP Composer · Almacenamiento en la nube · Dataflow · BigQuery · Dataproc |
|
error_handling |
Reejecución de DAG · reintentar solo tareas fallidas · gestión del estado de fallo (upstream_failed, saltado) · Reejecutar control de ID DAG · prevención en cascada aguas abajo · trabajo SLA adjunto |
|
Rendimiento |
Pipelines por lotes programados · ejecuciones DAG parametrizadas · Ejecución de flujo de trabajo entre herramientas · traspasos automatizados de datos · captura de registros de tareas a la salida de trabajos |
|
Observabilidad |
Estado de la ejecución DAG · salida de trabajo · recuperación de salida de tareas · monitorización Control-M · seguimiento SLA · visibilidad de dependencias de extremo a extremo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre GCP Composer, almacenamiento en la nube, Dataflow, BigQuery, Dataproc, transferencias de archivos y servicios en la nube en un solo flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: Almacenamiento en la nube → Dataflow → GCP Composer DAG → BigQuery
- Disparadores conscientes de datos: llegada de archivos, evento de la API, finalización de trabajos aguas arriba, resultado DAG
|
Compositor de GCP |
ejecutar DAG · reejecutar DAG · pasar parámetros · supervisar el estado · recuperar la salida |
|
Almacenamiento en la nube |
llegada de archivos coordinados · procesamiento aguas abajo de puertas · dependencias de flujo de trabajo de activación |
|
Flujo de datos |
coordinar trabajos de procesamiento · seguir la finalización · controlar la ejecución aguas abajo |
|
BigQuery |
orquestar trabajos de consulta · procesamiento de análisis de secuencias · coordinar traspasos de datos |
|
Dataproc |
coordinar trabajos de procesamiento · gestionar dependencias · conectar etapas de flujo de trabajo |
|
Transferencias de archivos |
coordinar la entrega de archivos · gestionar dependencias · activar el procesamiento aguas abajo |
|
REST APIs |
invocar servicios externos · coordinar aplicaciones · conectar etapas de flujo de trabajo |
Coexistencia del flujo de aire
Control-M no reemplaza a los DAGs Airflow. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa los DAGs de GCP Composer a lo largo de toda la pipeline.
GCP Composer proporciona visibilidad dentro de Airflow, pero las Pipelines de producción suelen abarcar servicios más allá del DAG. Control-M proporciona una vista centralizada de la ejecución de Composer junto con los trabajos upstream y downstream que determinan si la pipeline completa de datos tiene éxito:
-
Estado de ejecución del DAG
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Recuperación de salida de tarea
-
Visibilidad de la tubería de extremo a extremo
GARANTÍA DE LA SLA
Mantén los Pipelines de GCP Composer alineados con los SLA empresariales.
Un DAG de Composer puede completarse con éxito y aún así no alcanzar su objetivo de entrega cuando el procesamiento ascendente se retrasa. Control-M conecta la ejecución del DAG con el flujo de trabajo de producción más amplio, proporcionando el contexto operativo necesario para gestionar la entrega de extremo a extremo frente a SLA definidos:
-
Visibilidad SLA de extremo a extremo
-
Visibilidad de dependencias aguas arriba
-
Monitorización de plazos de oleoducto
-
Control aguas abajo consciente de fallos
-
Monitorización centralizada de flujos de trabajo
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
