Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Flujos de trabajo gestionados de Amazon para Apache Airflow (MWAA)
Tu flujo de trabajo MWAA de Amazon comienza antes de que se ejecute un DAG de Airflow — y puede fallar cuando algo aguas arriba se estropea. Un objeto Amazon S3 llega tarde. Un trabajo de AWS Glue pierde su ventana de procesamiento. Control-M orquesta toda la cadena: llegada de datos S3, transformación AWS Glue, ejecución de Amazon MWAA y entrega downstream.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos extremos. Son las condiciones normales de operación para equipos que ejecutan cargas de trabajo de DynamoDB en múltiples herramientas. Así es como Control-M maneja cada uno.
UPSTREAM DEPENDENCY
Tus datos de S3 están retrasados. Tu DAG de las 2:00 AM no debería empezar.
Control-M makes the DAG dependent on the upstream workflow instead of an isolated clock. It coordinates execution around the required upstream conditions, preventing Amazon MWAA processing from starting before the workflow is ready.
DAG FAILURE
Tu DAG falló a mitad de camino. El procesamiento posterior está esperando.
Control-M monitors Amazon MWAA job status and output, applies configurable status polling and failure tolerance, and prevents dependent jobs from advancing after a failed run — keeping one DAG failure from cascading through the wider workflow.
FAILURE RECOVERY
Una tarea falló. te no quiero repetir todo.
Control-M supports Amazon MWAA DAG reruns, including failed-task reruns, and can retain the DAG Run ID for recovery. Teams can restart the required processing without manually rebuilding the entire cross-platform workflow.
SLA RISK
El DAG está funcionando. Tu entrega de las 7:00 de la mañana está en riesgo.
Control-M attaches SLA management to Amazon MWAA jobs and tracks the DAG within the broader production workflow. Teams can see whether dependencies are threatening the required completion time instead of treating DAG execution as an isolated event.
TROUBLESHOOTING
Tu DAG falló. Ahora te saltando entre consolas buscando respuestas.
Control-M monitors Amazon MWAA status, results, and output and can capture DAG task-instance logs in the Control-M job output. Data teams get execution context where they orchestrate the broader workflow, reducing investigation across disconnected tools.
DATOS DE INTEGRACIÓN
Control-M + Flujos de Trabajo gestionados de Amazon para Apache Airflow (MWAA)
|
workload.types |
Airflow DAG runs · DAG reruns · failed-task reruns · parameterized DAGs · Airflow 2 workflows |
|
trigger.type |
time schedule · upstream job completion · file arrival · Control-M dependency · event-driven workflow · manual execution |
|
cross_tool.deps |
Amazon S3 file arrival · AWS Glue job · Amazon Redshift job · AWS Step Functions workflow · file transfer · REST API call · downstream analytics job |
|
cloud.platforms |
Amazon Web Services · Amazon MWAA · Amazon S3 · AWS IAM · AWS STS · Amazon CloudWatch |
|
error_handling |
DAG rerun · failed-task rerun · configurable status polling · failure tolerance · upstream/downstream rerun scope · task-instance log capture · SLA management |
|
throughput |
multi-DAG orchestration · centralized scheduling · cross-platform production workflows · resource pools |
|
observability |
MWAA job status · results · job output · task-instance logs · DAG Run ID tracking · SLA monitoring · end-to-end workflow monitoring |
Orquestación de extremo a extremo
Un flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo en Amazon MWAA, Amazon S3, AWS Glue, Amazon Redshift, AWS Step Functions, transferencias de archivos y servicios en la nube en un único flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: Amazon S3 → AWS Glue → Amazon MWAA DAG → Amazon Redshift
- Disparadores conscientes de datos: llegada de archivos, evento de la API, finalización de trabajos aguas arriba, estado del flujo de trabajo
|
Amazon MWAA |
run DAG · rerun DAG · pass parameters · monitor status · capture task output |
|
Amazon S3 |
file-arrival dependency · upstream data coordination |
|
AWS Glue |
job orchestration · dependency coordination · status-driven handoff |
|
Amazon Redshift |
data workflow orchestration · downstream dependency · scheduled processing |
|
AWS Step Functions |
workflow execution · status monitoring · dependency coordination |
|
Managed File Transfer |
secure file movement · arrival-driven workflow handoff |
|
REST APIs |
API-driven execution · cross-application workflow coordination |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que funcione Airflow. Ahí es donde los Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que lo rodea.
airflow handles
Orquestación a nivel DAG dentro de la tubería de datos
- DAG-level task orchestration within data pipelines
- Python operators, sensors, and task dependencies
- Execution graph for jobs that run inside your pipeline
- Manages retries within a single DAG context
control-m adds
La capa de coordinación alrededor de tus DAGs
- Coordination layer around DAGs — triggers Airflow based on upstream conditions: file arrivals, API events, other tool completions
- Tracks each DAG’s SLA contribution across the full end-to-end workflow, not just its own routine
- Manages failure recovery when upstream dependencies fail before Airflow even starts
- Existing DAGs don’t need to be rewritten or migrated
supervisa Pipelines
Supervisa la ejecución de Amazon MWAA en el flujo de trabajo más amplio
Amazon MWAA proporciona monitorización nativa de flujo de aire, mientras que los servicios de datos de producción a menudo abarcan sistemas fuera del DAG. Control-M incorpora el estado de trabajos MWAA, resultados, salida, registros de instancias de tareas y dependencias circundantes en una visión más amplia de orquestación:
-
Estado del empleo en Amazon MWAA
-
Resultados y salida del DAG
-
Captura de registros por instancia de tarea
-
Visibilidad de dependencias multiplataforma
-
Seguimiento del ID de la carrera DAG
GARANTÍA DE LA SLA
Gestiona los DAGs de Amazon MWAA con plazos empresariales
Airflow puede gestionar la ejecución dentro de un DAG, pero el plazo de entrega puede depender del trabajo antes y después. Control-M aplica la gestión SLA a trabajos MWAA de Amazon dentro de todo el flujo de trabajo de producción:
-
Seguimiento SLA de extremo a extremo
-
Gestión de dependencias entre herramientas
-
Criterios avanzados de programación
-
Control aguas abajo consciente de fallos
-
Monitorización centralizada de flujos de trabajo
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
