Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Astrónomo
Tu flujo de trabajo en Astronomer comienza antes de que un DAG Airflow se ejecute — y puede fallar cuando algo aguas arriba se estropea. Un objeto Amazon S3 llega tarde. Una transformación en la nube de dbt pierde su ventana de finalización esperada. Control-M orquesta toda la cadena: llegada de datos en S3, transformación de la nube en dbt, ejecución del DAG en Astronomer y carga con Snowflake.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan DAGs de Astrónomo en múltiples herramientas. Así es como Control-M gestiona cada uno.
RETRASO DE LA SUBIDA
Tu DAG de las 2:00 a.m. está listo. Los datos del S3 no.
Control-M mantiene el DAG del Astronomo hasta que llegan los datos ascendentes requeridos, y luego lo lanza cuando se está satisfecha la dependencia. El flujo de trabajo sigue la preparación real de los datos en lugar de un programa de reloj desconectado, evitando ejecuciones prematuras y fallos evitables aguas abajo.
FALLO DEL DAG
Una tarea de Airflow falló. La cadena de informes aguas abajo ya está esperando.
Control-M monitoriza el estado de los trabajos de Astrónomo y puede reejecutar el DAG, incluyendo reejecutar solo tareas fallidas. Los trabajos Control-M posteriores siguen estando gobernados por dependencias, impidiendo que un DAG fallido propague silenciosamente datos incompletos al resto del flujo de trabajo empresarial.
DEPENDENCIA ENTRE HERRAMIENTAS
DBT terminó tarde. Tu DAG de astrónomo todavía necesita el gatillo derecho.
Control-M modela el trabajo DBT y el DAG de Astronomo en un solo flujo de trabajo, evalúa el estado de finalización aguas arriba y inicia el DAG solo cuando se están satisfecha su dependencia — eliminando compensaciones de tiempo frágiles y coordinación manual entre plataformas programadas de forma independiente.
RIESGO DE SLA
El DAG está funcionando, pero la entrega de las 7:00 está retrasándose.
Control-M asigna la gestión de SLA a los trabajos de Astrónomo y hace un seguimiento de su contribución al flujo de trabajo más amplio. Los equipos pueden identificar el riesgo de programa en contexto e intervenir antes de que un DAG retrasado empuje la entrega de datos de extremo a extremo más allá de su ventana de negocio requerida.
RECUPERACIÓN DE FALLOS
El DAG falló a las 3:17 a.m. Operaciones necesita contexto, no otra consola.
Control-M muestra el estado del flujo de trabajo de Astrónomo, resultados, salida y registros dentro del entorno de orquestación. Los operadores pueden identificar la falla, abortar cuando sea necesario y coordinar la recuperación sin reconstruir la cadena de dependencias circundante a través de múltiples herramientas de programación y monitorización.
Control-M + Astrónomo
Control-M + Astrónomo
|
workload.types |
Ejecución DAG de flujo de aire · Reejecuciones de DAG · reejecuciones de tareas fallidas · ejecuciones DAG parametrizadas · Ejecución JSON manual · trabajos de astrónomos paralelos |
|
trigger.type |
Finalización de tareas aguas arriba · llegada de archivos · Condición de API/evento · programa de tiempo · Dependencia Control-M · calendario empresarial · ejecución manual |
|
cross_tool.deps |
Trabajo en la nube DBT · Trabajo copo de nieve · Trabajo de Databricks · Llegada de archivos Amazon S3 · Llamada a la API REST · Transferencia gestionada de archivos |
|
cloud.platforms |
Astro · Software de Astrónomo · Flujos de trabajo conectados a AWS · Flujos de trabajo conectados a Microsoft Azure · Flujos de trabajo conectados a Google Cloud |
|
error_handling |
reejecución DAG · reejecución solo de tareas fallidas · tolerancia a fallos configurable · sondeo de estado · aborto de flujo de trabajo · prevención en cascada aguas abajo · recuperación de registros |
|
Rendimiento |
múltiples trabajos de Astrónomo simultáneamente por Agente · orquestación paralela de DAGs · ejecuciones parametrizadas · coordinación de flujo de trabajo cruzado a escala empresarial |
|
Observabilidad |
Estado del trabajo del astrónomo · resultados del flujo de trabajo · salida del trabajo · recuperación de registros · seguimiento SLA · visibilidad de dependencias de extremo a extremo · Monitorización Control-M |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre Astronomer, dbt Cloud, Snowflake, Databricks, transferencias de archivos y servicios en la nube en un único flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: dbt Cloud → Astronomer DAG → carga de Snowflake → transferencia de análisis
- Disparadores conscientes de los datos: llegada de archivos, evento de la API, finalización de trabajos aguas arriba, condición del programa
|
Astrónomo |
ejecutar DAG · reejecutar DAG · reejecutar tareas fallidas · pasar parámetros JSON · supervisar el estado · recuperar registros |
|
dbt Cloud |
Activar trabajos · supervisar la finalización · coordinar dependencias aguas abajo |
|
Copo de nieve |
orquestar trabajos · coordinar el procesamiento de datos · gestionar dependencias aguas abajo |
|
Databricks |
orquestar trabajos · coordinar procesamiento · conectar flujos de trabajo aguas abajo |
|
Amazon S3 |
Detecta llegada de archivos · Procesamiento aguas abajo de puertas · Ingesta de coordenadas |
|
Transferencia gestionada de archivos |
movimiento seguro de archivos · dependencias de entrega · monitorización de transferencias |
|
APIs REST |
invocar servicios · coordinar pasos impulsados por API · conectar flujos de trabajo externos |
Coexistencia del flujo de aire
Control-M no reemplaza a los DAGs Airflow. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa los DAGs de astrónomos en el contexto completo del flujo de trabajo.
Astronomer proporciona visibilidad dentro de su entorno Airflow, pero los Pipelines de datos de producción a menudo se extienden a través de muchas plataformas. Control-M lleva la ejecución de Astronomer a la misma visión operativa que los trabajos upstream y downstream, proporcionando a los equipos un contexto integral a lo largo del flujo de trabajo:
-
Estado de ejecución del trabajo del astrónomo
-
Resultados y resultados del flujo de trabajo
-
Dependencias aguas arriba y aguas abajo
-
Recuperación de registros por astrónomos
-
Visibilidad del flujo de trabajo multiplataforma
GARANTÍA DE LA SLA
Gestiona los DAGs de astrónomos con los plazos de entrega del negocio.
Un DAG exitoso aún puede contribuir a un incumplimiento de fecha límite empresarial cuando el procesamiento aguas arriba comienza tarde o el trabajo aguas abajo se prolonga. Control-M conecta los trabajos de Astrónomo con la gestión SLA de extremo a extremo para que los equipos puedan gestionar el resultado de entrega, no solo la finalización del DAG:
-
Seguimiento SLA de extremo a extremo
-
Asociación laboral de astrónomo SLA
-
Monitorización de dependencias multiplataforma
-
Gestión automatizada de fallos
-
Visibilidad de fechas límite empresariales
-
Recuperación coordinada de fallos
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
