Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Flujos de trabajo Control-M + Argo
Tu ejecución de Argo Workflows comienza antes de que se ejecute un flujo de trabajo nativo de Kubernetes — y puede fallar cuando algo aguas arriba falla. Un artefacto de entrada S3 que nunca llega. Un Job Kubernetes que pierde su ventana de finalización. Control-M orquesta toda la cadena: llegada de artefactos S3, transformación Spark, ejecución de flujo de trabajo Argo y carga Snowflake.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
Estos no son casos límite. Son las condiciones normales de operación para equipos que ejecutan Pipelines de Argo Workflows en múltiples herramientas. Así es como Control-M gestiona cada uno.
DEPENDENCIAS DE ASCENDENCIA
Tu flujo de trabajo de Argo está listo. El artefacto de entrada de S3 no lo está.
Control-M mantiene el flujo de trabajo Argo hasta que se completa la entrega ascendente requerida, y luego envía el flujo de trabajo en secuencia. Las dependencias entre herramientas impiden que el cálculo de Kubernetes se inicie contra entradas faltantes y mantienen la línea de producción en movimiento solo cuando se cumplen sons prerrequisitos.
FALLO DEL FLUJO DE TRABAJO
Un flujo de trabajo falló a las 02:14. El procesamiento aguas abajo está en cola.
Control-M monitoriza el estado del flujo de trabajo y puede intentar automáticamente el flujo de trabajo de Argo cuando ocurre un fallo. El sondeo configurable y la tolerancia a fallos gobiernan la detección, mientras que las dependencias posteriores permanecen bloqueadas hasta que la ejecución de Argo alcanza el estado requerido.
DERIVA DE PARÁMETROS
El flujo de trabajo empezó. La producción debe mantenerse en secuencia.
Control-M presenta el flujo de trabajo de Argo como parte del flujo de trabajos orquestado, haciendo que la ejecución del flujo de trabajo forme parte del programa de producción en lugar de un paso de lanzamiento manual. Los equipos pueden coordinar la ejecución de Argo con los trabajos aguas arriba y los procesos posteriores que dependen de la misma ejecución en producción.
RIESGO DE SLA
El DAG está funcionando, pero la entrega de las 06:00 está retrasándose.
Control-M sitúa el trabajo de Argo dentro del flujo de trabajo de producción de extremo a extremo, de modo que su contribución a la entrega se está registrada dentro del calendario más amplio. Los equipos de operaciones Ve el flujo de trabajo en el contexto de procesos de negocio en lugar de descubrir el retraso tras son afectados los consumidores aguas abajo.
CONTROL DE RECUPERACIÓN
El flujo de trabajo necesita intervención. Nadie debería editar el estado de Kubernetes manualmente.
Control-M expone las operaciones del flujo de trabajo de Argo incluyendo Mantener, Soltar, Detener y Terminar, junto con la acción de Reintento. Los operadores pueden controlar la recuperación a través de la capa de orquestación en producción mientras mantienen la coordinación con los trabajos antes y después del flujo de trabajo de Kubernetes.
Flujos de trabajo Control-M + Argo
Flujos de trabajo Control-M + Argo
|
workload.types |
Enviar flujo de trabajo Argo · Supervisa el flujo de trabajo Argo · Flujos de trabajo nativos de Kubernetes · Reintento del flujo de trabajo · operaciones de estado del flujo de trabajo (Mantener · Liberar · Stop · Terminar) |
|
trigger.type |
Criterios avanzados de planificación · Finalización de trabajos aguas arriba · Dependencia Control-M · Variables Control-M |
|
cross_tool.deps |
Flujos de trabajo de Kubernetes · Entrega de artefactos S3 · Procesamiento de Spark · Trabajos Snowflake · Trabajos en bases de datos · Transferencias de archivos · Llamadas a la API REST |
|
cloud.platforms |
Kubernetes · Amazon EKS · Azure Kubernetes Service · Google Kubernetes Engine · On-premises Kubernetes · cualquier punto final de Argo Workflows accesible |
|
error_handling |
Flujo de trabajo de reintento · tolerancia a fallos configurable · encuesta de estado configurable · Mantener · Liberar · Detener · Terminar |
|
Rendimiento |
envío a nivel de flujo de trabajo · Ejecución nativa de flujo de trabajo Kubernetes · encuestas de estado configurables · planificación centralizada de múltiples flujos de trabajo |
|
Observabilidad |
Estado del flujo de trabajo · resultados · salida · visibilidad de dependencias de extremo a extremo · Monitorización Control-M |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M coordina flujos de trabajo entre flujos de trabajo Argo, Kubernetes, Spark, Snowflake, transferencias de archivos y servicios en la nube en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: Spark → Argo Workflow → Snowflake → transferencia de analítica
- Desencadenantes conscientes de los datos: llegada de archivos, evento de la API, finalización de trabajos aguas arriba, resultado del flujo de trabajo
|
Flujos de trabajo de Argo |
envío de flujo de trabajo · monitorización de estado · reintento · operaciones de estado (Mantener · Liberar · Detenerse · Terminar) |
|
Kubernetes |
ejecución de cargas de trabajo contenedorizadas · coordinación de espacios de nombres · infraestructura de flujo de trabajo |
|
Chispa Apache |
procesamiento de datos · empleos de transformación · coordinación de dependencias aguas arriba |
|
Copo de nieve |
carga de datos · ejecución SQL · dependencia de análisis downstream |
|
Amazon S3 |
llegada de artefactos · entrega de objetos · coordinación de entradas de tubería |
|
Transferencia de archivos |
entrega gestionada · dependencia de llegada · transferencia aguas abajo |
|
REST APIs |
invocación de servicios · dependencia orientada a la respuesta · transferencia de aplicaciones |
supervisa Pipelines
Supervisa el estado del flujo de trabajo de Argo, los resultados y la salida de forma centralizada
Argo muestra lo que están ocurriendo dentro de sus flujos de trabajo de Kubernetes; los datos de producción Pipelines extiende más allá de ese límite. Control-M proporciona monitorización centralizada de la ejecución de Argo junto con los trabajos y dependencias que lo rodean, ofreciendo a los equipos una visión operativa de:
-
Estado de ejecución del flujo de trabajo
-
Resultados y salida de flujo de trabajo
-
Detalles del nodo Argo
-
Dependencias aguas arriba y aguas abajo
-
Estado del flujo de trabajo de producción de extremo a extremo
GARANTÍA DE LA SLA
Mantén los Pipelines de Argo alineados con los SLA de entrega
Un DAG exitoso aún puede contribuir a un resultado de negocio tardío cuando las entradas aguas arriba llegan tarde o el procesamiento aguas abajo se estanca. Control-M conecta la ejecución de Argo con el programa de producción más amplio para que los equipos puedan gestionar el rendimiento de entrega a lo largo de:
-
Dependencias de flujo de trabajo de extremo a extremo
-
Ejecución de Argo dentro del programa de producción
-
Criterios avanzados de programación
-
Recuperación coordinada de fallos
-
Ejecución de carga de trabajo aguas abajo
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
