Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + GCP Batch
Tu flujo de trabajo GCP Batch comienza antes de que un script o contenedor se ejecute — y puede fallar cuando algo aguas arriba falla. Un objeto de almacenamiento en la nube nunca llega. Un trabajo de flujo de datos se ejecuta más allá de su ventana de procesamiento. Control-M orquesta toda la cadena: llegada del almacenamiento en la nube, procesamiento de flujo de datos, ejecución por lotes de GCP y carga de BigQuery.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan trabajos GCP Batch en múltiples herramientas. Así es como Control-M gestiona cada uno.
DEPENDENCIAS DE ASCENDENCIA
Tu entrada de almacenamiento en la nube está retrasada. El trabajo por lotes no puede iniciarse de forma segura.
Control-M espera la condición ascendente requerida antes de liberar el trabajo GCP Batch, y luego coordina las dependencias aguas abajo desde el estado resultante del trabajo — evitando una programación frágil basada en tiempo y evitando que entradas incompletas se transmitan en cascada por el flujo de trabajo.
INTERRUPCIÓN DE SPOT
Una máquina virtual Spot desaparece a mitad de ejecución. Tu ventana de procesamiento se va reduciendo.
GCP Batch puede volver a intentar tareas fallidas, incluidas las fallas causadas por la preempción de Spot VM. Control-M supervisa el trabajo GCP Batch en general y coordina la recuperación y ejecución posterior según su estado resultante, manteniendo bajo control el flujo de trabajo más amplio.
PROPAGACIÓN DE FALLOS
El trabajo por lotes falla. BigQuery no debe cargar resultados incompletos.
Control-M detecta el resultado del trabajo GCP Batch y mantiene el procesamiento dependiente cuando no se está cumplida la condición de finalización requerida. Los trabajos posteriores de BigQuery, transferencia o aplicación permanecen protegidos hasta que se están resueltos y el flujo de trabajo pueda continuar de forma segura.
RIESGO DE SLA
El trabajo está en marcha. Se está acercando la fecha límite de entrega aguas abajo.
Control-M integra el trabajo GCP Batch en el flujo de trabajo de servicio de extremo a extremo y soporta la monitorización SLA entre los trabajos dependientes. Los equipos de operaciones pueden Ve cuándo un procesamiento retrasado amenaza la entrega e intervienen antes de que el flujo de trabajo global del negocio no alcance su objetivo.
VISIBILIDAD DE OPERACIONES
GCP tiene los registros. Operaciones sigue necesitando todo el contexto del flujo de trabajo.
Control-M monitoriza el estado, resultados y salida de GCP Batch junto con los demás trabajos del flujo de trabajo. Con Cloud Logging activado, los registros de lotes son guardados en el dominio de Monitorización Control-M junto con el estado y salida del trabajo, reduciendo el cambio de contexto durante la investigación y recuperación.
Control-M + GCP Batch
Control-M + GCP Batch
|
Capacidades de API y automatización |
API de automatización Control-M · Control-M Web · Lote de trabajos · Lote de perfilperfiles de conexión · definición avanzada de trabajos JSON · encuestas de estado configurables |
|
Modelos de despliegue y flexibilidad de infraestructura |
Control-M · Control-M SaaS · Complemento para Linux Agent · Complemento para Windows Agent · cargas de trabajo de scripts · cargas de trabajo de contenedores · máquinas virtuales estándar o puntuales · tipos de máquinas o plantillas de instancias |
|
Postura de seguridad |
Autenticación de cuentas de servicio GCP · Autenticación basada en roles IAM · perfiles de conexión seguros · perfiles de conexión centralizados · perfiles de conexión locales |
|
Respuesta a incidentes y habilitación MTTR |
Conteo máximo de reintentos de tareas configurable · monitorización del estado de los trabajos · monitorización de resultados y salidas · soporte para registro en la nube · anexo de trabajos SLA · prevención en cascada basada en dependencias |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo a través de GCP Batch, almacenamiento en la nube, Dataflow, BigQuery, Airflow, transferencias de archivos y servicios en la nube en un solo flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: Almacenamiento en la nube → Dataflow → GCP Batch → BigQuery
- Disparadores conscientes de datos: llegada de archivos, evento de la API, finalización de trabajos aguas arriba, estado de trabajo por lotes
|
Lote GCP |
Ejecución de scripts · ejecución en contenedores · monitorización de estado · monitorización de salida · Coordinación SLA |
|
Almacenamiento en la nube |
llegada de archivo · dependencia aguas arriba · lanzamiento aguas abajo |
|
GCP Dataflow |
ejecución de tareas · seguimiento de estado · coordinación de dependencias |
|
BigQuery |
ejecución de consultas · procesamiento downstream · coordinación de dependencias |
|
Flujo de aire |
Orquestación DAG · seguimiento de estado · dependencias entre herramientas |
|
Transferencia gestionada de archivos |
Transferencia segura · detección de llegada de archivos · coordinación de entrega |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
MANILLAS DE FLUJO DE AIRE
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
SUPERVISA CARGAS DE TRABAJO
Supervisa el estado y la salida del lote GCP en contexto.
GCP Batch expone el estado de los trabajos y datos de Cloud Loging, pero el soporte en producción a menudo abarca muchos servicios. Control-M sitúa la ejecución GCP Batch en la misma vista operativa que los trabajos upstream y downstream, proporcionando a los equipos contexto de extremo a extremo para la resolución de problemas:
-
Estado de ejecución del lote GCP
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Visibilidad en Cloud Logging
-
Monitorización de flujos de trabajo de extremo a extremo
GARANTÍA DE LA SLA
Protege los SLA de entrega más allá del trabajo GCP Batch.
GCP Batch gestiona la ejecución de su carga de trabajo de cómputo; no posee el compromiso de entrega del proceso empresarial circundante. Control-M conecta la ejecución por lotes con dependencias de flujo de trabajo de extremo a extremo y gestión SLA para que los equipos puedan gestionar el resultado completo del servicio:
-
Seguimiento SLA de extremo a extremo
-
Visibilidad de dependencias multiplataforma
-
Detección de riesgos por flujo de trabajo retardado
-
Ejecución controlada aguas abajo
-
Monitorización centralizada de operaciones
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
