Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + GCP Vertex AI
Tu flujo de trabajo de GCP Vertex AI comienza antes de que se están invocada una ejecución de pipeline de Vertex AI contra su clúster de cómputo configurado, y puede fallar cuando algo aguas arriba falla. Una exportación de un conjunto de datos de entrenamiento de GCP BigQuery nunca completa su instantánea de tabla antes de que el componente de ingestión de datos de la ejecución resuelva su URI de origen. Un trabajo de ingeniería de características de GCP Dataflow sobrepasa su fecha límite de ejecución antes de escribir sus registros transformados en el URI de datos de entrenamiento de la ejecución de la oleada. Control-M orquesta toda la cadena: la ingestión de GCP BigQuery, la transformación de GCP Dataflow, la ejecución de GCP Vertex AI y la entrega de GCP Cloud Storage.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan Pipelines de Vertex AI en múltiples herramientas. Así es como Control-M gestiona cada uno.
ENTRENAMIENTO EN MODELOS
Comenzó la prueba de entrenamiento de anoche. El conjunto de datos de características nunca llegó.
Control-M valida las dependencias aguas arriba antes de lanzar trabajos de Vertex AI. Las llegadas de archivos, los estados de completación ETL y las comprobaciones de calidad de son evaluados automáticamente, evitando ciclos de cómputo desperdiciados y fallidas ejecuciones de entrenamiento de modelos.
RIESGO DE SLA
El flujo de trabajo de puntuación por lotes ya está 40 minutos retrasado.
Control-M sigue continuamente el progreso del flujo de trabajo a lo largo de las etapas de ingestión, transformación y ejecución de Vertex AI. La monitorización predictiva de SLA identifica riesgos antes de que se incumplan son los plazos y activa alertas o acciones automáticas de remediación.
DEPENDENCIAS ENTRE HERRAMIENTAS
Dataproc terminado. Vertex AI está esperando un disparador manual.
Control-M detecta eventos de finalización aguas arriba y lanza inmediatamente flujos de trabajo dependientes de Vertex AI. La orquestación orientada a eventos elimina sondeos, lagunas de planificación e intervención manual manteniendo la visibilidad total de la dependencia.
RECUPERACIÓN DE FALLOS
Una tarea de preprocesamiento falló. Toda la tubería se paralizó de la noche a la mañana.
Control-M aplica políticas de reintento configurables, gestión de excepciones y prevención de cascada aguas abajo. Las tareas fallidas son aisladas, los flujos de trabajo de recuperación son activados automáticamente y los procesos no afectados continúan ejecutándose cuando corresponde.
OPERACIONES DEL MODELO
El modelo se desplegó con éxito. Nadie validó la entrega posterior.
Control-M coordina las actividades posteriores al despliegue, incluyendo pruebas de validación, flujos de trabajo de notificación, exportaciones de datos y traspasos de aplicaciones. Cada paso se está registrado como parte de un único flujo de trabajo de producción de extremo a extremo.
DATOS DE INTEGRACIÓN
Control-M + GCP Vertex AI
|
workload.types |
entrenamiento de modelos · predicción por lotes · Pipelines de AutoML · trabajos de entrenamiento personalizados · flujos de trabajo de ingeniería de características · Pipelines MLOps · despliegue de modelos · ejecución en notebooks |
|
trigger.type |
llegada de archivos (Almacenamiento en la nube) · Evento pub/Sub · API/webhook · Finalización de trabajos de IA de vértices · Finalización de flujo de trabajo aguas arriba · programa temporal · validación de la calidad de los datos |
|
cross_tool.deps |
Disparador de trabajo Dataproc · Finalización de consulta en BigQuery · Estado de la tubería Dataflow · Disparador DAG de Apache Airflow · Validación de archivos en almacenamiento en la nube · Llamada a la API REST · Entrega de aplicaciones aguas abajo |
|
cloud.platforms |
Plataforma de Nube Google · Nube híbrida · Orquestación multinube · Control-M SaaS · Control-M On-premises |
|
error_handling |
Conteo configurable de reintentos · intervalo · prevención en cascada aguas abajo · retención automatizada del flujo de trabajo · alerta previa a la brecha SLA · PagerDuty · Slack |
|
Rendimiento |
entrenamiento de modelos a gran escala · inferencia por lotes de alto volumen · orquestación guiada por eventos · ejecución paralela de flujos de trabajo · procesamiento distribuido de datos |
|
Observabilidad |
Registro de auditoría a nivel de trabajo · Seguimiento SLA con predicción de brechas · Gráfico de linaje de dependencias · Integración con Datadog · Integración con Splunk · Monitorización centralizada de flujos de trabajo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre Vertex AI, BigQuery, Dataflow, Dataproc, Airflow, almacenamiento en la nube y servicios en la nube en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: Almacenamiento en la nube → flujo de datos → BigQuery → Formación → despliegue de modelos de IA Vertex
- Disparadores conscientes de datos: llegada de archivos, Pub/Sub evento, completación de BigQuery, resultado de validación del modelo
|
IA de vértices |
Orquestación de trabajos de entrenamiento · ejecución de pipelines · coordinación de despliegue · monitorización del estado |
|
BigQuery |
ejecución de consultas · gestión de dependencias · validación de datos · seguimiento de completación |
|
Flujo de datos |
activación de la tubería · monitorización del estado · seguimiento SLA · gestión de fallos |
|
Dataproc |
Orquestación de carga de trabajo Spark · control de dependencias · recuperación automatizada |
|
Almacenamiento en la nube |
detección de llegada de archivos · validación · activación basada en eventos |
|
Apache Airflow |
Disparo DAG · seguimiento de estado · orquestación multiplataforma |
|
Servicios en la Nube de Google |
Orquestación de API · automatización de flujos de trabajo · coordinación de eventos |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa los flujos de trabajo de Vertex AI en todo el ecosistema de datos.
Vertex AI proporciona visibilidad sobre las actividades del modelo, pero los flujos de trabajo de producción abarcan muchas plataformas. Control-M ofrece monitorización centralizada a través de procesos de ingestión, preparación, formación, despliegue y entrega en una única vista operativa:
-
Visibilidad de flujo de trabajo de extremo a extremo
-
Seguimiento del historial en tiempo de ejecución
-
Estado de dependencia aguas arriba
-
Monitorización de la entrega aguas abajo
-
Indicadores de riesgo SLA
GARANTÍA DE LA SLA
Mantén los compromisos de entrega de modelos en el calendario.
Los flujos de trabajo de aprendizaje automático suelen implicar múltiples equipos, herramientas y dependencias. Control-M evalúa continuamente el progreso del flujo de trabajo, predice el riesgo de SLA e inicia acciones de recuperación automatizadas antes de que los retrasos afecten a los consumidores del modelo:
-
Monitorización predictiva de SLA
-
Flujos de trabajo de escalado automatizados
-
Acciones de recuperación configurables
-
Planificación consciente de dependencias
-
Alertas de estado en tiempo real
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
