Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + GCP Dataproc
Tu flujo de trabajo GCP Dataproc comienza antes de que se ejecute un lote de Spark — y puede fallar cuando algo aguas arriba se estropea. Un objeto de almacenamiento en la nube llega tarde. Un trabajo de preparación de BigQuery pierde la ventana de finalización esperada. Control-M orquesta toda la cadena: llegada de almacenamiento en la nube, preparación de BigQuery, ejecución de Dataproc y entrega aguas abajo — por lo que tu lote de Spark solo se ejecuta cuando los datos de los que depende están realmente listos.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan trabajos GCP Dataproc en varias herramientas. Así es como Control-M gestiona cada uno.
LLEGADA TARDÍA DE LOS DATOS
Empieza tu trabajo de chispa a las 2 de la mañana. Empieza el trabajo de Spark. El objeto de almacenamiento en la nube está retrasado.
Control-M hace que la llegada de datos aguas arriba parte del flujo de trabajo, por lo que el procesamiento Dataproc espera la llegada confirmada de la entrada requerida en lugar de comenzar con un calendario fijo. La carga de trabajo dependiente comienza solo cuando se completa su requisito previo, evitando el procesamiento de datos incompletos.
LOTE FALLIDO
Tu lote de Spark sin servidor fue cancelado. El procesamiento posterior está esperando.
Control-M monitoriza la ejecución de Dataproc y reconoce un lote cancelado como un estado de fallo. Las dependencias aguas abajo permanecen bloqueadas en lugar de avanzar en un procesamiento incompleto, dando a los operadores una ruta de recuperación controlada y evitando que el fallo se propague en cascada por la canalización.
ENCUESTAS DE ESTADO
El trabajo de Spark está en marcha. Tu siguiente etapa no puede empezar de forma segura.
Control-M consulta el estado del trabajo Dataproc en un intervalo de verificación configurable y aplica una tolerancia definida antes de finalizar el trabajo. No está bien. El trabajo aguas abajo sigue el estado real de ejecución en lugar de una ventana estimada de finalización.
DEPENDENCIA ENTRE HERRAMIENTAS
Dataproc terminó con éxito. La transferencia de BigQuery aún necesita coordinación
Control-M coloca los trabajos de Dataproc y BigQuery en el mismo flujo de trabajo de extremo a extremo, por lo que el procesamiento aguas abajo puede depender de la finalización exitosa aguas arriba. La transferencia sigue el estado del trabajo en lugar de horarios separados, reduciendo las brechas temporales entre etapas de procesamiento.
EJECUCIÓN DUPLICADA
Una solicitud por lotes sin servidor está reintentada. No te puedes arriesgar a un procesamiento duplicado.
Para Dataproc Serverless para lotes Spark, Control-M soporta parámetros de ID de lote e ID solicitado, donde el ID solicitado identifica la solicitud CreateBatch. Dataproc ignora una segunda petición con el mismo ID y devuelve la operación asociada al lote original en su lugar.
Control-M + GCP Dataproc
Control-M + GCP Dataproc
|
workload.types |
Plantillas de flujo de trabajo · trabajos individuales Dataproc · Dataproc Serverless para lotes de Spark · sesiones interactivas · procesamiento de big data · cargas de trabajo de aprendizaje automático |
|
trigger.type |
llegada de archivos · finalización de trabajos aguas arriba · programa de tiempo · dependencia Control-M · ejecución impulsada por API · estado de trabajos entre aplicaciones |
|
cross_tool.deps |
Trabajo GCP BigQuery · Trabajo GCP Dataflow · GCP Composer DAG · Archivo de almacenamiento en la nube · Finalización de transferencia de archivos · Llamada a API REST |
|
cloud.platforms |
Plataforma de Google Cloud · Dataproc · Dataproc Serverless para Spark · Control-M SaaS · Control-M Web · API de automatización · Flujos de trabajo híbridos empresariales |
|
error_handling |
intervalo de consulta de verificación · tolerancia configurable · detección de fallos por lotes cancelados · prevención en cascada aguas abajo · recuperación basada en dependencias · ID solicitado |
|
Rendimiento |
procesamiento paralelo de Dataproc · lotes de Spark sin servidor · procesamiento por lotes a gran escala · cargas de trabajo de big data |
|
Observabilidad |
Estado del trabajo Dataproc · resultados y salida · estado de dependencia · monitorización del flujo de trabajo · historial de ejecución · visibilidad de tareas de extremo a extremo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre GCP Dataproc, BigQuery, Dataflow, Cloud Composer, Cloud Storage, transferencias de archivos y servicios en la nube en un solo flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: almacenamiento en la nube → BigQuery → GCP Dataproc → transferencia de analítica
- Disparadores conscientes de datos: llegada de archivos, evento de API, finalización de trabajos aguas arriba, finalización de Dataproc
|
GCP Dataproc |
Plantillas de flujo de trabajo · Trabajos Dataproc · Serverless para lotes de Spark · sesiones interactivas · encuestas de estado |
|
GCP BigQuery |
procesamiento de datos · empleos en analítica · preparación upstream · análisis downstream |
|
GCP Dataflow |
procesamiento por lotes · Pipelines de streaming · dependencias entre trabajos · traspasos de flujo de trabajo |
|
Compositor de GCP |
Ejecución DAG de Airflow · Reejecución de DAG (opción para reprobar solo tareas fallidas) · dependencia multiplataforma · coordinación de flujo de trabajo |
|
Almacenamiento en la nube |
llegada de archivos · etapa de entrada · entrega de salida · dependencias basadas en datos |
|
Transferencias de archivos |
Seguimiento de archivos · transferencia gestionada · confirmación de entrega · disparador de procesamiento aguas abajo |
|
APIs REST |
llamadas a aplicaciones · traspasos de flujo de trabajo · automatización impulsada por API · coordinación multiplataforma |
Coexistencia del flujo de aire
Control-M no reemplaza a los DAGs Airflow. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa la ejecución de Dataproc a lo largo de toda tu cadena de datos.
Dataproc informa de la ejecución dentro de su propio servicio, pero la producción Pipelines extiende entre almacenamiento, preparación, procesamiento y entrega. Control-M reúne esos trabajos conectados en una única vista operativa para que los equipos puedan supervisa ejecución en un contexto de extremo a extremo:
-
Estado del puesto en Dataproc
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Visibilidad de ejecución multiplataforma
-
Monitorización centralizada de flujos de trabajo
GARANTÍA DE LA SLA
Mantén los Dataproc Pipelines alineados con los plazos de entrega.
Un trabajo Dataproc exitoso no garantiza que el servicio completo de datos termine a tiempo. Control-M realiza un seguimiento del paso de procesamiento dentro de su flujo de trabajo más amplio, ayudando a los equipos a identificar retrasos en dependencias y a gestionar la entrega según las expectativas de servicio de extremo a extremo:
-
Visibilidad SLA de extremo a extremo
-
Seguimiento de dependencias aguas arriba
-
Monitorización de la entrega aguas abajo
-
Respuesta operativa impulsada por excepciones
-
Estado del flujo de trabajo multiplataforma
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
