Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + GCP Dataprep
Tu flujo de trabajo GCP Dataprep comienza antes de que un flujo se ejecute — y puede fallar cuando algo aguas arriba se estropea. Una tabla de staging de BigQuery no está lista. Una entrega de almacenamiento en la nube llega después de la ventana de procesamiento. Control-M orquesta toda la cadena: llegada de datos en almacenamiento en la nube, staging de BigQuery, ejecución de flujo GCP Dataprep y entrega de análisis aguas abajo.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan GCP Dataprep flows a través de múltiples herramientas. Así es como Control-M gestiona cada uno
DATOS DE ARRIBA
La entrega de Cloud Storage está retrasada. Tu flujo de Dataprep comienza a las 02:00.
Control-M hace que el flujo de Dataprep dependa de la entrega upstream en lugar de un tiempo de reloj aislado. El flujo comienza solo después de que su requisito previo se complete con éxito, evitando un procesamiento prematuro y evitando otra ejecución manual de preparación de datos.
DERIVA DEL ESQUEMA
El esquema de la fuente cambió de la noche a la mañana. Tu flujo de preparación no debe continuar a ciegas.
Control-M puede pasar parámetros de ejecución al flujo de Dataprep en tiempo de ejecución, usando definiciones de Lista de Parámetros o Archivo de Parámetros. Cuando la ejecución falla, Control-M captura el estado del trabajo y evita que el procesamiento dependiente continúe con un resultado inválido aguas arriba.
EJECUCIÓN DUPLICADA
La recuperación vuelve a iniciar el flujo. La primera petición puede seguir en funcionamiento.
Control-M soporta un token de idempotencia para la ejecución de GCP Dataprep, proporcionando un identificador único que garantiza que el trabajo se ejecute solo una vez. La recuperación puede proceder sin lanzar accidentalmente un procesamiento duplicado contra el mismo flujo.
FALLO DE ESTADO
Dataprep deja de responder. El trabajo posterior de BigQuery está esperando.
Control-M consulta el estado del trabajo Dataprep a una frecuencia configurable y aplica una tolerancia de fallo definida antes de terminar el trabajo No está bien. Las dependencias posteriores permanecen controladas en lugar de avanzar en un estado de ejecución incierto.
RIESGO DE SLA
El flujo terminó tarde. Tu entrega de análisis matutino está ahora en riesgo.
Control-M conecta la ejecución de Dataprep a su flujo de trabajo más amplio y permite a los equipos adjuntar un trabajo SLA a ella. Los operadores pueden evaluar la ejecución como parte del servicio de extremo a extremo en lugar de solucionar problemas de una tarea de preparación aislada.
Control-M + GCP Dataprep
Control-M + GCP Dataprep
|
workload.types |
GCP Dataprep flujos · trabajos de preparación de datos · anulaciones de parámetros de flujo · anulaciones de parámetros en tiempo de ejecución (Lista de parámetros / archivo de parámetros)· anulaciones de parámetros de flujo en tiempo de ejecución |
|
trigger.type |
programa temporal · Finalización de trabajos aguas arriba · Dependencia de llegada de archivos · Ordenamiento impulsado por API · Criterios avanzados de planificación · Condiciones Control-M |
|
cross_tool.deps |
Trabajos de GCP en BigQuery · Trabajos de GCP Dataflow · Entrega de almacenamiento en la nube · DAGs de Apache Airflow · Transferencias de archivos · Empleos de análisis de aguas abajo |
|
cloud.platforms |
Plataforma de la Nube de Google · Control-M SaaS · Control-M autoalojado · entornos híbridos |
|
error_handling |
frecuencia de sondeo de estado · tolerancia a fallos · token de idempotencia · parámetros stop-on-error · control de dependencias aguas abajo · monitorización SLA |
|
Rendimiento |
50 trabajos Dataprep simultáneos por Agente · encuesta de estado configurable · frecuencia de encuesta de estado configurable · control de ejecución a nivel de flujo |
|
Observabilidad |
Monitorización del estado del puesto · Resultados del puesto · Producción del puesto · Dominio de monitorización · Anexo de puestos SLA · Visibilidad de dependencias de extremo a extremo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre GCP Dataprep, BigQuery, Cloud Storage, Dataflow, Airflow y servicios de análisis en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: almacenamiento en la nube → BigQuery → GCP Dataprep → transferencia de análisis
- Disparadores conscientes de datos: llegada de archivos, finalización de trabajos aguas arriba, finalización del flujo Dataprep, resultado de la consulta
|
GCP Dataprep |
ejecución de flujo · parámetros de ejecución · monitorización de estado · control de idempotencia |
|
GCP BigQuery |
consulta · carga · extracción · ejecución de procedimientos almacenados |
|
Google Cloud Storage |
entrega gestionada de archivos · dependencia de datos aguas arriba · transferencia aguas abajo |
|
GCP Dataflow |
Ejecución clásica de plantillas · Ejecución de plantillas flexibles · monitorización de estado |
|
Apache Airflow |
Coordinación DAG · control de dependencias aguas arriba · traspaso de flujo de trabajo aguas abajo |
|
Servicios de análisis |
Dependencia de completación · entrega programada · Transferencia con SLA |
Coexistencia del flujo de aire
Control-M no reemplaza a los DAGs Airflow. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde los Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafos de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
SUPERVISA LA ANALÍTICA
Supervisa la ejecución de GCP Dataprep en la cadena más amplia
La ejecución de Dataprep está solo una etapa de una cadena de datos de producción. Control-M reúne su estado, resultados y resultados en la misma vista operativa que los trabajos circundantes, ayudando a los equipos de datos a comprender las dependencias y a resolver el flujo de trabajo completo:
-
Estado de ejecución del trabajo Dataprep
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Visibilidad del flujo de trabajo multiplataforma
GARANTÍA DE LA SLA
Mantén los flujos Dataprep alineados con los SLA de entrega
Una ejecución exitosa de Dataprep puede llegar demasiado tarde para el resultado empresarial que apoya. Control-M conecta los trabajos de preparación con compromisos de servicio de extremo a extremo, proporcionando a los equipos los controles de planificación, dependencia y SLA necesarios para Protege la entrega aguas abajo:
-
Asignación laboral en SLA
-
Criterios avanzados de programación
-
Gestión compleja de dependencias
-
Visibilidad de extremo a extremo del servicio
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
