Dinos cómo podemos ayudarte

Ventas y precios

Habla con un representante sobre las necesidades de tu empresa

Contacto con Ventas

Ayuda y soporte

Consulta nuestras opciones de soporte de productos

Contacto con Soporte

Consultas generales y ubicaciones

Contáctanos

Destinos populares

Usamos herramientas de IA para ayudar a que nuestro contenido esté disponible en varios idiomas. Debido a que estas traducciones son automatizadas, puede haber algunas variaciones entre la versión en inglés y las versiones traducidas. La versión en inglés de este contenido es la versión oficial. Contacta a BMC para hablar con un experto que pueda responder cualquier pregunta que tengas.

Problemas comunes de flujo de trabajo

¿Esto suena a tu semana?

Estos no son casos límite. Son las condiciones normales de funcionamiento para equipos que ejecutan GCP Data Fusion Pipelines en múltiples herramientas. Así es como Control-M gestiona cada uno.

ALMACENAMIENTO EN LA NUBE · ETL

Tus datos de almacenamiento en la nube llegaron tarde. La cadena de las 6:00 AM ya ha empezado.

Control-M convierte la llegada de datos en una dependencia aguas arriba en lugar de depender de una hora fija de Comienza de la canalización. El trabajo GCP Data Fusion espera la condición requerida antes de ejecutarse, evitando que la entrada incompleta se traslade al procesamiento posterior.

FALLO DEL OLEODUCTO

Data Fusion falló de la noche a la mañana. El procesamiento posterior de BigQuery sigue están en cola.

Control-M supervisa el estado del trabajo GCP Data Fusion, aplica un manejo definido de fallos y evita que los trabajos dependientes continúen tras una ejecución fallida. Operaciones detecta el paso fallido en el flujo de trabajo más amplio en lugar de descubrir una salida mala posterior más adelante.

PARÁMETROS DE TIEMPO DE EJECUCIÓN

La partición de hoy ha cambiado. Tu pipeline de Data Fusion necesita los valores de ejecución adecuados.

Control-M pasa parámetros de tiempo de ejecución basados en JSON al trabajo GCP Data Fusion, permitiendo que el flujo de trabajo suministre valores específicos de la ejecución sin crear definiciones separadas de trabajo. La ejecución parametrizada mantiene reutilizables los Pipelines recurrentes mientras coordina cada ejecución con su contexto upstream.

RIESGO DE SLA

Data Fusion está funcionando. La transferencia analítica de las 8:00 de la mañana está en riesgo.

Control-M rastrea el trabajo de GCP Data Fusion como parte del flujo de trabajo de extremo a extremo y lo asocia con la gestión SLA. Los equipos pueden identificar el riesgo de sincronización en contexto y actuar antes de que una ejecución ETL retrasada se convierta en una entrega de negocio perdida.

DEPENDENCIA ENTRE HERRAMIENTAS

Data Fusion tuvo éxito. Tu proceso posterior aún necesita una transferencia fiable.

Control-M detecta la finalización mediante monitorización del estado del trabajo y libera dependencias posteriores configuradas solo cuando se cumplen sons las condiciones requeridas. La fusión de datos se convierte en un paso gobernado en el flujo de producción en lugar de una tubería aislada que requiere lógica de planificación separada.

DATOS DE INTEGRACIÓN

Fusión de datos Control-M + GCP

workload.types

Pipelines ETL por lotes · ejecución de un solo pipeline · Plantilla de flujo de trabajo Ejecución de pipeline · Pipelines parametrizados · aborto de pipeline · Recuperación de registros de trabajos de terceros

trigger.type

programa temporal · Finalización de trabajos aguas arriba · Llegada de archivos · Dependencia Control-M · Envío impulsado por API · Estado del flujo de trabajo

cross_tool.deps

Llegada de archivos de almacenamiento en la nube · Trabajo de BigQuery · GCP Composer DAG · Trabajo GCP Dataflow · Llamada a la API REST · trabajo de análisis downstream · confirmación de entrega de archivos

cloud.platforms

Google Cloud Platform · GCP Data Fusion · Cloud Storage · BigQuery · Cloud Composer · Dataproc

error_handling

encuestas de estado · tolerancia a fallos · aborto de tubería · prevención en cascada aguas abajo · recuperación de registros de trabajos · gestión SLA · recuperación basada en dependencias

Rendimiento

Pipelines por lotes · cargas de trabajo de Data Fusion en tiempo real · 50 trabajos simultáneos de GCP Data Fusion por agente · encuestas de estado configurables

Observabilidad

Estado de la tubería · resultados de la tubería · salida de la tubería · registros de trabajos de terceros · visibilidad de dependencias de extremo a extremo · monitorización SLA

Orquestación de extremo a extremo

Un solo flujo de trabajo de producción. Todas las herramientas de la pila.

Control-M orquesta flujos de trabajo en GCP Data Fusion, Cloud Storage, BigQuery, Cloud Composer, Dataflow, transferencias de archivos y servicios en la nube en un único flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.

  • Dependencia entre herramientas: almacenamiento en la nube → pipeline GCP Data Fusion → transferencia de análisis de BigQuery →
  • Disparadores conscientes de datos: llegada de archivos, evento de API, finalización de trabajos aguas arriba, finalización de pipeline
Ver todas las integraciones

Fusión de Datos GCP

ejecución en pipeline · parámetros de ejecución · monitorización del estado · registros · gestión de fallos

Almacenamiento en la nube

dependencia de llegada de archivos · preparación de datos aguas arriba · inicio de flujo de trabajo basado en archivos

BigQuery

ejecución de consultas · procesamiento de datos · dependencia downstream · traspaso analítico

Compositor de GCP

Coordinación DAG · dependencias upstream/downstream · orquestación entre flujos de trabajo

GCP Dataflow

procesamiento por lotes · procesamiento en streaming · coordinación de trabajos · gestión de dependencias

Dataproc

Trabajos Spark · Cargas de trabajo Hadoop · Procesamiento de dependencias · ejecución programada

Transferencias de archivos

transferencia gestionada · detección de llegadas · confirmación de entrega · liberación aguas abajo

Coexistencia del flujo de aire

Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.

La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.

El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.

Manillas de flujo de aire

Orquestación a nivel DAG dentro de la tubería de datos

  • Orquestación de tareas a nivel DAG dentro de data Pipelines
  • Operadores, sensores y dependencias de tareas en Python
  • Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
  • Gestiona los intentos dentro de un único contexto DAG

Control-M añade

La capa de coordinación alrededor de tus DAGs

  • Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
  • Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
  • Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
  • Los DAGs existentes no necesitan ser reescritos ni migrados

supervisa Pipelines

Supervisa la ejecución de GCP Data Fusion a lo largo del flujo de trabajo

GCP Data Fusion expone información de ejecución a nivel de pipeline, pero las dependencias de producción a menudo se extienden a servicios y plataformas. Control-M reúne el estado, resultados, salida y trabajos relacionados de Data Fusion en una sola vista operativa para que los equipos puedan seguir el flujo de trabajo completo:

  • Estado de ejecución de la tubería

  • Resultados y salida de la tubería

  • Registros de trabajos de terceros recuperados

  • Dependencias aguas arriba y aguas abajo

  • Visibilidad de flujo de trabajo de extremo a extremo

GARANTÍA DE LA SLA

Protege los SLA de entrega más allá de la pipeline de Data Fusion

Una ejecución exitosa de Data Fusion no garantiza que el producto completo de datos haya llegado a tiempo. Control-M asocia los trabajos de GCP Data Fusion con la gestión de SLA de extremo a extremo, conectando la ejecución de la tubería con el trabajo upstream y downstream que determina la entrega:

  • Seguimiento SLA de extremo a extremo

  • Visibilidad de dependencias multiplataforma

  • Contención de fallos aguas arriba

  • Control de ejecución aguas abajo

  • Supervisión operativa centralizada

Documentación
Integración de GCP Data Fusion y Control-M

Poner orden en flujos de trabajo complejos

Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.

Programa una consulta Comienza una demostración autoguiada