Dinos cómo podemos ayudarte

Ventas y precios

Habla con un representante sobre las necesidades de tu empresa

Contacto con Ventas

Ayuda y soporte

Consulta nuestras opciones de soporte de productos

Contacto con Soporte

Consultas generales y ubicaciones

Contáctanos

Destinos populares

Usamos herramientas de IA para ayudar a que nuestro contenido esté disponible en varios idiomas. Debido a que estas traducciones son automatizadas, puede haber algunas variaciones entre la versión en inglés y las versiones traducidas. La versión en inglés de este contenido es la versión oficial. Contacta a BMC para hablar con un experto que pueda responder cualquier pregunta que tengas.

Problemas comunes de flujo de trabajo

¿Esto suena a tu semana?

No son casos límite. Son las condiciones normales de operación para equipos que ejecutan trabajos de GCP Dataflow en múltiples herramientas. Así es como Control-M gestiona cada uno.

LLEGADA TARDÍA DE LOS DATOS

Tus datos de almacenamiento en la nube están retrasados. El trabajo de Dataflow de las 2:00 AM no puede empezar.

Control-M rastrea la dependencia de archivos aguas arriba y mantiene la ejecución de Dataflow hasta que están disponibles los datos necesarios. La programación y la lógica de dependencias evitan que el trabajo de procesamiento se inicie contra entrada incompleta, eliminando así transferencias frágiles en tiempo fijo.

FRACASO LABORAL

Tu plantilla Flex se inicia. El trabajo de flujo de datos falla durante el procesamiento.

Control-M monitoriza el estado del trabajo, resultados y salida del flujo de datos y detecta la ejecución fallida. La lógica de recuperación configurable de Control-M puede evitar que los trabajos posteriores continúen y enrutar el fallo hacia la respuesta operativa adecuada en lugar de permitir que una tubería rota se propague en cascada.

DEPENDENCIA ENTRE HERRAMIENTAS

Dataflow terminó con éxito. El procesamiento de BigQuery está esperando aguas abajo.

Control-M detecta la finalización exitosa del flujo de datos y libera la carga de trabajo dependiente de BigQuery dentro del mismo flujo de trabajo. Las dependencias entre herramientas reemplazan los horarios desconectados por un orden de ejecución explícito, de modo que el procesamiento aguas abajo comienza cuando su requisito previo realmente termina.

RIESGO DE SLA

Dataflow está procesándose. Tu fecha límite de análisis matutino se está acercando.

Control-M conecta el trabajo Dataflow con el SLA más amplio del flujo de trabajo, dando visibilidad a las operaciones más allá del trabajo individual en la nube. Los equipos pueden identificar el riesgo de SLA a través de los pasos dependientes de procesamiento y entrega antes de que un pipeline retrasado se convierta en un plazo de negocio incumplido.

EJECUCIÓN DE PLANTILLAS

Las plantillas Classic y Flex funcionan de forma diferente. Operaciones sigue necesitando un flujo de trabajo.

Control-M soporta trabajos de flujo de datos basados tanto en plantillas clásicas como flexibles, con ubicación de proyectos, región, plantillas, parámetros y configuraciones de sondeo definidas en el trabajo. Los ingenieros de datos mantienen la ejecución nativa de flujo de datos mientras que operaciones obtienen una orquestación empresarial consistente.

DATOS DE INTEGRACIÓN

Control-M + GCP Flujo de datos

workload.types

Pipelines por lotes · Pipelines de streaming en tiempo real · Plantillas clásicas · Plantillas Flex · trabajos de Dataflow parametrizados

trigger.type

programa de tiempo · finalización de trabajos aguas arriba · llegada de archivos · dependencia Control-M · Ejecución impulsada por API · Calendario empresarial

cross_tool.deps

Trabajo GCP en BigQuery · GCP Composer DAG · Llegada de archivo de almacenamiento en la nube · Trabajo de Databricks · Llamada a la API REST · Trabajo de análisis downstream

cloud.platforms

Plataforma en la Nube de Google · GCP Dataflow · Almacenamiento en la nube · BigQuery · Publicación/Sub

error_handling

monitorización del estado de los trabajos · recuperación Control-M configurable · prevención en cascada aguas abajo · recuperación de fallos en la salida · monitorización SLA · Dependencias cumplidas

Rendimiento

procesamiento por lotes · streaming de datos en tiempo real · 50 trabajos simultáneos de flujo de datos por agente · sondeo de estado configurable

Observabilidad

Estado del trabajo de flujo de datos · resultados del trabajo · salida del trabajo · monitorización Control-M · visibilidad SLA · vista de dependencias de extremo a extremo

Orquestación de extremo a extremo

Un solo flujo de trabajo de producción. Todas las herramientas de la pila.

Control-M orquesta flujos de trabajo entre GCP Dataflow, almacenamiento en la nube, BigQuery, Pub/Sub, GCP Composer y servicios en la nube en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.

  • Dependencia entre herramientas: trabajo de almacenamiento en la nube → Dataflow → transferencia de análisis en BigQuery →
  • Disparadores conscientes de datos: llegada de archivos, evento de API, finalización de trabajos aguas arriba, finalización de flujo de datos
Ver todas las integraciones

GCP Dataflow

Ejecución de Plantilla Clásica · Ejecución de Plantilla Flex · Parámetros · Monitorización de estado/resultados/salida

Almacenamiento en la nube

dependencia de llegada de archivos · preparación de datos aguas arriba · traspaso de flujo de trabajo

BigQuery

Orquestación de trabajos aguas abajo · coordinación de dependencias · traspaso analítico

Pub/Sub

Coordinación de canalización de streaming · Dependencia del flujo de trabajo fuente/sumidero de flujo de datos

Compositor de GCP

Coordinación DAG · dependencias upstream/downstream · orquestación multiplataforma

Databricks

coordinación de tareas · dependencias de transformación · traspaso aguas abajo

REST APIs

pasos de flujo de trabajo impulsados por API · dependencias entre aplicaciones · coordinación de procesos

Coexistencia del flujo de aire

Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.

La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.

El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.

Manillas de flujo de aire

Orquestación a nivel DAG dentro de la tubería de datos

  • Orquestación de tareas a nivel DAG dentro de data Pipelines
  • Operadores, sensores y dependencias de tareas en Python
  • Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
  • Gestiona los intentos dentro de un único contexto DAG

Control-M añade

La capa de coordinación alrededor de tus DAGs

  • Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
  • Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
  • Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
  • Los DAGs existentes no necesitan ser reescritos ni migrados

supervisa Pipelines

Supervisa la ejecución del flujo de datos de GCP a lo largo de toda la tubería

Dataflow proporciona visibilidad sobre sus propios trabajos, pero las Pipelines de producción rara vez se detienen ahí. Control-M añade monitorización centralizada entre Dataflow y las cargas de trabajo dependientes que lo rodean, para que los equipos puedan seguir la ejecución en un contexto de extremo a extremo:

  • Estado y resultados del trabajo Dataflow

  • Detalles de la producción y fallos del trabajo

  • Dependencias aguas arriba y aguas abajo

  • Ejecución de pipelines multiplataforma

  • Estado del flujo de trabajo de extremo a extremo

GARANTÍA DE LA SLA

Mantén los Dataflow Pipelines alineados con los plazos del negocio

Un trabajo de Dataflow saludable no garantiza un resultado empresarial puntual. Control-M conecta la ejecución de Dataflow con dependencias y gestión SLA a lo largo de todo el flujo de trabajo de producción, ayudando a los equipos a entender si la entrega global de datos terminará cuando sea necesario:

  • Seguimiento SLA de extremo a extremo

  • Visibilidad de dependencias aguas arriba

  • Prevención de cascadas aguas abajo

  • Monitorización de la finalización de la tubería

  • Asignación laboral en SLA

Documentación
Integración de GCP Dataflow y Control-M

Poner orden en flujos de trabajo complejos

Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.

Programa una consulta Comienza una demostración autoguiada