Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + GCP Dataplex
Tu flujo de trabajo de GCP Dataplex comienza antes de que se ejecute un escaneo de calidad de datos — y puede fallar cuando algo aguas arriba falla. Un conjunto de datos de almacenamiento en la nube llega incompleto. Una transformación de BigQuery dura mucho. Control-M orquesta toda la cadena: ingesta de almacenamiento en la nube, transformación de BigQuery, ejecución de Dataplex y entrega aguas abajo.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan trabajos GCP Dataplex en múltiples herramientas. Así es como Control-M gestiona cada uno.
CALIDAD DE LOS DATOS
Tu carga de BigQuery terminada. El escaneo de calidad de Dataplex nunca empezó.
Control-M modela el trabajo de BigQuery y el escaneo de Dataplex como pasos dependientes del flujo de trabajo, y luego inicia el escaneo predefinido solo después de que se están cumplidas su condición de upstream. Un handoff fallido se convierte en un estado visible del flujo de trabajo en lugar de una brecha silenciosa de calidad de datos.
ESCANEO FALLIDO
El escaneo de calidad de datos a las 2:00 a.m. falló. Los informes posteriores están esperando.
Control-M monitoriza el estado del trabajo, resultados y resultados de Dataplex, aplica un manejo definido de fallos y evita que el trabajo dependiente avance en una ejecución fallida. Operaciones ve el paso fallido en contexto y puede recuperar el flujo de trabajo sin reconstruir la cadena.
RETRASO DE CHISPA
Tu tarea personalizada de Spark se prolongó. Cada dependencia posterior cambió.
Control-M monitoriza la tarea de Dataplex dentro del flujo de trabajo de extremo a extremo y rastrea su contribución a los compromisos de entrega posteriores. La monitorización SLA expone el impacto del retraso desde el principio, para que los equipos puedan intervenir antes de que una tarea tardía de Spark se convierta en un resultado tardío del negocio.
TRASPASO DE PERFILES
El perfil ha terminado. Tu próximo proceso de BigQuery está esperando.
Control-M realiza un seguimiento de la finalización del escaneo de perfilado de datos predefinido y evalúa automáticamente la siguiente dependencia del flujo de trabajo. Cuando se está alcanzado el estado requerido, el procesamiento aguas abajo avanza sin un script de sondeo separado, programa cron ni transferencia manual.
ENCUESTAS DE ESTADO
Dataplex está funcionando. Tu planificador ya ha asumido fallo.
Control-M proporciona una frecuencia de sondeo de estado configurable y tolerancia a fallos para trabajos de GCP Dataplex. Los problemas temporales de comprobación de estado pueden gestionarse antes de que termine el trabajo No está bien, reduciendo fallos falsos mientras se mantiene el flujo de trabajo de producción bajo control centralizado.
DATOS DE INTEGRACIÓN
Control-M + GCP Dataplex
|
workload.types |
Tarea de Calidad de Datos · Tarea Personalizada de Spark · Escaneo de Perfilado de Datos · Escaneo de Calidad de Datos |
|
trigger.type |
programa avanzado · completación de trabajos aguas arriba · llegada de archivos · condición de la API/evento · Dependencia entre herramientas |
|
cross_tool.deps |
Google Cloud Storage · BigQuery · GCP Dataflow · GCP Data Fusion · Apache Airflow/Cloud Composer · Analítica de downstream |
|
cloud.platforms |
Google Cloud Platform · entornos híbridos · flujos de trabajo multi-nube · Control-M SaaS · Control-M autoalojado |
|
error_handling |
frecuencia de encuestas de estado · tolerancia a fallos · prevención en cascada aguas abajo · recuperación basada en dependencias · monitorización SLA · alertas |
|
Rendimiento |
hasta 50 trabajos Dataplex simultáneamente por Agente · Planificación centralizada · Pools de Recursos · Bloquear Recursos |
|
Observabilidad |
Estado del trabajo en Dataplex · resultados del trabajo · salida del trabajo · seguimiento SLA · visibilidad de dependencias de extremo a extremo · monitorización del flujo de trabajo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo a través de GCP Dataplex, BigQuery, Cloud Storage, Cloud Composer, Dataflow y servicios en la nube en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: almacenamiento en la nube → BigQuery → GCP Dataplex → traspaso de analítica
- Disparadores conscientes de datos: llegada de archivos, evento de la API, finalización de BigQuery, resultado de trabajo aguas arriba
|
GCP Dataplex |
Tarea de Calidad de Datos · Tarea Personalizada de Spark · Escaneo de Perfilado de Datos · Escaneo de Calidad de Datos · Monitorización de Estado |
|
BigQuery |
ejecución de consultas · dependencias de transformación · secuenciación upstream/downstream |
|
Almacenamiento en la nube |
llegada de archivos · dependencias de ingestión · traspasos de datos |
|
Cloud Composer / Airflow |
Orquestación DAG · dependencias de completación · coordinación de flujos de trabajo entre DAG |
|
GCP Dataflow |
ejecución de la tubería · dependencias de estado · secuenciación aguas abajo |
|
Fusión de Datos GCP |
ejecución de pipelines · dependencias de flujos de trabajo · monitorización centralizada |
|
Análisis de downstream |
dependencias de entrega · coordinación SLA · Finalización de flujos de trabajo |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa los trabajos de Dataplex a lo largo de toda la cadena de datos.
Dataplex muestra la ejecución dentro de su contexto de Google Cloud; las dependencias de producción a menudo se extienden más allá. Control-M proporciona monitorización centralizada del estado, resultados y salida de Dataplex junto con los trabajos aguas arriba y descendente que determinan si el flujo de trabajo completo tiene éxito:
-
Estado de ejecución de trabajos en Dataplex
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Monitorización de flujos de trabajo de extremo a extremo
-
Contexto de fallo multiplataforma
GARANTÍA DE LA SLA
Pon la ejecución de Dataplex dentro del SLA empresarial.
Un escaneo exitoso de Dataplex no demuestra que el producto de datos completo haya llegado a tiempo. Control-M adjunta la gestión SLA a los trabajos de Dataplex y los rastrea dentro del flujo de trabajo más amplio, ayudando a los equipos a identificar retrasos antes de que dependencias aguas arriba o descendente pongan en peligro la entrega:
-
Adjunto de trabajos en Dataplex SLA
-
Seguimiento SLA de extremo a extremo
-
Visibilidad predictiva del retardo
-
Estado del flujo de trabajo consciente de dependencias
-
Alertas operativas centralizadas
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
