Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + IBM DataStage
Tu flujo de trabajo IBM DataStage comienza antes de que se ejecute un trabajo paralelo o secuencial — y puede fallar cuando algo aguas arriba se estropea. Una extracción IBM Db2 no cumple su entrega esperada. Un proceso de ingestión IBM MQ termina tras la ventana de procesamiento nocturna. Control-M orquesta toda la cadena: llegada de datos fuente, extracción upstream, ejecución IBM DataStage y entrega downstream.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
Estos no son casos límite. Son las condiciones normales de operación para equipos que ejecutan trabajos IBM DataStage en múltiples herramientas. Así es como Control-M gestiona cada uno.
LLEGADA TARDÍA DE LOS DATOS
Tu extracción de Db2 está retrasada. DataStage está programado para las 2:00 AM.
Control-M hace que la finalización aguas arriba sea un requisito previo para la ejecución en DataStage, de modo que el trabajo espera los datos requeridos en lugar de depender de un reloj independiente. El procesamiento aguas abajo permanece bloqueado hasta que son satisfechas sus dependencias, evitando que una extracción tardía se extienda por la canalización.
RECUPERACIÓN FALLIDA DEL EMPLEO
Tu trabajo en DataStage abortado de la noche a la mañana. Seis trabajos aguas abajo son en espera.
Control-M detecta el resultado del trabajo DataStage y evita que las cargas de trabajo dependientes se ejecuten tras una ejecución fallida. Las opciones de reinicio antes de ejecutar y reinicio permiten la recuperación controlada, ayudando a los operadores a restaurar el procesamiento sin coordinar manualmente cada dependencia downstream.
GESTIÓN DE PARÁMETROS
El trabajo está listo. La producción necesita un conjunto de parámetros diferente.
Control-M pasa valores de ejecución a DataStage a través de listas de parámetros, archivos de parámetros o ambos. El proyecto, el trabajo, el ID de invocación y los parámetros pasan a formar parte de la definición gestionada del trabajo, reduciendo los cambios manuales cuando la misma lógica de procesamiento se ejecuta con diferentes entradas de producción.
UMBRALES DE ADVERTENCIA
DataStage registró 200 advertencias. ¿Debería seguir el procesamiento downstream?
Control-M puede Define el número de advertencias que hacen que un trabajo DataStage aborte y utilizar el estado resultante para controlar la ejecución posterior. Los equipos establecen un comportamiento de producción repetible en lugar de dejar la interpretación de advertencias a un operador nocturno.
RIESGO DE SLA
DataStage está en marcha. Tu traspaso de las 7:00 AM se está acercando.
Control-M conecta la ejecución de DataStage con el flujo de trabajo más amplio y sus compromisos a nivel de servicio. La monitorización centralizada expone el estado del trabajo junto con dependencias aguas arriba y descendente, ayudando a los equipos a identificar retrasos en el contexto y actuar antes de que un proceso ETL lento ponga en peligro la entrega.
Control-M + IBM DataStage
Control-M + IBM DataStage
|
workload.types |
trabajos paralelos · trabajos de secuencia · procesamiento ETL · trabajos parametrizados · invocaciones múltiples de trabajos |
|
trigger.type |
programa de tiempo · Finalización de tareas aguas arriba · Llegada de archivos · Evento Control-M · Invocación de API · condición de dependencia |
|
cross_tool.deps |
Trabajos IBM Db2 · transferencias gestionadas de archivos · DAGs Apache Airflow · Trabajos Spark · Llamadas a API REST · Entrega de análisis |
|
cloud.platforms |
Linux Agent · Windows Agent · Control-M SaaS · On-premises Control-M · entornos híbridos |
|
error_handling |
umbral de advertencia · restablecer antes de ejecutar · modo de reinicio · gestión de código de retorno · control de dependencias · monitorización SLA |
|
Rendimiento |
ejecución paralela de trabajos · invocaciones múltiples de trabajos · pools de recursos · bloqueo de recursos · control de concurrencia de carga de trabajo |
|
Observabilidad |
Estado del trabajo en DataStage · resultados del trabajo · salida del trabajo · registro adjunto de DataStage · Monitorización SLA · historial de ejecución |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre IBM DataStage, IBM Db2, Airflow, Spark, transferencias de archivos y servicios en la nube en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: IBM Db2 → IBM DataStage → transferencia de análisis de Spark →
- Disparadores conscientes de datos: llegada de archivos, evento de la API, finalización de tareas aguas arriba, estado de la tarea en DataStage
|
IBM DataStage |
ejecución de tareas · parametrización · reinicio/restablecimiento · monitorización de estado |
|
IBM Db2 |
procesamiento de bases de datos · dependencias ascendentes · transferencia impulsada por completación |
|
Transferencia gestionada de archivos |
transferencia segura · llegada de archivos · disparo aguas abajo |
|
Apache Airflow |
Disparo DAG · seguimiento de estado · dependencias entre herramientas |
|
Chispa Apache |
procesar trabajos · coordinación de dependencias · traspaso aguas abajo |
|
Servicios en la nube |
ejecución de cargas de trabajo en la nube · dependencias de eventos · orquestación híbrida |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
MANILLAS DE FLUJO DE AIRE
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa los trabajos de IBM DataStage a lo largo de toda la pipeline.
DataStage proporciona información de ejecución para sus propios trabajos, pero los Pipelines de producción a menudo se extienden a través de archivos, bases de datos, motores de procesamiento y consumidores aguas abajo. Control-M lleva DataStage a una visión operativa centralizada del flujo de trabajo completo:
-
Estado de ejecución de DataStage
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Historial de ejecución en tiempo de ejecución
-
Visibilidad del flujo de trabajo multiplataforma
GARANTÍA DE LA SLA
Mantén el procesamiento de DataStage alineado con los SLA de entrega.
Un trabajo DataStage puede ejecutarse con éxito y aun así terminar demasiado tarde para el servicio empresarial que depende de él. Control-M conecta el procesamiento DataStage con dependencias de flujo de trabajo de extremo a extremo y compromisos de nivel de servicio, ayudando a los equipos a gestionar el riesgo de entrega a lo largo de la pipeline:
-
Monitorización SLA de extremo a extremo
-
Estado del puesto en DataStage
-
Visibilidad de retardo a nivel de dependencia
-
Monitorización centralizada de excepciones
-
Seguimiento de entregas aguas abajo
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
