Habla con un representante sobre las necesidades de tu empresa
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
ContáctanosProblemas comunes de flujo de trabajo
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan Pipelines de Ciencia de Datos OCI en múltiples herramientas. Así es como Control-M gestiona cada uno.
PREPARACIÓN DE DATOS
Control-M hace que el trabajo de Ciencia de Datos OCI dependa de un procesamiento upstream exitoso en lugar de un calendario aislado. El trabajo comienza solo después de que se completa el flujo de trabajo de datos requerido, evitando que un conjunto de datos incompleto se propague al entrenamiento del modelo.
FALLO DEL OLEODUCTO
Control-M monitoriza la ejecución de Ciencia de Datos OCI, detecta su estado de finalización y mantiene el trabajo dependiente cuando la ejecución falla. El sondeo de estado configurable y la tolerancia a fallos controlan cómo se está monitorizada la ejecución, evitando que un paso fallido de ML se traslade aguas abajo.
DESPLIEGUE DEL MODELO
Control-M conecta la finalización exitosa aguas arriba directamente con la siguiente acción de Ciencia de Datos OCI, incluyendo la creación de un endpoint de despliegue de modelo. La formación y el despliegue se convierten en etapas dependientes en un flujo de trabajo programado, eliminando el disparador manual entre ambos.
RIESGO DE SLA
Control-M rastrea el trabajo de Ciencia de Datos de OCI dentro de todo su flujo de trabajo de producción y aplica la gestión SLA en los pasos dependientes. Los equipos pueden Ve cuando los retrasos amenazan el tiempo de entrega requerido e intervenir antes de que los consumidores posteriores pierdan su ventana.
DEPENDENCIAS ENTRE HERRAMIENTAS
Control-M coordina la Integración de Datos OCI y la Ciencia de Datos OCI en el mismo flujo de trabajo, utilizando dependencias de finalización en lugar de horarios desconectados. El trabajo de Ciencia de Datos comienza después de que se completa la tarea ETL requerida, eliminando las brechas temporales entre servicios.
DATOS DE INTEGRACIÓN
|
workload.types |
ejecuciones de trabajos · ejecuciones de pipeline · endpoints de despliegue de modelos · sesiones de notebook |
|
trigger.type |
programa temporal · Finalización de trabajos aguas arriba · Llegada de archivos · Dependencia Control-M · Ejecución impulsada por API |
|
cross_tool.deps |
Tareas de integración de datos OCI · Ejecución de flujo de datos OCI · Entrega de almacenamiento de objetos · DAG Airflow · transferencia de archivos · llamada API REST |
|
cloud.platforms |
Infraestructura Oracle Cloud · Ciencia de Datos OCI · Integración de Datos OCI · Flujo de Datos OCI · Almacenamiento de Objetos OCI |
|
error_handling |
encuestas de estado · tolerancia a fallos · prevención en cascada aguas abajo · retención automatizada de puestos · alerta SLA |
|
Rendimiento |
cargas de trabajo de ML por lotes · ejecuciones de trabajos paralelas · ejecuciones de pipeline repetibles · procesamiento distribuido de datos |
|
Observabilidad |
Estado de ejecución de trabajos · estado de ejecución de pipeline · resultados y salida · seguimiento SLA · visibilidad de dependencias · historial de ejecución |
Orquestación de extremo a extremo
Control-M orquesta flujos de trabajo en Ciencia de Datos OCI, Integración de Datos OCI, Flujo de Datos OCI, Almacenamiento de objetos, Airflow, transferencias de archivos y servicios en la nube en un único flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
|
Ciencia de Datos OCI |
Comienza de ejecuciones de trabajo · Comienza ejecuciones de pipeline · Crea modelos de endpoints de despliegue · Crea y elimina sesiones de notebook |
|
Integración de Datos OCI |
ejecutar tareas ETL · coordinar la ejecución del espacio de trabajo · pasar parámetros de tarea |
|
Flujo de datos OCI |
orquestar procesamiento Spark · coordinar dependencias de procesamiento · conectar ejecuciones aguas abajo |
|
Almacenamiento de objetos OCI |
coordinar la llegada de datos · encadenar la ejecución aguas abajo · conectar flujos de trabajo basados en datos |
|
Apache Airflow |
coordinar ejecución de DAG · gestionar dependencias aguas arriba · conectar traspasos aguas abajo |
|
Transferencia gestionada de archivos |
movimiento seguro de archivos · dependencias de entrega · coordinación de flujos de trabajo |
|
APIs REST |
Ejecución impulsada por API · traspasos entre servicios · integración de flujos de trabajo |
Coexistencia del flujo de aire
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
MANILLAS DE FLUJO DE AIRE
Control-M añade
SUPERVISA LOS FLUJOS DE TRABAJO DE APRENDIZAJE
La Ciencia de Datos de OCI proporciona visibilidad sobre sus propios trabajos y ejecuciones de pipeline, pero el aprendizaje automático en producción depende del trabajo fuera de ese límite. Control-M reúne esas etapas de ejecución en una única vista operativa para que los equipos puedan supervisa toda la pipeline:
Estado del puesto y del oleoducto
Dependencias aguas arriba y aguas abajo
Resultados y producción laboral
Visibilidad de ejecución de extremo a extremo
Estado del flujo de trabajo multiplataforma
GARANTÍA DE LA SLA
Una ejecución exitosa de OCI Data Science puede llegar demasiado tarde para el proceso que depende de él. Control-M gestiona la carga de trabajo frente a los requisitos de entrega de extremo a extremo, exponiendo retrasos en dependencias y riesgos de SLA antes de que interrumpan las operaciones posteriores:
Seguimiento SLA de extremo a extremo
Control de ejecución consciente de dependencias
Visibilidad predictiva del retardo
Gestión automatizada de excepciones
Monitorización centralizada de flujos de trabajo
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.