Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Azure Machine Learning
Tu flujo de trabajo de Azure Machine Learning comienza antes de que se ejecute una pipeline de endpoint — y puede fallar cuando algo aguas arriba falla. No llegó una entrada de Azure Blob Storage. Una pipeline de Azure Data Factory se extendió largamente. Control-M orquesta toda la cadena: llegada de datos Azure Blob, transformación Azure Data Factory, ejecución de Azure Machine Learning y entrega posterior.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan trabajos de Azure Machine Learning en múltiples herramientas. Así es como Control-M gestiona cada uno.
DATOS DE ARRIBA
Tu entrenamiento está programada. Los datos de Azure Blob aún no han llegado.
Control-M mantiene el trabajo de Azure Machine Learning dependiente del flujo de trabajo upstream en lugar de un horario independiente. La ejecución comienza solo después de completar el procesamiento requerido, evitando que los datos tardíos se conviertan en una ejecución de aprendizaje automático mal sincronizada.
ADF · AZURE ML
Tu pipeline de Data Factory terminada. El trabajo de aprendizaje automático está esperando.
Control-M coordina los trabajos Azure Data Factory y Azure Machine Learning dentro del mismo entorno de planificación, utilizando dependencias de trabajos para liberar la ejecución tras completar el procesamiento aguas arriba — eliminando horarios desconectados y traspasos manuales entre etapas de pipeline.
RECUPERACIÓN DE FALLOS
El trabajo del oleoducto falló de la noche a la mañana. Todo lo que viene aguas abajo está dependiendo de ello.
Control-M rastrea el estado de los trabajos de Azure Machine Learning y aplica condiciones de flujo de trabajo alrededor del resultado, impidiendo que el procesamiento dependiente continúe tras una ejecución fallida. Teams pueden recuperar la etapa fallida sin avanzar ciegamente en el flujo de trabajo aguas abajo.
GESTIÓN DE CÓMPUTO
El entrenamiento están terminado. El clúster de cálculo de Azure ML sigue están funcionando.
Control-M puede coordinar la gestión del cómputo de Aprendizaje Automático de Azure con el flujo de trabajo de producción, incluyendo acciones de Comienza, detención, reinicio y eliminación. El ciclo de vida del cómputo se convierte en otro paso orquestado en lugar de una tarea operativa desconectada una vez finalizado el procesamiento del modelo.
RIESGO DE SLA
El trabajo de ML está alargándose. Tu ventana de entrega por la mañana está cerrando.
Control-M integra el trabajo de Azure Machine Learning al flujo de trabajo SLA de extremo a extremo, para que los equipos puedan Ve su impacto en los plazos de procesamiento y entrega dependientes en lugar de supervisar la ejecución de ML de forma independiente del servicio empresarial.
Control-M + Azure Machine Learning
Control-M + Azure Machine Learning
|
workload.types |
Ejecución de la tubería de endpoint · ejecución de trabajos existentes · gestión de cómputo · Comienza de cálculo · parada de cálculo · reinicio de cálculo · eliminación de cálculos |
|
trigger.type |
programa de tiempo · finalización de trabajos aguas arriba · Dependencias de Control-M · flujo de trabajo de llegada de archivos · Ejecución impulsada por API · API de automatización |
|
cross_tool.deps |
Pipeline Azure Data Factory · Llegada de Azure Blob Storage · Trabajo Azure Databricks · Apache Airflow DAG · Llamada a API REST · Análisis Downstream |
|
cloud.platforms |
Microsoft Azure · Espacio de trabajo de aprendizaje automático Azure · Azure compute · Control-M SaaS · entorno híbrido Control-M |
|
error_handling |
tolerancia a fallos · frecuencia de sondeo de estado · condiciones del trabajo Control-M · prevención en cascada aguas abajo · recuperación del flujo de trabajo · Monitorización SLA |
|
Rendimiento |
ejecución asíncrona de ML · Pipelines de larga duración · flujos de trabajo de inferencia por lotes · procesamiento de clústeres de cómputo |
|
Observabilidad |
Estado del puesto · resultados del puesto · producción del puesto · visibilidad de dependencias · seguimiento SLA · monitorización centralizada del flujo de trabajo |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo en Azure Machine Learning, Azure Data Factory, Azure Blob Storage, Azure Databricks, Airflow, transferencias de archivos y servicios en la nube en un único flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Cross-tool dependency: Azure Data Factory → Azure Machine Learning pipeline → Azure Databricks → analytics handoff
- Disparadores conscientes de datos: llegada de archivos, evento de API, finalización de trabajos aguas arriba, finalización de pipeline
|
Azure Machine Learning |
ejecución por pipeline · ejecución de trabajos existentes · gestión de cómputo · monitorización de estado |
|
Azure Data Factory |
ejecución de pipeline · dependencias de completación · transferencia de flujo de trabajo |
|
Azure Blob Storage |
llegada de archivos · dependencias de datos · lanzamiento posterior |
|
Azure Databricks |
ejecución de trabajos · coordinación de dependencias · procesamiento downstream |
|
Apache Airflow |
ejecución DAG · seguimiento de estado · dependencias de flujo de trabajo |
|
Transferencias de archivos |
movimiento de datos · detección de llegadas · liberación de flujo de trabajo |
|
Servicios de análisis |
traspaso aguas abajo · entrega programada · coordinación de dependencias |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
MANILLAS DE FLUJO DE AIRE
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
SUPERVISA EMPLEOS DE APRENDIZAJE AUTOMÁTICO
Supervisa los trabajos de Azure Machine Learning a lo largo de la tubería
Azure Machine Learning muestra la ejecución dentro de su propio entorno. Control-M conecta esa ejecución con la pipeline de producción más amplia, ofreciendo a los equipos de DataOps una visión centralizada de los trabajos de ML junto con las cargas de trabajo aguas arriba y descendente que determinan la entrega exitosa:
-
Azure ML job status
-
Resultados y producción laboral
-
Dependencias aguas arriba y aguas abajo
-
Visibilidad de flujo de trabajo de extremo a extremo
-
Estado de ejecución multiplataforma
GARANTÍA DE LA SLA
Mantén los Pipelines de aprendizaje automático alineados con los SLA de entrega
Azure Machine Learning puede indicar te cómo están ejecutándose un trabajo de ML. Control-M muestra cómo ese trabajo afecta al plazo para el flujo de trabajo completo de producción, conectando la ejecución de ML con dependencias ascendentes, procesamiento downstream y entrega a nivel de servicio:
-
Monitorización SLA de extremo a extremo
-
Visibilidad de dependencias multiplataforma
-
Monitorización del estado laboral en ML
-
Coordinación de entrega aguas abajo
-
Control centralizado de flujo de trabajo
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
