Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Azure HDInsight
Tu flujo de trabajo de Azure HDInsight comienza antes de que se ejecute un trabajo por lotes de Apache Spark — y puede fallar cuando algo aguas arriba falla. Un JAR de aplicación llega tarde en Azure Blob Storage. Un pipeline de Azure Data Factory pierde su ventana de finalización esperada. Control-M orquesta toda la cadena: llegada de datos Azure Blob, transformación Azure Data Factory, ejecución Azure HDInsight y entrega de análisis aguas abajo.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan Pipelines Azure HDInsight en múltiples herramientas. Así es como Control-M gestiona cada uno.
LLEGADA TARDÍA DE LOS DATOS
Tu trabajo en Spark está listo. Su entrada Azure Blob sigue sin estarlo.
Control-M coordina la llegada del archivo con la dependencia de trabajos por lotes de Spark, manteniendo en manteniendo la ejecución de HDInsight hasta que el paso ascendente requerido se complete con éxito. El procesamiento comienza en la secuencia correcta en lugar de ejecutarse contra entradas faltantes o incompletas.
RETRASO DE LA SUBIDA
Azure Data Factory terminó tarde. Tu carrera de Spark a las 6:00 AM no puede esperar.
Control-M rastrea las dependencias a lo largo del flujo de trabajo y comienza el trabajo de HDInsight solo después de que se cumplen son sus condiciones de upstream. La monitorización SLA expone el riesgo de temporización downstream desde el principio, dando visibilidad a los equipos antes de que una dependencia retrasada se convierta en una entrega fallida.
FALLO DE LA CHISPA
El lote de Spark falló. Todo lo que está aguas abajo está dependiendo de él.
Control-M monitoriza el estado y los resultados de los trabajos en Azure HDInsight, pone de manifiesto el fallo en el dominio de Monitorización y evita que los trabajos dependientes avancen incorrectamente. Los equipos pueden recuperar el paso de procesamiento fallido sin permitir que resultados malos o incompletos se propaguen aguas abajo.
SOLUCIÓN DE PROBLEMAS
El lote falló de la noche a la mañana. Ahora te necesito los registros de Chispa.
Control-M lleva los registros de trabajos de Apache Spark directamente a la salida de trabajo de Control-M mientras monitoriza el estado de ejecución y los resultados. Los ingenieros Obtén el contexto operativo necesario para investigar fallos sin necesidad de unir vistas separadas de planificación y ejecución de HDInsight.
RIESGO DE SLA
Spark está funcionando. Tu traspaso de analítica tiene una fecha límite.
Control-M conecta la gestión SLA al flujo de trabajo de Azure HDInsight y rastrea el trabajo como parte del servicio de producción más amplio. Los equipos Ve el riesgo de temporización en contexto y pueden responder antes de que un lote de Spark de larga duración retrase la entrega posterior.
Control-M + Azure HDInsight
Control-M + Azure HDInsight
|
workload.types |
Trabajos por lotes de Apache Spark · análisis de big data · procesamiento ETL · Pipelines de datos programados |
|
trigger.type |
Llegada de archivos Blob en Azure · programa temporal · Finalización de trabajos aguas arriba · Estado de salida de trabajo aguas arriba · API de automatización · finalización de transferencia de archivos (vía Control-M MFT) |
|
cross_tool.deps |
Pipeline Azure Data Factory · Entrega de Azure Blob Storage · Trabajo Azure Synapse · Trabajo Azure Databricks · Finalización de transferencia de archivos · Llamada API REST |
|
cloud.platforms |
Microsoft Azure · Control-M SaaS · Control-M On-premises · flujos de trabajo híbridos empresariales |
|
error_handling |
Monitorización del estado del puesto · prevención en cascada basada en dependencias · acciones de recuperación configurables · monitorización SLA · recuperación de salida de trabajos · recuperación de registros de chispas |
|
Rendimiento |
50 trabajos HDInsight simultáneamente por Agente · Procesamiento por lotes de Apache Spark · flujos de trabajo empresariales paralelos · Programación centralizada |
|
Observabilidad |
Estado del trabajo · resultados de ejecución · Salida del trabajo Spark · Registros de Spark · Visibilidad SLA · Monitorización de dependencias · Dominio de monitorización Control-M |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo a través de Azure HDInsight, Azure Data Factory, Azure Blob Storage, Azure Synapse, transferencias de archivos y servicios en la nube en un único flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Cross-tool dependency: Azure Data Factory → Azure HDInsight Spark → Azure Synapse → analytics handoff
- Desencadenantes conscientes de los datos: llegada de archivos Azure Blob, evento de API, finalización de trabajos aguas arriba, entrega de archivos
|
Azure HDInsight |
ejecutar trabajos por lotes de Spark · pasar parámetros de aplicación · encuestar estado del trabajo · recuperar los registros de Spark |
|
Azure Data Factory |
coordinar la ejecución de la tubería · seguir la finalización · gestionar dependencias entre herramientas |
|
Azure Blob Storage |
llegada de datos de coordenadas · procesamiento de secuencias · ejecución aguas abajo de puertas |
|
Azure Synapse Analytics |
coordinar trabajos de analítica · gestionar dependencias · secuenciar procesamiento aguas abajo |
|
Azure Databricks |
coordinar trabajos de datos · supervisar la ejecución · conectar dependencias aguas abajo |
|
Control-M Transferencia Gestionada de Archivos |
orquestar la entrega de archivos · completar la transferencia de seguimiento · procesamiento dependiente del disparador |
|
APIs REST |
invocar servicios externos · coordinar pasos impulsados por API · conectar etapas personalizadas de flujo de trabajo |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
MANILLAS DE FLUJO DE AIRE
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa los trabajos de Azure HDInsight sin perder el contexto de la canalización.
Azure HDInsight expone la información de ejecución de Spark, pero las Pipelines de producción rara vez se detienen en el límite del clúster. Control-M lleva la ejecución de HDInsight a la misma vista operativa que los pasos de flujo de trabajo aguas arriba y aguas abajo, proporcionando a los equipos de datos una visibilidad centralizada en todo el área:
-
Estado del trabajo en lotes de Spark
-
Resultados y producción laboral
-
Registros de ejecución de chispas
-
Dependencias aguas arriba y aguas abajo
-
Estado del flujo de trabajo de extremo a extremo
GARANTÍA DE LA SLA
Mantén el procesamiento de Spark alineado con los plazos de entrega.
Un trabajo Spark exitoso puede seguir llegando tarde operativamente si los datos o el procesamiento aguas arriba consumen su ventana de entrega. Control-M añade visibilidad SLA en todo el flujo de trabajo para que los equipos puedan identificar riesgos temporales y gestionar servicios de datos críticos a través de:
-
Seguimiento SLA de extremo a extremo
-
Visibilidad de dependencias multiplataforma
-
Identificación de trabajos de larga duración
-
Monitorización centralizada de fallos
-
Control operativo a nivel de flujo de trabajo
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
