Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Azure Databricks
Tu flujo de trabajo de Azure Databricks comienza antes de que un trabajo se ejecute — y puede fallar cuando algo aguas arriba falla. Un archivo nunca llega al contenedor de Azure Data Lake Storage desde donde lee tu trabajo. Una tubería de Azure Data Factory que lo alimentaba se extendió mucho y perdió su ventana. Control-M orquesta toda la cadena: ingestión de datos, transformación ascendente, ejecución de Databricks y entrega descendente.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos extremos. Son las condiciones normales de funcionamiento para equipos que ejecutan trabajos de Azure Databricks en múltiples herramientas. Así es como Control-M maneja cada uno.
DEPENDENCIAS DE ASCENDENCIA
Tu trabajo en Databricks está programado. Los archivos de aterrizaje aún no han llegado.
Azure Databricks no puede procesar datos que nunca llegaron a almacenamiento. Control-M espera a que los eventos verificados de llegada o finalización de archivo aguas arriba antes de lanzar portátiles o trabajos, evitando ejecuciones fallidas, arranque innecesario del clúster y retrasos aguas abajo.
RECUPERACIÓN DE TUBERÍA
Un cuaderno falló a las 2:14 de la madrugada. Toda la cadena de datos se estancó.
Control-M detecta el estado de salida del cuaderno, aplica políticas de reintento configurables, aísla fallos de flujos de trabajo posteriores y reanuda el procesamiento desde el punto adecuado en lugar de reiniciar toda la pipeline. La recuperación está automatizada, consistente y totalmente auditable.
ORQUESTACIÓN MULTIPLATAFORMA
Azure Data Factory terminado. La carga de trabajo de Databricks nunca empezó.
Control-M rastrea la finalización a través de Azure Data Factory, Azure Storage, APIs, bases de datos y Azure Databricks. Cuando se cumplen son todas las condiciones de dependencia, se lanza automáticamente la siguiente carga de trabajo sin scripts de sondeo, intervención manual ni lógica de planificación quebradiza.
VISIBILIDAD EN SLA
Tus paneles matutinos son tarde. Nadie sabe qué dependencia se desvaneció.
Control-M proporciona visibilidad de extremo a extremo en todo el flujo de trabajo, no solo Azure Databricks. Predice los riesgos de SLA, identifica el trabajo ascendente que causa retrasos y alerta a los operadores antes de que las ventanas de entrega perdidas afecten a los informes o a los consumidores posteriores.
FLUJOS DE DATOS HÍBRIDOS
Procesamiento en la nube terminado. El grupo On-premises nunca recibió los resultados.
Los Pipelines de datos modernos abarcan servicios Azure, sistemas On-premises, bases de datos, transferencias de archivos y plataformas de analítica. Control-M orquesta cada traspaso entre entornos, validando dependencias y coordinando el movimiento de datos a través de un único flujo de trabajo de producción.
DATOS DE INTEGRACIÓN
Control-M + Azure Databricks
|
workload.types |
Empleos en Databricks · Cuadernos · Tablas Delta Live · Procesamiento por lotes de Spark · Delta Live Tables Pipelines (vía job) · Entrenamiento de modelos de aprendizaje automático |
|
trigger.type |
arrival de archivo (Azure Data Lake Storage Gen2 · Azure Blob Storage · SFTP) · Azure Event Grid event · API REST/webhook · programa temporal · Finalización de trabajos aguas arriba · Código de salida de la tubería |
|
cross_tool.deps |
Azure Data Factory pipeline completion · Azure Synapse Analytics · Azure Data Lake Storage Gen2 · Apache Airflow DAG · dbt Cloud run · Azure Functions · Llamada a la API REST |
|
cloud.platforms |
Microsoft Azure · Azure Databricks · Azure Data Lake Storage Gen2 · Azure Blob Storage · Azure SQL Database · Azure Synapse Analytics · Control-M SaaS + On-premises |
|
error_handling |
Conteo de reintentos configurable · Intervalo de reintento · Detección de estado de salida de un portátil · Prevención en cascada aguas abajo · Retención automatizada del trabajo en caso de fallo aguas arriba · Alerta previa a la brecha del SLA · PagerDuty · Slack |
|
Rendimiento |
procesamiento por lotes de alto volumen de Spark · Computación distribuida · Streaming estructurado · Cargas de trabajo de Delta Lake · Ejecución paralela en cuadernos · Orquestación en clúster escalable |
|
Observabilidad |
Registro de auditoría a nivel de puesto · Flujo de trabajo Línea de Dependencia · Seguimiento SLA con predicción de brechas · Historia de duración · Integración Datadog/Splunk · Flujo de eventos compatible con SIEM · Panel Operativo Centralizado |
Orquestación de extremo a extremo
Un flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo a través de Azure Databricks, Azure Data Factory, Azure Data Lake Storage, Azure Blob Storage, dbt Cloud, Apache Airflow, APIs, transferencias de archivos y servicios en la nube en un único flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia cross-tool: Azure Data Factory pipeline → Azure Databricks job → Delta Live Tables → SQL Warehouse → Power BI refresh
- Disparadores conscientes de datos: llegada de archivos, evento Azure Event Grid, evento de la API REST, finalización de trabajos aguas arriba, estado de salida del notebook
|
Azure Databricks |
Orquestación de trabajos · Ejecución en el cuaderno · Programación de flujo de trabajo · Seguimiento del estado laboral · Recuperación automatizada |
|
Azure Data Factory |
Disparador de completación de tubería · Seguimiento de dependencias · Orquestación multiplataforma · Control de propagación de fallos |
|
Azure Data Lake Storage Gen2 |
Detección de llegada de archivos · Validación de la disponibilidad de datos · Inicio de flujo de trabajo orientado a eventos · Comprobaciones de preparación del conjunto de datos |
|
dbt Cloud |
Detección de completación de ejecuciones · Gestión de dependencias de transformación · Ejecución automatizada aguas abajo |
|
Apache Airflow |
Disparador DAG · Monitorización del estado del DAG · Orquestación entre flujos de trabajo · Coordinación SLA de extremo a extremo |
|
Power BI |
Disparador de actualización del conjunto de datos · Secuenciación de la publicación de informes · Automatización de la entrega de análisis |
|
APIs REST y aplicaciones empresariales |
Invocación API · Encuestas de estado · Desencadenantes impulsados por eventos · Integración de flujos de trabajo empresariales |
Coexistencia del flujo de aire
Control-M no reemplaza a los DAGs de flujo de aire. Corre la capa que está encima de ellos.
La objeción es común: "ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que funcione Airflow. Ahí es donde los Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que lo rodea.
MANILLAS DE FLUJO DE AIRE
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de una tubería de datos
- Operadores, sensores y dependencias de tareas en Python
- Gráfico de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M ADDS
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
SUPERVISA LOS FLUJOS DE TRABAJO
Supervisa los trabajos de Azure Databricks en toda tu cadena de datos.
Azure Databricks ofrece visibilidad sobre trabajos y flujos de trabajo individuales, pero las Pipelines de producción suelen extiende desde almacenamiento, ingestión, transformación y análisis posteriores. Control-M ofrece monitorización centralizada, seguimiento de dependencias y visibilidad operativa a lo largo de todo el flujo de trabajo desde una única interfaz:
-
Visibilidad de flujo de trabajo de extremo a extremo
-
Estado de ejecución del cuaderno
-
Historia y tendencias en tiempo real
-
Dependencias aguas arriba y aguas abajo
-
Predicción de riesgo de SLA
GARANTÍA DE LA SLA
Recuperar flujos de trabajo de Azure Databricks sin reconstruir la canalización.
Los intentos nativos de trabajos resuelven fallos individuales de ejecución pero no coordinan la recuperación entre sistemas dependientes. Control-M automatiza los intentos, gestiona dependencias multiplataforma, previene fallos posteriores y reanuda los flujos de trabajo desde el punto de recuperación adecuado:
-
Políticas de reintento configurables
-
Recuperación consciente de la dependencia
-
Prevención de cascadas aguas abajo
-
Gestión automatizada de excepciones
-
Notificaciones basadas en políticas
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
