Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Apache NiFi
Tu flujo de trabajo Apache NiFi comienza antes de que un procesador se ejecute — y puede fallar cuando algo aguas arriba se estropea. Una entrega SFTP esperada por ListSFTP llega tarde. Un trabajo de ingesta de Kafka pierde su ventana de procesamiento. Control-M orquesta toda la cadena: llegada de archivos, transformación ascendente, ejecución de Apache NiFi y entrega descendente.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
Estos no son casos límite. Son las condiciones normales de operación para equipos que ejecutan Pipelines Apache NiFi en múltiples herramientas. Así es como Control-M gestiona cada uno.
LLEGADA TARDÍA DEL ARCHIVO
El archivo SFTP de las 2:00 a.m. está retrasado. NiFi está esperando.
Control-M coordina la dependencia del archivo antes de iniciar el procesador NiFi requerido, para que el procesamiento aguas abajo no comience prematuramente. La tubería solo avanza después de que se están satisfecha su condición de ascendente, reduciendo las ejecuciones fallidas y la intervención manual.
FALLO DEL PROCESADOR
Un procesador NiFi falla. Los trabajos aguas abajo no pueden continuar de forma segura.
Control-M monitoriza el estado del trabajo en NiFi y aplica dependencias del flujo de trabajo alrededor de la ejecución del procesador. El trabajo fallido puede impedir que los trabajos dependientes continúen, mientras que Control-M centraliza el fallo en el flujo de trabajo circundante para una recuperación más rápida.
DEPENDENCIA ENTRE HERRAMIENTAS
NiFi termina la ingestión. Tu trabajo de datos aguas abajo aún necesita coordinación.
Control-M integra trabajos Apache NiFi con otros trabajos Control-M en un único entorno de planificación, evalúa la dependencia y libera el procesamiento posterior cuando se completa la ejecución NiFi requerida — eliminando horarios desconectados y traspasos manuales entre plataformas.
CONTROL DEL PROCESADOR
Un procesador necesita actualización antes de la siguiente ejecución de datos de producción.
Control-M puede Comienza, detener, desactivar o actualizar un procesador NiFi a través de un trabajo NiFi de Apache definido. Los equipos coordinan esas acciones con el flujo de trabajo de producción más amplio en lugar de gestionar la ejecución del procesador como una tarea operativa aislada.
RIESGO DE SLA
NiFi está funcionando, pero la ventana de entrega empresarial está apagándose.
Control-M asocia la gestión SLA a los trabajos NiFi de Apache y rastrea su contribución dentro del flujo de trabajo más amplio. Los equipos de operaciones obtienen visibilidad sobre el timing y las dependencias más allá de la propia ejecución NiFi, ayudándoles a actuar antes de que la entrega posterior están comprometida.
Control-M + Apache NiFi
Control-M + Apache NiFi
|
workload.types |
Ejecución del procesador · Operaciones de Comienza del procesador · Operaciones de detención del procesador · Operaciones de desactivación del procesador · Actualizaciones del procesador · Flujos de datos en tiempo real · Pipelines de datos por lotes |
|
trigger.type |
programa temporal · finalización de trabajos aguas arriba · llegada de archivos · condición de dependencia Control-M · criterios avanzados de planificación |
|
cross_tool.deps |
DAG del Apache Airflow · Ingesta del Apache Kafka · Flujo de datos del Amazon S3 · transferencia SFTP · carga de la base de datos · trabajo de análisis downstream |
|
cloud.platforms |
AWS · Microsoft Azure · Google Cloud Platform · On-premises · entornos híbridos |
|
error_handling |
tolerancia a fallos configurable · sondeo de estado · control de dependencias aguas abajo · alertas Control-M · controles de recursos · recuperación de flujo de trabajo |
|
Rendimiento |
flujos de datos en tiempo real · Pipelines por lotes · encuestas de estado configurables · coordinación de trabajos multiplataforma |
|
Observabilidad |
Estado del puesto NiFi · resultados del puesto · producción del puesto · seguimiento SLA · visibilidad de dependencias de extremo a extremo · Monitorización Control-M |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre Apache NiFi, Kafka, SFTP, Amazon S3, Airflow, Snowflake y servicios en la nube en un solo flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: SFTP → procesador Apache NiFi → carga de Snowflake → transferencia de análisis
- Disparadores conscientes de datos: llegada de archivos, finalización de trabajos aguas arriba, programa, evento de la API
|
Apache NiFi |
ejecutar procesador · detener procesador · actualizar procesador · ejecutar procesador una vez · estado de supervisa |
|
Apache Kafka |
dependencias de la ingestión de coordenadas · procesamiento posterior de secuencias |
|
SFTP |
Dependencia de llegada de archivos · Coordinación gestionada de transferencias |
|
Amazon S3 |
Pipelines de datos basados en objetos coordinados · dependencias aguas abajo |
|
Apache Airflow |
disparar DAGs · coordinar dependencias DAG · supervisa la ejecución |
|
Copo de nieve |
Cargas de datos de coordenadas · procesamiento aguas abajo de secuencias |
Coexistencia del flujo de aire
Control-M no reemplaza tus DAGs de flujo de aire. Ejecuta la capa que está encima de ellos.
La objeción está común: "Ya estamos en Airflow." El problema no es lo que hace Airflow, sino lo que ocurre antes y después de que Airflow funcione. Ahí es donde Pipelines realmente fallan.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
MANILLAS DE FLUJO DE AIRE
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
supervisa Pipelines
Supervisa la ejecución de Apache NiFi en toda la pipeline.
NiFi expone el estado detallado del flujo y del procesador, pero las dependencias de producción a menudo se extienden más allá de sus límites. Control-M proporciona monitorización centralizada de los trabajos NiFi junto con el flujo de trabajo empresarial circundante, ofreciendo a los equipos de datos una visión operativa de:
-
Estado de ejecución de trabajos en NiFi
-
Resultados y producción laboral
-
Estado del flujo de trabajo multiplataforma
-
Visibilidad en SLA
GARANTÍA DE LA SLA
Mantén los Pipelines de NiFi alineados con los compromisos de entrega.
Un procesador NiFi saludable no garantiza que el producto completo de datos llegue a tiempo. Control-M conecta la ejecución de NiFi con la planificación de extremo a extremo y la gestión de SLA, ayudando a los equipos a gestionar toda la ruta de entrega a través de:
-
Seguimiento SLA de extremo a extremo
-
Criterios avanzados de programación
-
Gestión de dependencias entre herramientas
-
Controles de recursos y cerraduras
-
Monitorización centralizada de flujos de trabajo
Documentación
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
