Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Oozie
Tu flujo de trabajo Oozie comienza antes de que se ejecute una sola acción — y puede fallar cuando algo aguas arriba falla. Un conjunto de datos HDFS llega tarde. Una transformación Hive pierde su ventana de procesamiento. Control-M orquesta toda la cadena: llegada de datos HDFS, transformación Hive, ejecución del flujo de trabajo Oozie y entrega downstream.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
DATOS HDFS TARDÍOS
Tu flujo de trabajo de las 2:00 AM está listo. El conjunto de datos HDFS no.
Control-M puede observar HDFS para obtener el archivo requerido y el tamaño mínimo antes de liberar el procesamiento dependiente. Los criterios máximos de espera mantienen el procesamiento Oozie dependiente hasta que el archivo se complete — de modo que una llegada ausente o tardía aparece como una espera o un tiempo de espera visible controlado en lugar de dejar que el procesamiento posterior Comienza con datos no disponibles.
FALLO DEL FLUJO DE TRABAJO
Una acción de Oozie falló. Todo lo que está aguas abajo está dependiendo de ello.
Control-M rastrea el trabajo Oozie dentro del flujo de trabajo más amplio y puede evitar que los trabajos dependientes continúen tras el fallo. La reejecución desde el punto de fallo reinicia el flujo de trabajo en la acción fallida, de modo que la parte ya completada del flujo de trabajo no se ejecute de nuevo.
DERIVA DE PROPIEDADES
Las propiedades de ayer funcionaban. La ruta de entrada de hoy necesita un valor diferente.
Control-M envía el flujo de trabajo de Oozie usando su archivo de propiedades de trabajo y puede añadir o sobrescribir valores individuales de propiedades en momento de ejecución. Los equipos pueden parametrizar cambios de entradas sin mantener definiciones separadas de flujo de trabajo para cada variación de producción.
DEPENDENCIAS ENTRE HERRAMIENTAS
Oozie terminó con éxito. El flujo de trabajo empresarial aún tiene tres pasos por delante.
Control-M conecta el procesamiento Hadoop con trabajos fuera del flujo de trabajo de Oozie, aplicando criterios de planificación y dependencias a lo largo de todo el proceso empresarial. El trabajo de base de datos posteriores, transferencia de archivos, aplicaciones o análisis puede esperar el estado correcto de finalización upstream.
VISIBILIDAD DEL FLUJO DE TRABAJO
El flujo de trabajo de Oozie está en funcionamiento. Operaciones necesita visibilidad a nivel de acción ya.
El extractor Oozie recupera periódicamente flujos de trabajo coincidentes del servidor Oozie y envía sus acciones a Control-M como trabajos enviados. Operaciones obtiene visibilidad centralizada de esas acciones junto con el flujo de trabajo empresarial circundante en lugar de monitorizar Oozie de forma aislada.
Control-M + Oozie
Control-M + Oozie
|
workload.types |
Flujos de trabajo Oozie · Acciones de flujo de trabajo · Trabajos Hadoop · Trabajos colmena · Trabajos Spark · Trabajos MapReduce · Procesamiento HDFS |
|
trigger.type |
programa temporal · finalización de trabajos aguas arriba · llegada de archivos HDFS · tamaño mínimo del archivo · dependencia Control-M · envío de flujo de trabajo |
|
cross_tool.deps |
HDFS File Watcher · Trabajo colmena · Trabajo Spark · Trabajo MapReduce · Trabajo Sqoop · Trabajos Control-M empresariales · Entrega aguas abajo |
|
cloud.platforms |
Clústeres Hadoop · Linux Control-M Agent · Servidor Oozie · HDFS. |
|
error_handling |
reejeción desde el punto de fallo · gestión de fallos previa a comandos · gestión de fallos tras comando · acceso de dependencias · monitorización SLA · prevención de cascadas aguas abajo |
|
Rendimiento |
procesamiento Hadoop distribuido · Pipelines por lotes programados · flujos de trabajo de gran tamaño de datos · acciones paralelas de Hadoop · cargas de trabajo orquestadas centralmente |
|
Observabilidad |
Extractor Oozie · visibilidad de acciones de flujo de trabajo · Dominio de monitorización Control-M · salida de trabajos · registro de actividad · estadísticas de ejecución · Seguimiento SLA |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre Oozie, HDFS, Hive, Spark, MapReduce, Sqoop y aplicaciones empresariales en un único flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todas ellas.
- Dependencia entre herramientas: HDFS llegada → transformación de Hive → flujo de trabajo Oozie → análisis downstream
- Disparadores conscientes de los datos: llegada de archivos HDFS, tamaño mínimo de archivo, finalización aguas arriba, programa de tiempo
|
Oozie |
envío de flujos de trabajo · anulaciones de propiedades · reejecución de puntos de fallo · extracción de flujos de trabajo |
|
HDFS |
visualización de archivos · criterios de tamaño mínimo · tiempo de espera · comandos HDFS |
|
Colmena |
ejecución de scripts · parámetros · dependencias de Hadoop · monitorización de ejecución |
|
Chispa |
Ejecución en Python · Ejecución en Java/Scala · Dependencias · Planificación centralizada |
|
MapReduce |
ejecución de Java MapReduce · trabajos de streaming · argumentos · dependencias de flujos de trabajo |
|
Sqoop |
Ejecución de comandos Sqoop · orquestación de movimiento de datos · dependencias upstream/downstream |
|
Flujos de trabajo empresariales |
dependencias multiplataforma · programación · gestión SLA · monitorización centralizada |
Coexistencia del flujo de aire
Control-M no reemplaza a los DAGs Airflow. Ejecuta la capa que está encima de ellos.
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Orquestación a nivel DAG dentro de la tubería de datos
- Orquestación de tareas a nivel DAG dentro de data Pipelines
- Operadores, sensores y dependencias de tareas en Python
- Grafo de ejecución para trabajos que se ejecutan dentro de tu pipeline
- Gestiona los intentos dentro de un único contexto DAG
Control-M añade
La capa de coordinación alrededor de tus DAGs
- Capa de coordinación alrededor de los DAGs — activa el flujo de aire según las condiciones aguas arriba: llegadas de archivos, eventos de API, otras finalizaciones de herramientas
- Rastrea la contribución de SLA de cada DAG a lo largo de todo el flujo de trabajo de extremo a extremo, no solo su propia rutina
- Gestiona la recuperación de fallos cuando las dependencias aguas arriba fallan antes incluso de que empiece Airflow
- Los DAGs existentes no necesitan ser reescritos ni migrados
SUPERVISA LOS FLUJOS DE TRABAJO
Ve los flujos de trabajo de Oozie en la cadena de producción más amplia.
Oozie muestra lo que ocurre dentro de sus flujos de trabajo, pero los equipos de ingeniería de datos también necesitan visibilidad sobre los trabajos que les rodean. Control-M integra la ejecución de Oozie en una monitorización centralizada con contexto de flujo de trabajo aguas arriba y aguas abajo:
-
Visibilidad de acciones del flujo de trabajo de Oozie
-
Dependencias aguas arriba y aguas abajo
-
Registros de producción y actividad de puestos
-
Estadísticas de ejecución y tiempo de ejecución
-
Estado del flujo de trabajo de extremo a extremo
GARANTÍA DE LA SLA
Gestiona los Pipelines de Oozie contra SLA de extremo a extremo
Un flujo de trabajo exitoso en Oozie no garantiza que la pipeline completa de datos termine a tiempo. Control-M conecta el procesamiento Hadoop con la planificación empresarial y la gestión SLA, ayudando a los equipos a gestionar los compromisos de entrega a lo largo de todo el flujo de trabajo:
-
Seguimiento SLA de extremo a extremo
-
Control de dependencias multiplataforma
-
Criterios avanzados de programación
-
Gating aguas abajo consciente de fallos
-
Supervisión centralizada de la producción