Dinos cómo podemos ayudarte
Ventas y precios
Habla con un representante sobre las necesidades de tu empresa
Ayuda y soporte
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
Contáctanos
Control-M + Hadoop HDFS
Tu flujo de trabajo HDFS de Hadoop comienza antes de que se ejecute un comando o un observador de archivos HDFS — y puede fallar cuando algo aguas arriba se estropea. Una importación de Sqoop nunca escribe su conjunto de datos HDFS esperado. Una transformación Hive termina tarde y pierde la ventana de procesamiento downstream. Control-M orquesta toda la cadena: llegada de datos de origen, transformación Hive, ejecución HDFS y entrega downstream.
Problemas comunes de flujo de trabajo
¿Esto suena a tu semana?
No son casos límite. Son las condiciones normales de operación para equipos que ejecutan Pipelines Hadoop HDFS en múltiples herramientas. Así es como Control-M gestiona cada uno.
LLEGADA DE ARCHIVOS
El archivo HDFS llegó a las 2:00 a.m. Sigue incompleto.
Control-M HDFS File Watcher espera la ruta HDFS especificada hasta que el archivo alcanza el tamaño mínimo definido. Si el archivo llega pero no se cumplen los criterios de tamaño, el trabajo sigue observando, impidiendo que datos parciales entren en la siguiente etapa de la canalización.
FALLO DE MANDO HDFS
Tu HDFS Obtén fallo. El procesamiento aguas abajo ya está programado para comenzar.
Control-M ejecuta comandos HDFS como trabajos gestionados y captura su estado de completación. Las dependencias impiden que los trabajos aguas abajo continúen tras un comando fallido, evitando que un problema de acceso o transferencia HDFS se propague por el resto del flujo de trabajo.
COPIA ENTRE CLÚSTERES
La transferencia de DistCp de ayer se alargó. La ventana de análisis de hoy se está cerrando.
Control-M programa DistCp como parte del mismo flujo de trabajo de producción, registra su finalización antes de que comience el procesamiento dependiente y aplica la planificación Control-M y controles SLA en todo el trabajo — reduciendo la coordinación manual cuando las copias grandes entre clústeres se alargan.
HIVE · HDFS
Tu trabajo en la colmena terminado. El paso de entrega de HDFS nunca empezó.
Control-M modela el procesamiento Hive y las operaciones HDFS dentro de una misma cadena de dependencias. Cuando el trabajo Hive alcanza su estado de finalización requerido, Control-M puede liberar el paso HDFS dependiente sin un programa cron separado ni transferencia manual.
RIESGO DE SLA
El procesamiento de HDFS está retrasado. La fecha límite del negocio no se ha adelantado.
Control-M incorpora trabajos Hadoop a su entorno de planificación empresarial y habilita trabajos SLA alrededor de ellos. Los equipos pueden gestionar la etapa HDFS en el contexto del flujo de trabajo de extremo a extremo en lugar de solucionar problemas con una tarea aislada del sistema de archivos.
DATOS DE INTEGRACIÓN
Control-M + Hadoop HDFS
|
workload.types |
Comandos HDFS · Vigilante de archivos HDFS · DistCp · Comandos Spark pre/post HDFS · Comandos MapReduce pre/post HDFS |
|
trigger.type |
Llegada de archivos HDFS (con criterios mínimos de tamaño de archivo y tiempo máximo de espera) · programa de tiempo · Finalización de trabajos aguas arriba. |
|
cross_tool.deps |
Trabajo colmena · Trabajo Spark · Trabajo Sqoop · Trabajo MapReduce · Flujo de trabajo Oozie · Transferencia DistCp · Analítica Downstream |
|
cloud.platforms |
On-premises Hadoop · Distribuciones Cloudera / Hortonworks · Linux edge node · Hadoop protegido por Kerberos |
|
error_handling |
gestión de fallos previos a los comandos (FailJobOnCommandFailure) · gestión de fallos postcomando · bloqueo de dependencias · monitorización SLA · controles de recursos |
|
Rendimiento |
almacenamiento HDFS distribuido · grandes conjuntos de datos · transferencias paralelas DistCp · procesamiento por lotes Hadoop · cargas de trabajo a escala de clúster |
|
Observabilidad |
Monitorización de trabajos Control-M · estado de finalización de trabajos · visibilidad de dependencias de extremo a extremo · Seguimiento SLA · Vista centralizada de planificación |
Orquestación de extremo a extremo
Un solo flujo de trabajo de producción. Todas las herramientas de la pila.
Control-M orquesta flujos de trabajo entre Hadoop HDFS, Hive, Spark, Sqoop, Oozie y transferencias de archivos en un solo flujo de trabajos — con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
- Dependencia entre herramientas: Sqoop → HDFS → Hive → Spark
- Desencadenantes conscientes de los datos: llegada de archivos HDFS, tamaño mínimo de archivo, finalización de trabajos, programa de tiempo
|
Hadoop HDFS |
comandos HDFS · vigilancia de llegada de archivos · criterios de tamaño mínimo · dependencias gestionadas |
|
DistCp |
copia distribuida · rutas de fuente · ruta de destino · opciones de DistCp |
|
Colmena |
Ejecución de scripts colmena · coordinación de dependencias · operaciones pre/post HDFS |
|
Chispa |
Copia distribuida (inter/intra-clúster) · rutas de origen · ruta de destino · opciones DistCp. |
|
Sqoop |
trabajos de movimiento de datos · dependencias de flujos de trabajo · ejecución programada |
|
Oozie |
ejecución de flujos de trabajo · extracción de flujos de trabajo · visibilidad de acciones |
|
MapReduce |
Trabajos MapReduce · Trabajos en streaming · Comandos pre/post HDFS |
supervisa Pipelines
Supervisa la ejecución de HDFS a lo largo de toda la canalización de datos
HDFS muestra lo que está ocurriendo dentro del sistema de archivos, pero no si el flujo de trabajo completo del negocio está progresando. Control-M sitúa las operaciones HDFS junto con el procesamiento Hadoop y los trabajos empresariales dependientes en una sola vista operativa:
-
Estado de ejecución de trabajos en HDFS
-
Dependencias aguas arriba y aguas abajo
-
Visibilidad del flujo de trabajo entre herramientas
-
Supervisión centralizada de puestos de trabajo
GARANTÍA DE LA SLA
Mantén los Pipelines dependientes de HDFS alineados con los plazos del negocio
Una operación HDFS exitosa puede llegar demasiado tarde para el proceso que depende de ella. Control-M aplica planificación empresarial, dependencias, controles de recursos y gestión SLA en las cargas de trabajo de Hadoop para que los equipos puedan gestionar la entrega en contexto empresarial:
-
Seguimiento SLA de extremo a extremo
-
Criterios avanzados de programación
-
Gestión compleja de dependencias
-
Coordinación de fondos de recursos
-
Controles de recursos de bloqueo
Poner orden en flujos de trabajo complejos
Conoce cómo Control-M ayuda a los equipos a orquestar procesos complejos con mayor visibilidad, coordinación y control.
