Habla con un representante sobre las necesidades de tu empresa
Consulta nuestras opciones de soporte de productos
Consultas generales y ubicaciones
ContáctanosProblemas comunes de flujo de trabajo
LLEGADA DE DATOS HDFS
Control-M utiliza los criterios de HDFS File Watcher para esperar el archivo requerido antes de liberar el trabajo Pig. El procesamiento comienza cuando la entrada HDFS esperada está disponible en lugar de a una hora arbitraria del tiempo, evitando la ejecución prematura por datos perdidos.
SQOOP · PIG
Control-M modela la importación de Sqoop y el script Pig como trabajos dependientes, liberando Pig solo después de que el trabajo ascendente se complete con éxito. La secuencia de procesamiento sigue el estado de ejecución real en lugar de calendarios separados, impidiendo que Pig se ejecute contra datos importados incompletos.
FALLO DE MANDO HDFS
Control-M puede ejecutar comandos HDFS antes del script Pig y, usando la configuración FailJobOnCommandFailure, determinar si un precomando fallido debería fallar el trabajo. La lógica de preparación y la ejecución del script permanecen dentro de un flujo de trabajo controlado, deteniendo el procesamiento posterior cuando la operación HDFS requerida no se completa.
RECUPERACIÓN DE FALLOS
Control-M detecta el estado fallido del trabajo y evita que el procesamiento dependiente continúe hasta que se cumplan son condiciones de recuperación. Los operadores pueden Ve el fallo en su contexto de flujo de trabajo de extremo a extremo, evitando que una transformación fallida en Pig se traslade al procesamiento de datos aguas abajo.
RIESGO DE SLA
Control-M rastrea a Pig dentro del servicio de extremo a extremo y monitoriza las dependencias que determinan la entrega final. La monitorización SLA y la detección predictiva de retardos exponen riesgos antes de que la transferencia aguas abajo no alcance su objetivo, dando tiempo a los equipos de operaciones para intervenir.
Control-M + Pig
|
workload.types |
Escrituras latín Pig · Procesamiento por lotes Hadoop · trabajos Pig parametrizados · Transformaciones de datos HDFS |
|
trigger.type |
Llegada de archivos HDFS (Vigilante de archivos HDFS) · programa temporal · Finalización de trabajos aguas arriba · Evento Control-M |
|
cross_tool.deps |
HDFS File Watcher · Trabajo Sqoop · Trabajo colmena · Trabajo MapReduce · Entrega de archivos aguas abajo |
|
cloud.platforms |
Clústeres Hadoop · Infraestructura On-premises · entornos híbridos · Control-M autoalojado · Control-M SaaS (Provisión de plug-in Hadoop) |
|
error_handling |
recuperación configurable · retención de fallo aguas arriba · prevención en cascada aguas abajo · gestión de fallos previos a comandos · gestión de fallos posteriores a comandos · alertas SLA |
|
Rendimiento |
procesamiento por lotes a gran escala · ejecución Hadoop distribuida · procesamiento de datos paralelo · cargas de trabajo HDFS de alto volumen |
|
Observabilidad |
Estado de ejecución del trabajo · Salida del trabajo · monitorización del flujo de trabajo · visibilidad de dependencias · seguimiento SLA · registros históricos de ejecución |
Orquestación de extremo a extremo
Control-M orquesta flujos de trabajo entre Pig, HDFS, Sqoop, Hive, transferencias de archivos y servicios en la nube en un único flujo de trabajo, con seguimiento de dependencias, visibilidad SLA y recuperación automatizada en todos ellos.
|
Cerdo |
Ejecución de escritura latina pig · procesamiento parametrizado · seguimiento de estado |
|
HDFS |
monitorización de la llegada de archivos · comandos previos/post-datos · preparación de datos |
|
Sqoop |
ejecución de importaciones · coordinación de dependencias · seguimiento de completación |
|
Colmena |
ejecución downstream · coordinación de dependencias · traspaso analítico |
|
MapReduce |
ejecución distribuida de trabajos · seguimiento de estado · dependencias de flujo de trabajo |
|
Transferencia gestionada de archivos |
movimiento seguro de archivos · monitorización de llegadas · confirmación de entrega |
Coexistencia del flujo de aire
El flujo de aire gestiona su DAG. Control-M gestiona todo lo que le rodea.
Manillas de flujo de aire
Control-M añade
supervisa Pipelines
Pig ejecuta transformaciones dentro de Hadoop, pero las Pipelines de producción suelen abarcar trabajos, archivos y herramientas de procesamiento adicionales. Control-M proporciona monitorización centralizada de flujos de trabajo en esas dependencias para que los equipos de datos puedan Ve el progreso de la ejecución e identificar dónde está esperando o fallando una canalización:
Estado de ejecución de trabajos pig
Dependencias aguas arriba y aguas abajo
Producción de trabajos e historial de ejecución
Fallos y esperas de la tubería
Visibilidad de flujo de trabajo de extremo a extremo
GARANTÍA DE LA SLA
Un trabajo Pig exitoso no garantiza que toda la cadena de datos termine a tiempo. Control-M rastrea el flujo de trabajo circundante y sus compromisos de nivel de servicio, ayudando a los equipos a identificar retrasos e intervenir antes de que los consumidores de datos posteriores son afectados:
Detección predictiva de retardos SLA
Visibilidad de extremo a extremo del servicio
Ejecución consciente de dependencias
Gestión automatizada de fallos
Alertas operativas centralizadas