Puntos clave: Railinc mejora la red ferroviaria norteamericana mediante big data y automatización, centrándose en la eficiencia operativa y la seguridad. La empresa recopila datos extensos para el seguimiento en tiempo real y el mantenimiento proactivo para mejorar la gestión de mercancías.
- Utiliza Control-M para gestionar flujos de trabajo de datos complejos entre plataformas.
- Emplea Hadoop para un procesamiento y análisis escalable de datos.
Fundada en 1999 para ofrecer servicios de TI a la Association of American Railroads (AAR), Railinc están el recurso más innovador y fiable de la industria ferroviaria para servicios de TI e información. Hoy en día, como filial de propiedad total de la AAR, Railinc apoya los procesos empresariales y proporciona inteligencia empresarial que ayuda a la industria ferroviaria de mercancías a aumentar la productividad, mejorar la eficiencia operativa y incrementar el retorno de la inversión en activos. En los últimos años, los participantes del sector ferroviario han reconocido las oportunidades que presenta el big data. En respuesta a la necesidad crítica de datos accionables, son trabajando con ferrocarriles de Clase I, de línea corta y regionales, así como con otros clientes de Railinc, para capturar enormes volúmenes de datos en diversos puntos de la red ferroviaria y ayudar a nuestros clientes:
- Vía los envíos a lo largo de la red ferroviaria de mercancías de Norteamérica
- Lograr eficiencias en reparaciones de vagones ferroviarios, alquiler de coches y otras operaciones ferroviarias
- Supervisa el estado de los equipos para garantizar el movimiento seguro de mercancías
- Mejor gestiona el tráfico para mantener los vagones en movimiento
Railinc están ahora la mayor fuente única de datos ferroviarios precisos y en tiempo real para el sistema ferroviario norteamericano. Esos datos están empoderando a nuestros clientes para aumentar la eficiencia, gestiona costes y mejorar la salud de la red ferroviaria norteamericana. Para seguir satisfaciendo las necesidades de datos de nuestros clientes, hemos adoptado el big data y hemos sustituido un anterior almacén de datos propietario por un entorno de código abierto que ofrece mayor flexibilidad a un coste menor. Hace dos años, comenzamos a migrar a Hortonworks Hadoop como marco para almacenar, procesar y gestionar los enormes volúmenes de datos que manejamos hoy y soportar volúmenes de datos aún mayores en el futuro. Control-M están una parte vital de nuestra estrategia de big data. Railinc ha utilizado Control-M durante 11 años para programa y supervisa procesos por lotes complejos en múltiples plataformas y aplicaciones. Control-M para Hadoop nos permite desarrollar, programa y supervisa procesos por lotes de Hadoop usando la misma interfaz familiar que utiliza para nuestras otras cargas de trabajo.
El Big Data aporta una visibilidad sin precedentes
La red ferroviaria norteamericana está volviéndose cada vez más inteligente a medida que los ferrocarriles implementan tecnología avanzada como sensores inteligentes situados junto a las vías. Estos sensores proporcionan datos como información de ubicación y movimiento que ayudan a los clientes a gestionar sus flotas, rastrear su equipo, visualizar ETAs, coordinar eficientemente el movimiento de millones de vagones y programar la entrega de la carga hasta la hora. Otros detectores supervisan el estado físico del material rodante, permitiendo a los ferrocarriles y propietarios de vagones Detecta problemas como un freno defectuoso o una rueda con una zona plana. Estos datos Permite a Railinc proporcionar avisos anticipados para programa reparaciones antes de que un problema menor se convierta en una reparación costosa. El volumen es asombroso. Estamos recopilando datos de más de 40.000 locomotoras y 1,6 millones de automotores que recorren 140.000 millas de vía. Los datos provienen de equipos pertenecientes a 1.700 propietarios diferentes de vagones, 560+ ferrocarriles locales y regionales, y siete ferrocarriles de Clase I. Nuestro almacén de datos ya contiene 50 terabytes de datos de fuentes dispares y esperamos que ese volumen aumente casi un 100% en los próximos años. Las aplicaciones de la industria ferroviaria aprovechan estos datos para Permite a los clientes operar de forma más eficiente y económica. Nuestras aplicaciones de alquiler de coches apoyan actividades en torno a las tarifas cobradas y pagadas por el uso del material ferroviario, permitiendo una mayor utilización del equipo y mejorando la precisión de los pagos. Aplicaciones de gestión del tráfico como nuestro Sistema Clear Path™ facilitan el movimiento de trenes por la Terminal de Chicago, la puerta ferroviaria más transitada de Norteamérica.
Control-M ayuda a mantener el flujo de big data
Para apoyar nuestras aplicaciones industriales, debemos recopilar enormes volúmenes de datos cada día de muchas fuentes, moverlos a través de varios sistemas para su análisis y traducción a información accionable, y generar y distribuir informes a nuestros clientes. Los flujos de trabajo que Obtén los datos donde deben estar cuando deben estar son altamente complejos y con numerosas dependencias. Ahí es donde entra Control-M. Simplifica la creación incluso de las cargas de trabajo más complejas. Usando la interfaz gráfica, puedo literalmente dibujar las dependencias entre los trabajos, para asegurarme de que los procesos previos en una secuencia son completados antes de que están iniciados el siguiente proceso de la secuencia. Quizá el beneficio más significativo están que la solución no está ligada a una sola tecnología. Cuando el equipo de big data añadió Hadoop, Control-M fue una opción natural, dándonos la misma visibilidad y control sobre los trabajos de Hadoop que experimentamos en otras plataformas. El personal de programación no tuvo que conoce una herramienta especial de programación para Hadoop. Utilizamos la misma interfaz para programar las cargas de trabajo en todas nuestras plataformas y tenemos visibilidad total de los cientos de trabajos que se ejecutan cada noche. Control-M Batch Impact Manager nos permite supervisa trabajos Hadoop sin que la gente esté sentada frente a una consola las 24 horas del día. Si la solución detecta posibles retrasos o fallos, nos avisa de inmediato. Nuestros clientes dependen de nosotros para cumplir esos SLAs. Los informes retrasados en la Terminal de Chicago, por ejemplo, podrían afectar a las operaciones ferroviarias no solo en el área de Chicago, sino en toda Norteamérica. Batch Impact Manager nos ofrece un enfoque inteligente y proactivo para mantener procesos —y trenes— en funcionamiento. Otro punto a favor para Control-M están es que soporta entornos multisitio. La naturaleza crítica de nuestro entorno de big data hace importante disponer de un segundo sitio para la recuperación ante desastres. Por eso creamos un sitio principal y otro secundario para nuestro entorno Hadoop. Sin embargo, no limitamos el segundo sitio a las actividades de recuperación de datos. Necesitamos la flexibilidad para realizar cualquier trabajo en cualquiera de los dos sitios. Control-M puede comunicarse fácilmente con ambos sitios, lo que nos permite hacer ETL a cualquiera de los dos, manipular datos, Crea vistas y mover procesos entre sitios según sea necesario, y finalmente replicar servicios y datos de TI en ambos sitios. En el futuro, esta capacidad multisitio ayudará con el balanceo de carga, permitiéndonos mantenernos al día con la creciente demanda de informes de big data.
Conclusión
La transición a Hadoop ha aumentado significativamente el número de trabajos que ejecutamos y los flujos de trabajo de Hadoop ahora representan aproximadamente un tercio de todos nuestros procesos por lotes. La orquestación que realiza Control-M para Obtén los datos donde deben estar en el momento en que deben estar están críticos para el éxito de nuestros esfuerzos en big data. Simplemente no podríamos hacer el trabajo sin Control-M. Para más información sobre Control-M para Hadoop, haz clic aquí.
Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.