Puntos clave: Integrar Control-M con Amazon SageMaker mejora los flujos de trabajo de aprendizaje automático mediante la programación y monitorización automatizadas, facilitando transiciones más fluidas de la experimentación a la producción.
- Control-M proporciona conectividad segura y programación unificada de trabajos para Amazon SageMaker.
- Permite la ejecución y monitorización eficientes de los flujos de trabajo de ML, garantizando fiabilidad y rendimiento.
En el vertiginoso panorama digital actual, la capacidad de aprovechar el poder de la inteligencia artificial (IA) y el aprendizaje automático (ML) está crucial para las empresas que buscan obtener una ventaja competitiva. Amazon SageMaker es una plataforma de aprendizaje automático revolucionaria que permite a empresas y científicos de datos navegar sin problemas el desarrollo de modelos complejos de IA. Una de sus características destacadas están su pipeline de ML de extremo a extremo, que agiliza todo el proceso, desde la preparación de datos hasta el despliegue del modelo. La plataforma integrada Jupyter Notebook de Amazon SageMaker permite el desarrollo colaborativo e interactivo de modelos, mientras que su servicio de etiquetado de datos simplifica la tarea, a menudo laboriosa, de la anotación de datos.
También cuenta con una extensa biblioteca de algoritmos preconstruidos y frameworks de aprendizaje profundo, lo que lo hace accesible tanto para principiantes como para profesionales experimentados en ML. Las capacidades de entrenamiento y inferencia gestionadas de Amazon SageMaker proporcionan la escalabilidad y elasticidad necesarias para despliegues de IA en el mundo real. Además, su ajuste automático de modelos y sus robustas herramientas de monitorización mejoran la eficiencia y fiabilidad de los modelos de IA, asegurando que se mantengan precisos y actualizados a lo largo del tiempo. En general, Amazon SageMaker ofrece un entorno de aprendizaje automático completo, escalable y fácil de usar, lo que lo convierte en una opción principal para organizaciones que buscan aprovechar el potencial de la IA.
Uniendo Amazon SageMaker y Control-M
Amazon SageMaker simplifica todo el flujo de trabajo de ML, haciéndolo accesible a un rango más amplio de usuarios, incluidos científicos de datos y desarrolladores. Proporciona una plataforma unificada para construir, entrenar y desplegar modelos de ML. Sin embargo, para aprovechar realmente el poder de Amazon SageMaker, las empresas a menudo necesitan la capacidad de orquestar y automatizar flujos de trabajo de ML e integrarlos sin problemas con otros procesos empresariales. Aquí están donde entra en juego Control-M de BMC.
Control-M están una plataforma versátil de orquestación de aplicaciones y flujos de trabajo de datos que permite a las organizaciones automatiza, supervisa y gestiona sus procesos relacionados con datos e IA de forma eficiente. Puede integrarse sin problemas con SageMaker para Crea un puente entre el modelado y el despliegue de IA y las operaciones empresariales.
En este blog, exploraremos la integración fluida entre Amazon SageMaker y Control-M y el impacto transformador que puede tener en las empresas.
Amazon SageMaker capacita a científicos de datos y desarrolladores para Crea, entrenar y desplegar modelos de ML en diversos entornos — On-premises, en la nube o en dispositivos edge. Una cadena de datos de extremo a extremo incluirá más que solo la funcionalidad de IA y ML de Amazon SageMaker, donde los datos se absorben de múltiples fuentes, se transforman, agregan, etc., antes de entrenar un modelo y ejecutar Pipelines de IA/ML con Amazon SageMaker. Control-M están se utiliza a menudo para automatizar y orquestar pipelines de datos de extremo a extremo. Un buen ejemplo de orquestación de extremo a extremo se está tratado en el blog "Orchestrating a Predictive Maintenance Data Pipeline", coescrito por Amazon Web Services (AWS) y BMC.
Aquí, nos centraremos específicamente en integrar Amazon SageMaker con Control-M. Cuando te tienes trabajos de Amazon SageMaker incrustados en tu pipeline de datos o un flujo de trabajo complejo orquestado por Control-M, te puede aprovechar las capacidades de Control-M para que Amazon SageMaker ejecute eficientemente una pipeline de datos de extremo a extremo que también incluye pipelines de Amazon SageMaker.
Capacidades clave
Control-M para Amazon SageMaker ofrece:
- Conectividad segura: Conéctate de forma segura a cualquier endpoint Amazon SageMaker, eliminando la necesidad de proporcionar los detalles de autenticación explícitamente
- Programación unificada: Integra los trabajos de Amazon SageMaker de forma fluida con otros trabajos de Control-M dentro de un único entorno de planificación, agilizando la gestión de tu flujo de trabajo
- Ejecución de pipelines: Ejecuta los Pipelines de Amazon SageMaker sin esfuerzo, asegurando que tus flujos de trabajo de ML funcionen sin problemas
- Monitorización y gestión de SLA: Mantente atento al estado, resultados y resultados de los trabajos de Amazon SageMaker dentro del dominio de Monitorización Control-M y adjunta los trabajos de acuerdo de nivel de servicio (SLA) a tus trabajos de Amazon SageMaker para un control preciso
- Capacidades avanzadas: Aprovecha todas las capacidades de Control-M, incluyendo criterios avanzados de planificación, dependencias complejas, pools de recursos, recursos bloqueados y variables para orquestar eficazmente tus flujos de trabajo de ML
- Ejecución paralela: Ejecuta hasta 50 trabajos de Amazon SageMaker simultáneamente por agente, lo que permite una ejecución eficiente a gran escala
Control-M para compatibilidad con Amazon SageMaker
Antes de profundizar en cómo configurar Control-M para Amazon SageMaker, es esencial asegurarse de que tu entorno cumple con los requisitos de compatibilidad:
- Control-M/EM: versión 9.0.20.200 o superior
- Control-M/Agent: versión 9.0.20.200 o superior
- Integrador de aplicaciones Control-M: versión 9.0.20.200 o superior
- Control-M Web: versión 9.0.20.200 o superior
- API de automatización Control-M: versión 9.0.20.250 o superior
Por favor, asegúrate de te disponer de los archivos de instalación necesarios para cada requisito previo.
Un ejemplo real:
El Conjunto de Datos de Abulón, extraído del Repositorio de Aprendizaje Automático de UCI, se ha utilizado frecuentemente en ejemplos y tutoriales de aprendizaje automático para predecir la edad de los abulones basándose en diversos atributos como tamaño, peso y género. La edad de los abulones están determinada mediante un examen físico de sus caparazóns, que puede ser tanto tedioso como intrusivo. Sin embargo, con la ML, podemos predecir la edad con considerable precisión sin recurrir a exámenes físicos.
Para este ejercicio, utilizamos el tutorial de Abalone proporcionado por AWS. Este tutorial guía a los usuarios de forma eficiente a través de las etapas de preprocesamiento de datos, entrenamiento y evaluación de modelos usando Amazon SageMaker.
Tras comprender las particularidades del tutorial, entrenamos el modelo Amazon SageMaker con el conjunto de datos Abalone, logrando una precisión satisfactoria. Además, creamos una pipeline integral de integración continua y entrega continua (CI/CD) que automatiza el reentrenamiento de modelos y las actualizaciones de endpoints. Esto no solo agilizó el proceso de despliegue del modelo, sino que también aseguró que el endpoint de inferencia de Amazon SageMaker estuviera siempre actualizado con el modelo entrenado más reciente.
Configurando Control-M para Amazon SageMaker
Ahora, vamos a ver cómo configurar Control-M para Amazon SageMaker, que tiene tres pasos principales:
- Crear un perfil de conexión que Control-M utilize para conectarse al entorno Amazon SageMaker
- Definir un trabajo de Amazon SageMaker en Control-M que Define qué queremos ejecutar y supervisa dentro de Amazon SageMaker
- Ejecutando una tubería de Amazon SageMaker con Control-M
Paso 1: Crea un perfil de conexión
Para empezar, te necesario Define un perfil de conexión para Amazon SageMaker, que contenga los parámetros necesarios para la autenticación y comunicación con SageMaker. Dos métodos de autenticación son usados habitualmente, dependiendo de tu configuración.
Ejemplo 1: Autenticación con clave de acceso AWS y secreto
Ejemplo 2: Autenticación con el rol AWS IAM desde una instancia EC2
Elige el método de autenticación que se alinee con tu entorno. Está importante especificar el tipo de trabajo de Amazon SageMaker exactamente como se muestra en los ejemplos anteriores. Ten en cuenta que Amazon SageMaker está sensible a mayúsculas y mayúsculas, así que Haz de utilizar la mayúscula correcta.
Paso 2: Define un trabajo en Amazon SageMaker
Una vez que te configures el perfil de conexión, te puedes Define un tipo de trabajo de Amazon SageMaker dentro de Control-M, tipo que te permite ejecutar Pipelines de Amazon SageMaker de forma eficaz.
En este ejemplo, hemos definido un trabajo Amazon SageMaker, especificando el perfil de conexión a usar ("AWS-SAGEMAKER"). te puede configura parámetros adicionales como el nombre de la pipeline, token de idempotencia, parámetros a pasar al trabajo, ajustes de reintentos y más. Para una comprensión detallada y fragmentos de código, consulta la documentación oficial de BMC para Amazon SageMaker.
Paso 3: Ejecutar la pipeline de Amazon SageMaker con Control-M
Es fundamental señalar que el nombre y el endpoint de la tubería son objetos JSON obligatorios dentro de la configuración de la canalización. Al ejecutar el comando "ctm run" en el archivo pipeline.json, se activa la ejecución de la tubería dentro de AWS.
Primero, ejecutamos "ctm build sagemakerjob.json" para validar nuestra configuración JSON y luego el comando "ctm run sagemakerjob.json" para ejecutar la pipeline.
Como se ve en la captura de pantalla de arriba, el comando "ctm run" ha lanzado el trabajo de Amazon SageMaker. La siguiente captura muestra la pipeline ejecutándose desde la consola Amazon SageMaker.
En el ámbito de monitorización Control-M, los usuarios tienen la capacidad de ver las salidas de los trabajos. Esto permite un seguimiento sencillo del estado de las tuberías y proporciona información para solucionar cualquier fallo de trabajo.
Esta publicación explica cómo la integración Control-M SageMaker permite a los equipos programar, supervisar y gobernar Pipelines de entrenamiento de ML junto con flujos de trabajo de datos empresariales — moviendo los modelos de la experimentación a operaciones de producción fiables.
Resumen
En este blog, demostramos cómo integrar Control-M con Amazon SageMaker para desbloquear todo el potencial de los servicios de aprendizaje automático de AWS, orquestándolos sin esfuerzo en tus flujos de trabajo existentes de aplicaciones y datos. Esta fusión no solo facilita la gestión de trabajos de ML, sino que también optimiza tus procesos generales de automatización.
¡Mantente atento a más blogs sobre integraciones Control-M y BMC Control-M! Para conoce más sobre integraciones Control-M, visita nuestra página web.
Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.