Puntos clave: Los almacenes de características mejoran MLOps gestionando datos cruciales para el entrenamiento y la inferencia de modelos, mejorando la colaboración y la calidad de los datos. Simplifican los flujos de trabajo y apoyan la accesibilidad y el intercambio de datos.
- Los almacenes de características facilitan la transformación de datos, el almacenamiento y la función de características a los modelos.
- Ayudan a Reduce la duplicidad, garantizan el cumplimiento normativo y aceleran el desarrollo.
Los almacenes de características son parte del flujo de trabajo de aprendizaje automático y de las herramientas de aprendizaje automático. Los almacenes de funcionalidades se sitúan entre los modelos de datos y aprendizaje automático.
¿Qué es una almacena de funciones?
Los almacenes de características son una forma de gestionar datos, especialmente para operaciones de aprendizaje automático (MLOps).
Una explicación sencilla de MLOps están todas las piezas de ingeniería te deben reunir para desplegar, ejecutar y entrenar modelos de IA. Por ello, MLOps entrelaza componentes significativos de:
- Aprendizaje automático
- DevOps
- Ingeniería de datos
Con las feature stores, la destreza de los equipos de ML puede aumentar porque sus datos—la esencia vital de cualquier modelo de ML—están más fácilmente visibles.
(Lee nuestra comparación entre aprendizaje automático e IA .)
Cómo funcionan las tiendas de características
Los datos solían quedar cómodamente en algún servidor. Los científicos de datos accedían a los datos cuando se necesitaban para el análisis. O bien, los usuarios consultaban el servidor para mostrar los datos.
Pero, en la era del big data, este tipo de almacenamiento y recuperación de datos ya no están viables.
El aprendizaje automático y la construcción de sistemas de IA presentan un tipo diferente de caso de utiliza: es necesario extraer datos diferentes de sus fuentes, y luego transformarse y combinarse para Crea un conjunto de características estándar que sirva a un modelo.
Los equipos se enfrentan a desafíos al poner modelos de ML en producción. Mike Del Basco, cofundador de Tecton.ai y creador de la plataforma de ML Michelangelo de Uber, dice que los equipos se enfrentan a estos retos:
- Acceso a los datos en bruto adecuados
- Construir características a partir de datos en bruto
- Combinar características en datos de entrenamiento
- Cálculo y servicio de características en producción
- Funciones de monitorización en producción
Los almacenes de características resuelven un problema relacionado con la creciente complejidad de las demandas de datos generadas por el flujo de trabajo de ML. Los científicos de datos quieren—necesitan—poder fácilmente:
- Verificar la validez de los datos
- Comprueba su calidad
- Saber que es fresco
- Versiona los datos y compártelos con otros
Los almacenes de funcionalidades son situados entre los modelos de ML y las fuentes de datos para acomodar el tipo de accesibilidad que requieren los equipos de Aprendizaje Automático.
Almacenamiento de datos
Monitorización
Las tiendas de características ayudan a los equipos:
- Mejor colaborar
- Reduce la duplicación
- Mejor cumplimiento normativo
- Desarrollo más rápido
Cuando los datos están el componente fundamental de un modelo de ML, los almacenes de características aumentan la capacidad de un equipo para:
- Comunica sobre sus datos
- Crea modelos de aprendizaje automático más únicos.
Funciones clave de los almacenes de características
Feast está un proyecto de almacena de funciones de código abierto desarrollado en colaboración con Google y Gojek. Su despliegue en Google se está accediendo a través de una API. Feast está construido sobre Redis, y luego utiliza Big Query para almacenamiento.
Hoy en día, Feast opera en todas las plataformas principales. Aun así, su práctica de diseño está un buen modelo para saber qué buscar en una tienda de características. Así que, vamos a explorar las funciones clave y componentes de las tiendas de características.
Consumo de datos multifuente
Los almacenes de características cargarán datos desde fuentes ascendentes. Los datos provienen de muchas fuentes. Las características deberán extraerse de esas fuentes y combinarse en conjuntos de características.
La almacena de características debe poder leer de muchas fuentes. Una almacena de características puede cargar datos a través de:
- Diversos arroyos
- Almacenes
- Archivos de datos
Transformación de datos
Una ventaja clave de esta función almacena están que facilita utiliza diferentes tipos de características juntas en los mismos modelos.
Los científicos de datos extraerán datos de diferentes fuentes, y el almacena de características permite que el modelo una o transforme datos de manera consistente, mientras que la acción se ha completado y completado con éxito.
Además de crear conjuntos de características a partir de diferentes fuentes, los datos se transforman de varias maneras para soportar un modelo. Una forma están codificando o etiquetando datos con un solo hot, o codificando datos de texto para ser procesados por un modelo.
La almacena de funcionalidades verificará que está coherencia entre estas transformaciones con análisis y monitorización adecuados para Haz que los datos hayan completado correctamente el paso antes de ser entregados a un modelo.
Sin el paso de verificación, es posible que te entrenar modelos y llevarlos a producción, todo con datos obsoletos e incompletos.
Búsqueda y descubrimiento
Una consideración importante diseña con esta funcionalidad almacena están fomentar la colaboración entre equipos. Cuando están crea un conjunto de funcionalidades y funciona bien con un modelo, el objetivo están que ese conjunto sea compartido y consumido por otros modelos o creado por otros equipos.
Una buena almacena de funciones tendrá formas de compartir conjuntos, con información del registro para asegurar que son estandarizadas y sean coherentes en todos los modelos de los equipos.
Las tiendas de funciones necesitan almacenar los datos en algún lugar, ya sea en línea o fuera de línea, ya que los datos de las fuentes pasan por ellos.
De Tecton.ai:
- "Las capas de almacenamiento offline son utilizadas típicamente para almacenar meses o años de datos de características con fines de entrenamiento. Los datos de almacena de características offline a menudo se están almacenados en almacenes de datos o lagos de datos como S3, BigQuery, Snowflake, Redshift. Extender un data lake o almacén de datos existente para almacenamiento offline de características están generalmente preferido para evitar silos de datos.
- Las capas de almacenamiento online se son utilizadas para persistir los valores de características para la búsqueda de baja latencia durante la inferencia. Normalmente solo almacenan los valores de características más recientes de cada entidad, modelando esencialmente el estado actual del mundo. Las tiendas online suelen son finalmente consistentes y no tienen requisitos estrictos de consistencia para la mayoría de los casos de uso de ML. Normalmente son implementadas con almacenes de valor clave como DynamoDB, Redis o Cassandra."
Servicio de características
La almacena de características debe poder servir características a diferentes modelos, y las herramientas para hacerlo suelen están a través de una API.
Los modelos también requieren consistencia entre las características que se les sirven, por lo que cuando se son servidas las características, una comprobación puede verificar que los datos que se sirven cumplen con los requisitos que exige el modelo.
Por último, la preocupación siempre presente en torno a los bloques de código está integrando la capacidad de supervisar el almacén de funcionalidades. El almacena de características debería proporcionar muchas métricas sobre los datos y puede descubrir la completitud, corrección y calidad de los conjuntos de datos que lo recorren.
La monitorización ayuda a que el sistema se actualice, se depure en casos de error y avance en complejidad.
Empezando con las tiendas de funciones
Cuando los equipos de ML Obtén crecen, encontrar una forma de mantener sus datos se vuelve necesario. La mayoría de las grandes empresas que utilizan IA ya han creado tiendas internas de funcionalidades: Google, Uber, Facebook, Amazon, Salesforce, etc.
Ahora esas herramientas se son convertido en un MLaaS para empresas nuevas que son avanzando en su camino hacia la IA.
Aquí son las herramientas para desarrollar tu propia almacena de funcionalidad:
- Tecton.ai
- Feast.ai (Función de código abierto almacena)
- Amazon Sagemaker
- Molecula
- Integración Feast/Kubeflow
Hacer crecer MLOps tiene más necesidades
Las tiendas de características son solo una de las necesidades emergentes de los grandes equipos de operaciones de ML. La disciplina MLOps tiene altas exigencias en niveles operativos más altos. Para un verdadero MLOps, te debe ser capaz:
- Haz que el acceso y la calidad de los datos sean fáciles.
- Sigue el desarrollo de un modelo desde sus inicios, pasando por la formación y hasta el servicio.
- Supervisa el éxito del modelo cuando están en producción.
En general, Ve que la industria del ML se agrupa en torno a tres áreas clave:
- Gestión de datos, incluyendo anotación y verificación de datos, control de calidad y accesibilidad de datos para modelos y científicos de datos
- Pipelines de datos que automatizan el flujo de trabajo de ML
- Servir o poner el modelo en producción
Como podemos Ve, las tiendas de características encajan perfectamente en estos grupos.
Lecturas relacionadas
Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.