Ingestión de datos: Definición, herramientas y pipeline

La ingestión de datos es el proceso de acceder e importar datos de múltiples fuentes y transferirlos a una única ubicación donde pueden almacenarse y analizarse según sea necesario.

Diversos actores empresariales necesitan acceder a los datos para una variedad de requisitos; Esta necesidad está en el corazón de las operaciones de datos.  Ya sean ejecutivos de la cadena de suministro que buscan tomar decisiones de compra basadas en Haz basadas en datos, gerentes de operaciones que buscan priorizar los procesos de fabricación para optimizar, o profesionales de marketing interesados en mejorar la previsión para una próxima temporada de compras, la visibilidad sobre diversas fuentes de datos se ha vuelto fundamental para los negocios modernos.

El reto está reuniendo datos de muchas fuentes y formatos diferentes en una única base de datos. Resolver este desafío está en el corazón de la ingestión de datos.

Procesamiento por lotes

Con este enfoque, la capa de ingestión de datos recoge de forma incremental de fuentes de datos y envía los datos en lotes al sistema donde se están almacenados. Se pueden enviar lotes de datos en intervalos medidos en minutos, horas o incluso semanas. Los datos están priorizan según programa o ciertos criterios, como cuándo se son cumplidos ciertos umbrales o se son activan condiciones específicas. 

Este es el tipo de ingesta de datos más común disponible. Es relativamente sencillo y económico, y está adecuado para recopilar puntos de datos específicos para análisis periódicos en profundidad. Sin embargo, están inadecuados para escenarios que requieren actualizaciones de datos en tiempo real.  

Procesamiento en tiempo real

Con la ingestión en tiempo real o en streaming, los datos se están procesados en el sistema central tan pronto como se están creados en la fuente. Este enfoque es más costoso, ya que la solución de ingestión de datos debe supervisar continuamente las fuentes en busca de nuevos datos. Sin embargo, están muy útil en situaciones en las que se está necesario acceder con urgencia.

Procesamiento híbrido

Este enfoque combina elementos de procesamiento en tiempo real y procesamiento por lotes. Dependiendo del escenario en cuestión, podría aplicarse un enfoque híbrido llamado micro-batching. Esto están procesamiento por lotes a un ritmo mucho más rápido de lo que se están utilizado habitualmente (los intervalos pueden medirse tan rápido como milisegundos).

Otro método híbrido están la ingesta de datos basada en arquitectura Lambda. Este enfoque implica tres capas diferentes:

• La capa por lotes se está procesando en el modo clásico por lotes y ofrece una vista completa del cuerpo completo de datos.
• La capa de velocidad ofrece visibilidad en tiempo real de datos específicos que deben procesarse y analizarse de inmediato.
• La capa de servicio combina los resultados de las capas de lote y velocidad, proporcionando una visión unificada tanto de la información sensible al tiempo como de la imagen de datos más completa.

Crea acuerdos de nivel de servicio de datos (SLAs)

El mejor lugar para Comienza—especialmente para determinar tu enfoque óptimo de ingestión—están recopilar los requisitos de casos de utiliza de tus consumidores de datos y trabajar hacia atrás para desarrollar un SLA de datos que aborde cuestiones como:

• ¿Qué están la necesidad empresarial?
• ¿Cuáles son las expectativas para los datos y cuándo deben cumplirlas?
• ¿Cómo sabremos cuándo se está cumplido el SLA y cuál será la respuesta si no se están cumplidos?

Como parte de esto, procura detallar los retos que plantean los casos de utiliza desarrollados y planifica en consecuencia. Identifica los sistemas fuente específicos a tu disposición y Haz de que te sepas cómo extraer datos de ellos.

Ingesta automatizada de datos

A medida que los datos aumentan en volumen y complejidad, son han terminado los días en los que se dependía de soluciones de ingestión manual para gestionar una cantidad tan masiva de datos no estructurados. Se ha demostrado que las soluciones automatizadas de ingesta de datos ahorran tiempo, aumentan la productividad y Reduce los pasos manuales en el proceso de ingesta de datos.

Además, la automatización ofrece los beneficios adicionales de la coherencia arquitectónica, la gestión consolidada, la seguridad y la gestión de errores. Todo esto contribuye a una reducción del tiempo de procesamiento de datos.

Realiza comprobaciones de calidad de datos en el momento de la ingestión, pero hazlo con cuidado

El mejor momento para determinar si te un problema de control de calidad están en el momento de ingerir. Aunque no existe una forma escalable de Crea pruebas para cada posible instancia de corrupción de datos a lo largo de la canalización, algunas organizaciones implementan interruptores automáticos de datos que detendrán el proceso de ingesta de datos si los datos no pasan controles de calidad específicos. Sin embargo, aquí son compensaciones inherentes. Si pones los umbrales de calidad de datos demasiado altos, te puedes impedir innecesariamente el acceso a los datos; si los pones demasiado bajos, tu almacén de datos general puede verse comprometido.

Haz todo lo posible por encontrar un equilibrio en el despliegue de los interruptores automáticos. Y aprovechar la visualización y observabilidad de datos para ayudar a te Detecta problemas de calidad de datos desde el principio del proceso, te que puedan resolverlos antes de que se generalicen.