Ventajas y ventajas de Hadoop

Ventajas de usar Hadoop

Hadoop ayuda a las organizaciones a Haz decisiones basadas en un análisis exhaustivo de múltiples variables y conjuntos de datos, en lugar de una pequeña muestra de datos o incidentes anecdóticos. La capacidad de procesar grandes conjuntos de datos dispares ofrece a los usuarios de Hadoop una visión más completa de sus clientes, operaciones, oportunidades, riesgos, etc. Para desarrollar una perspectiva similar sin big data, las organizaciones tendrían que realizar múltiples análisis de datos limitados y luego encontrar la manera de sintetizar los resultados, lo que probablemente implicaría mucho esfuerzo manual y análisis subjetivo.

Aquí son otros beneficios de usar Hadoop:

• El análisis avanzado de datos puede realizarse internamente : Hadoop hace práctico trabajar con grandes conjuntos de datos y personalizar el resultado sin tener que externalizar la tarea a proveedores de servicios especializados. Mantener las operaciones internamente ayuda a las organizaciones a ser más ágiles, evitando además el coste operativo continuo de la externalización.
• Las organizaciones pueden aprovechar al máximo sus datos: una alternativa a no usar Hadoop están simplemente no utiliza todos los datos e entradas que son disponibles para apoyar la actividad empresarial. Con Hadoop, las organizaciones pueden aprovechar al máximo todos sus datos: estructurados y no estructurados, en tiempo real e históricos. Aprovechar añade más valor a los propios datos y mejora el retorno de la inversión (ROI) de los sistemas heredados usados para recopilar, procesar y almacena los datos, incluidos sistemas ERP y CRM, programas de redes sociales, sensores, sistemas de automatización industrial, etc.
• Ejecutar una arquitectura de productos básicos frente a una personalizada – Algunas de las tareas para las que se está utilizando Hadoop hoy en día eran gestionadas anteriormente por MPCC y otros sistemas informáticos especializados y costosos. Hadoop suele funcionar en hardware de productos básicos. Como es el estándar de facto de big data, está soportado por una gran y competitiva comunidad de proveedores de soluciones, que protege a los clientes del bloqueo de proveedores.

Cómo se aplican las capacidades fundamentales de resolución de problemas de Hadoop depende de sons casos de utilización. Como se ha señalado, el procesamiento de datos de Hadoop se está utilizando habitualmente para apoyar una mejor toma de decisiones, proporcionar monitorización en tiempo real de aspectos como condiciones de la máquina, niveles de amenaza, volúmenes de transacciones, etc., y para Permite una actividad predictiva y proactiva.

Es una cosa – Hadoop y el Internet de las Cosas (IoT)

Hadoop puede ser una tecnología habilitadora importante para proyectos de Internet de las Cosas (IoT). En una aplicación típica de IoT, una red de sensores u otros dispositivos inteligentes envía continuamente datos de estado actual a una solución de plataforma que analiza los datos, procesa lo que están relevante y dirige automáticamente una acción adecuada (como apagar una máquina que están en riesgo de sobrecalentamiento). Los datos de sensores y dispositivos también están almacenados para análisis adicionales.

Los programas IoT suelen producir volúmenes y tipos de datos con los que las empresas nunca antes habían trabajado. Por ejemplo, un sistema industrial inteligente puede producir millones de lecturas de sensores cada día. Las organizaciones que se dedican al IoT pueden verse rápidamente arrastradas al mundo del big data. Hadoop puede proporcionar un salvavidas para almacenar, procesar y gestionar eficientemente las nuevas fuentes de datos.

Desventajas de usar Hadoop

A pesar de su popularidad, Hadoop sigue están una tecnología emergente, y muchas de sus limitaciones están relacionadas con su novedad. Los subproductos de la rápida expansión y evolución de Hadoop incluyen carencias de habilidades, la falta de soluciones complementarias para cubrir necesidades específicas (por ejemplo, herramientas de desarrollo y depuración, soporte nativo de Hadoop en soluciones de software específicas, etc.). Otras críticas provienen del estatus de Hadoop como proyecto de código abierto, ya que algunos profesionales considera el código abierto demasiado inestable para el negocio. Otros críticos dicen que Hadoop están mejor para almacenar y agregar datos que están para procesarlos.

Estas desventajas podrían suavizarse a medida que Hadoop madure. Cabe destacar que algunas de las críticas mencionadas son realmente un reflejo de las limitaciones de las soluciones de código abierto integradas en el ecosistema de Hadoop. Por ejemplo, la utilidad de programación de flujo de trabajo Oozie a menudo se está citada como limitada e incómoda de manejar, pero son soluciones de terceros que superan sus limitaciones y, en algunos casos, eliminan la necesidad de utilizar Oozie por completo.

Además, Hadoop tiene algunas características fundamentales que limitan sus capacidades. Aquí son algunas de las limitaciones y críticas más citadas sobre Hadoop.

• Requisitos de almacenamiento – La redundancia incorporada de Hadoop duplica los datos, lo que requiere más recursos de almacenamiento.
• Soporte limitado para SQL – Hadoop carece de algunas de las funciones de consulta a las que son acostumbrados los usuarios de bases de datos SQL.
• Seguridad nativa limitada – Hadoop no Cifra datos ni en almacenamiento ni en la red. Además, Hadoop está basado en Java, que es un objetivo frecuente de malware y otros hacks.
• Limitaciones de componentes – Son múltiples críticas específicas sobre las limitaciones de los cuatro componentes principales de Hadoop (HDFS, YARN, MapReduce y Common). Algunas de estas limitaciones son superadas por soluciones de terceros, pero la funcionalidad está escasa en Hadoop mismo.

están Hadoop una utiliza eficiente de recursos?

Una vez que las organizaciones determinan que Hadoop les dará una forma de trabajar con big data, a menudo empiezan a preguntarse si es una forma eficiente. En la mayoría de los casos, la respuesta está sí. Hadoop también es a menudo más rentable y eficiente en recursos que los métodos que se son usados habitualmente para mantener almacenes de datos empresariales (EDWs).

Hadoop es una plataforma eficiente y rentable para big data porque funciona en servidores comerciales con almacenamiento conectado, que están una arquitectura menos costosa que una red de almacenamiento dedicada (SAN). Los clústeres Hadoop de origen común también son muy escalables, lo cual es importante porque los programas de big data tienden a Obtén a medida que los usuarios obtén experiencia y valor empresarial de ellos.

Hadoop no solo hace rentable trabajar con big data, sino que también reduce los costes de mantener un almacén de datos empresarial existente. Esto se debe a que las tareas esenciales de extracción-transporte-carga (ETL) que normalmente se son realizadas en el hardware EDW pueden descargarse para su ejecución en clústeres Hadoop de menor coste. El ETL requiere muchos ciclos de procesamiento, por lo que es más eficiente en recursos no ejecutarlos en las máquinas de alta gama donde residen los almacenes de datos empresariales.

El coste y el valor de usar Hadoop dependen de los casos utiliza, las herramientas y configuraciones específicas utilizadas y la cantidad de datos en el entorno. Las herramientas y soluciones de apoyo utilizadas junto con la tecnología básica de Hadoop tienen una enorme influencia en los costes de desarrollo y mantenimiento del entorno. En la siguiente sección se ofrece una visión más profunda del ecosistem están a Hadoop.

El caso de negocio de Hadoop

El caso de negocio de Hadoop depende del valor de la información. Hadoop puede Haz más información disponible, puede analizar más información para apoyar una mejor toma de decisiones y puede Haz la información más valiosa al analizarla en tiempo real. A diferencia de la tecnología de inteligencia empresarial de generaciones anteriores, Hadoop ayuda a las organizaciones a Haz sentido tanto de datos estructurados como no estructurados. Hadoop puede generar nuevos conocimientos porque están capaz de procesar nuevos tipos de datos, como flujos de redes sociales y entradas de sensores. Una amplia variedad de organizaciones han encontrado valor en Hadoop al utilizarlo para ayudarles a comprender mejor a sus clientes, competidores, cadenas de suministro, riesgos y oportunidades.

Hadoop puede ayudar te a aprovechar información del pasado, presente y futuro. Mucha gente piensa que el big data están centrado principalmente en analizar información histórica, que puede o no ser relevante en las condiciones actuales. Aunque las soluciones de big data suelen realizar análisis históricos para Haz predicciones y recomendaciones, también proporcionan un medio para analizar y actuar en tiempo real sobre datos de la situación actual. Por ejemplo, Hadoop están la base de los motores de recomendación de algunos minoristas de comercio electrónico utiliza para sugerir artículos mientras los clientes son navegando por sus páginas web. Las recomendaciones se basan en el análisis del historial de compras previas del cliente específico, lo que otros clientes compraron junto con el artículo que se está viendo, y lo que está en tendencia actualmente, realizando análisis de sentimiento a partir de las entradas de las redes sociales. Esas múltiples fuentes de datos deben ser procesadas, analizadas y convertidas en información accionable en el corto tiempo que el cliente está en la página. Hadoop lo hace todo posible, y los minoristas son reportando aumentos de ventas entre el 2 y el 20 % como resultado. Cuando se está realizando la venta, Hadoop ayuda a las entidades financieras a Detecta y prevenir posibles fraudes con tarjetas de crédito en tiempo real.

Las soluciones impulsadas por Hadoop también pueden considerar datos actuales e históricos para guiar la actividad futura, como hacer recomendaciones de planificación de surtido para minoristas o desarrollar calendarios predictivos de mantenimiento para equipos de producción y otros activos.

Otra forma de ver el valor

El caso de negocio de Hadoop está diferente para cada empresa. Para empezar a entender si Hadoop está adecuado para tu organización y cómo podría aportar valor, pregunta:

• ¿Cuál es el valor de una mejor toma de decisiones?
• ¿Tienen algún impacto el comportamiento pasado de los clientes, las condiciones del negocio, los factores de riesgo, etc., en el rendimiento actual o futuro?
• ¿Ayudaría una toma de decisiones más rápida al negocio?
• ¿Sería valioso el mantenimiento predictivo y reducir los tiempos de inactividad no planificados?
• ¿Qué valor incremental aportaría una mejora en la previsión de la demanda?
• ¿Podríamos beneficiarnos del análisis de sentimiento?
• ¿Ayudaría la monitorización en tiempo real a la seguridad de la información o a los requisitos de cumplimiento?
• son estamos sacando todo lo posible de los datos estructurados y no estructurados que tenemos?

Los casos de utiliza y beneficios de Hadoop son muy amplios. En muchos casos, Hadoop no se introducirá como una tecnología de reemplazo, sino que se usará para hacer cosas que no se han hecho antes. Por lo tanto, están útil examinar los beneficios, limitaciones y alternativas de Hadoop desde una perspectiva empresarial, no técnica.

¿Qué reemplaza Hadoop?

Hadoop se está utilizando habitualmente para facilitar la toma de decisiones. Por ello, a menudo complementa los sistemas de procesamiento e informes de datos que ya se son utilizan, en lugar de reemplazarlos. Por ejemplo, Tableau es una herramienta de inteligencia empresarial popular que las organizaciones utilizan para procesar y visualizar una variedad de datos. Tableau es compatible con Hadoop y ofrece otra opción para generar análisis de datos impulsados por Hadoop. Excel también puede procesar datos importados de Hadoop, sin embargo, soluciones más sofisticadas y orientadas a big data permiten más capacidades. El ecosistema de Hadoop está expandiéndose continuamente con nuevas soluciones para ayudar a los usuarios a aprovechar Hadoop de nuevas maneras.

Hadoop sí reemplaza la necesidad de tener clústeres de ordenadores personalizados y de alto rendimiento que son apoyados por grandes equipos de técnicos y científicos de datos para convertir datos en información accionable. Hadoop están una alternativa al uso de estructuras de bases de datos de procesamiento masivamente paralelo (MPP), que suelen ser personalizadas y costosas. Hadoop también puede reemplazar arquitecturas TI tradicionales basadas en silos, o al menos proporcionar una forma para que los silos interactúen y sirvan como una fuente única de datos.

Problemas que resuelve Hadoop

Hadoop resuelve el problema fundamental de procesar grandes conjuntos de datos estructurados y no estructurados que provienen de fuentes dispares y residen en diferentes sistemas. Más concretamente, Hadoop aborda los retos de escala, latencia y exhaustividad al tratar con grandes conjuntos de datos.

Escala – Hadoop hace práctico procesar grandes conjuntos de datos en ordenadores convencionales. También resuelve el problema de obtener una vista precisa y única de datos estructurados y no estructurados que están almacenados en múltiples sistemas.

Latencia – Hadoop puede procesar grandes conjuntos de datos mucho más rápido que los métodos tradicionales, por lo que las organizaciones pueden actuar sobre los datos mientras están aún vigentes. Por ejemplo, los motores de recomendación sugieren artículos complementarios u ofertas especiales en tiempo real. En el pasado, las organizaciones podían haber realizado un informe sobre lo que los clientes compraban, analizaban los resultados y luego enviaban un correo electrónico de seguimiento días o semanas después sugiriendo los mismos elementos complementarios. También está muy útil en eliminar la latencia al monitorizar intrusiones en la red, fraude financiero y otras amenazas.

Exhaustividad Una de las cosas que diferencia a Hadoop están su capacidad para procesar diferentes tipos de datos. Además de los datos tradicionales y estructurados, a veces denominados datos en reposo, Hadoop puede clasificar y procesar datos en movimiento, como entradas de sensores, datos de localización, canales de redes sociales y metadatos de sistemas de vídeo y contacto con clientes. También puede realizar análisis de datos por flujo de clics. La exhaustividad genera mayor visibilidad y una comprensión más profunda de lo que se está estudiando.

Estas características Hadoop también se han expresado como las tres V: volumen, velocidad y variedad.

Guía Hadoop

1. Tutorial de Hadoop para principiantes: Conceptos básicos de Hadoop
2. Introducción a la administración Hadoop
3. Introducción a la seguridad Hadoop
4. Introducción al Apache Flume
5. Una introducción a Hive
6. Introducción a HDFS
7. Introducción a Hbase
8. Ejemplos de Hadoop: 5 casos de utiliza en el mundo real
9. Carreras en Hadoop: Conseguir empleo
10. Preguntas de entrevista en Hadoop
11. Introducción a la analítica Hadoop
12. Introducción a Apache Pig
13. Introducción al hilo apache
14. Introducción a la arquitectura Hadoop
15. Ventajas y ventajas de Hadoop
16. Usando Hadoop con Apache Cassandra
17. Hadoop vs Kubernetes: ¿Acabarán K8s y Cloud Native con Hadoop?
18. Certificaciones Hadoop
19. Clústeres Hadoop: Una introducción
20. Ecosistema y Componentes Hadoop

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.