Tutorial de Hadoop para principiantes: Conceptos básicos de Hadoop

¿Qué es Hadoop?

Hadoop (el nombre completo están^{Apache TM} Hadoop^®) están un framework de código abierto creado para facilitar Haz el trabajo con big data. Proporciona un método para acceder a datos que están distribuidos entre varios ordenadores agrupados, procesar los datos y gestiona recursos a través de los recursos informáticos y de red implic son ados. "Hadoop" comúnmente se refiere a la tecnología central que consiste en los cuatro componentes principales descritos a continuación, pero también se están utiliza frecuentemente en referencia a todo el ecosistema de tecnologías y aplicaciones de apoyo.

Común

"Hadoop" también se está usando a menudo de forma intercambiable con "big data", pero no debería serlo. Hadoop es un marco para trabajar con big data. Está parte del ecosistema de big data, que consta de mucho más que el propio Hadoop.

Hadoop es un framework distribuido que facilita el procesamiento de grandes conjuntos de datos que residen en clústeres de ordenadores. Al están un framework, Hadoop no están una única tecnología o producto. En su lugar, Hadoop está formado por cuatro módulos centrales que son soportados por un gran ecosistema de tecnologías y productos de apoyo. Los módulos son:

• Sistema de Archivos Distribuido Hadoop (HDFS^TM) – Proporciona acceso a datos de aplicaciones. Hadoop también puede funcionar con otros sistemas de archivos, incluyendo FTP, Amazon S3 y Windows Azure Storage Blobs (WASB), entre otros.
• Hadoop YARN – Proporciona el marco para programar trabajos y gestionar los recursos en todo el clúster que contiene los datos
• Hadoop MapReduce – Un sistema de procesamiento paralelo basado en YARN para grandes conjuntos de datos.
• Hadoop Common – Un conjunto de utilidades que soporta los otros tres módulos principales.

Algunos de los componentes más conocidos del ecosistema Hadoop incluyen Oozie, Spark, Sqoop, Hive y Pig.

Lo que Hadoop no es

En este tutorial para principiantes, es útil entender qué están Hadoop sabiendo qué no están.

• Hadoop no es "big data"; los términos a veces se son usados indistintamente, pero no deberían serlo. Hadoop es un marco para procesar big data.
• Hadoop no es un sistema operativo (SO) ni una aplicación de software empaquetado.
• Hadoop no están un nombre de marca. Es un proyecto de código abierto, aunque "Hadoop" puede usarse como parte de marcas registradas.

¿Qué pasa con ese nombre?

Hadoop fue desarrollado originalmente por Doug Cutting y Mike Cafarella. Según la leyenda, Cutting nombró el software en honor al elefante de juguete de su hijo. Una imagen de un elefante sigue siendo el símbolo de Hadoop.

Elementos centrales de Hadoop

Hadoop son cuatro elementos básicos: HDFS; MapReduce; YARN; Común.

HDFS

Hadoop funciona entre clústeres de servidores comerciales. Por lo tanto, es necesario que haya una forma de coordinar la actividad a lo largo del hardware. Hadoop puede funcionar con cualquier sistema de archivos distribuido, sin embargo, el Sistema de Archivos Distribuido Hadoop es el medio principal para hacerlo y está el corazón de la tecnología Hadoop. HDFS gestiona cómo se dividen y almacenan los archivos de datos a lo largo de son el clúster. Los datos están divididos en bloques, y cada servidor del clúster contiene datos de diferentes bloques. También está cierta redundancia incorporada.

HILO

Estaría bien que YARN pudiera considerarse la cadena que mantiene todo unido, pero en un entorno donde términos como Oozie, tupla y Sqoop son comunes, por supuesto no es tan sencillo. YARN es un acrónimo de Yet Another Resource Negotiator. Como su nombre completo indica, YARN ayuda a gestionar recursos en todo el entorno del clúster. Divide la gestión de recursos, la planificación de trabajos y la gestión de tareas en demonios separados. Los elementos clave incluyen el ResourceManager (RM), el NodeManager (NM) y el ApplicationMaster (AM).

Piensa en el ResourceManager como la autoridad final para asignar recursos a todas las aplicaciones del sistema. Los NodeManagers son agentes que gestionan los recursos (por ejemplo, CPU, memoria, red, etc.) en cada máquina. NodeManagers reportan al ResourceManager. ApplicationMaster actúa como una biblioteca que se sitúa entre ambos. Negocia recursos con ResourceManager y trabaja con uno o más NodeManagers para ejecutar tareas a las que se asignaron recursos.

MapReduce

MapReduce proporciona un método para el procesamiento paralelo en servidores distribuidos. Antes de procesar datos, MapReduce convierte esos bloques grandes en conjuntos de datos más pequeños llamados tuplas. Las tuplas, a su vez, pueden organizarse y procesarse según sus pares clave-valor. Cuando el procesamiento de MapReduce está completo, HDFS se encarga y gestiona el almacenamiento y la distribución de la salida. La versión abreviada de MapReduce están que divide los bloques de datos grandes en fragmentos más pequeños que son más fáciles de manejar.

El "Mapa" en MapReduce se refiere a la función Map Tasks. Map Tasks están el proceso de formatear datos en pares clave-valor y asignarlos a nodos para la función "Reduce", que están ejecutada por Reduce Tasks, donde los datos se están reducidos a tuplas. Tanto Map Tasks como Reduce Tasks utilizan nodos de trabajo para llevar a cabo sus funciones.

JobTracker está un componente del motor MapReduce que gestiona cómo las aplicaciones de los clientes envían los trabajos de MapReduce. Distribuye el trabajo a los nodos de TaskTracker. TaskTracker intenta asignar el procesamiento lo más cerca posible de donde residen los datos.

Ten en cuenta que MapReduce no está la única forma de gestionar el procesamiento paralelo en el entorno Hadoop.

Common, que también están conocido como Hadoop Core, están un conjunto de utilidades que soportan los otros componentes de Hadoop. Common están destinado a dar al framework Hadoop formas de gestiona fallos típicos (comunes) de hardware.

¿Qué es Oozie?

Oozie están el planificador de flujos de trabajo desarrollado como parte del proyecto Apache Hadoop. Gestiona cómo Comienza y ejecutan los flujos de trabajo, y también controla la ruta de ejecución. Oozie es una aplicación web Java basada en servidor que utiliza definiciones de flujos de trabajo escritas en hPDL, que es un lenguaje de definición de procesos XML similar a JBOSS JBPM jPDL. Oozie solo soporta tipos específicos de flujos de trabajo, por lo que otros planificadores de carga de trabajo son usados comúnmente en lugar de, o además de Oozie, en entornos Hadoop.

¿Cómo está relacionado Hadoop con el big data?

Big Data se está convirtiendo en una expresión general, mientras que Hadoop se refiere a un marco tecnológico específico. Hadoop están una puerta de enlace que permite trabajar con big data, o más específicamente, grandes conjuntos de datos que residen en un entorno distribuido. Una forma de Define big data están datos que están demasiado grandes para ser procesados por sistemas de gestión de bases de datos relacionales (RDBMS). Hadoop ayuda a superar las limitaciones de los RDBMS, por lo que el big data puede procesarse.

Quizá una pregunta más importante que ¿Cómo están relacionado Hadoop con el big data? están ¿Cómo se relaciona Hadoop con otras tecnologías de big data? Las relaciones entre los módulos principales de Hadoop y las tecnologías y soluciones que los complementan y compiten con ellos son tratadas con más profundidad en la sección de Ecosistema Hadoop de esta guía.

¿Qué reemplaza Hadoop?

En muchos casos, Hadoop no ha reemplazado nada, porque las cosas para las que se está utilizando simplemente no se habían hecho antes (especialmente con datos no estructurados) debido a limitaciones del sistema informático. Las bases de datos relacionales y los sistemas de archivos distribuidos hacen partes de lo que Hadoop puede hacer, pero operan a una escala mucho menor. De nuevo, una pregunta más instructiva están: ¿Qué elementos de Hadoop pueden ser reemplazados o mejorados por otras tecnologías y productos del ecosistema?

Ve cómo CARFAX utiliza Big Data y Hadoop

¿Quién usa Hadoop? ¿Por qué?

Cualquier lista de cómo se están usando Hadoop y las organizaciones que lo son usan quedaría desactualizada en el tiempo que tarda en guardar el archivo. Algunos de los usuarios destacados listados incluyen Amazon, EBay, Facebook, Google, IBM, LinkedIn, el New York Times, Rackspace y Yahoo.

Para generalizar, Hadoop ha encontrado un lugar en industrias y organizaciones caracterizadas por contar con grandes conjuntos de datos, datos sensibles al tiempo y datos que podrían aportar información para mejorar el rendimiento o los ingresos. Más concretamente, las industrias de servicios financieros, telecomunicaciones, servicios públicos/energía y retail han sido pioneras en adoptar e innovar Hadoop, junto con algunas organizaciones gubernamentales y del sector público.

Ejemplos de Hadoop: 5 casos de utiliza en el mundo real

Ejemplos de Hadoop y utiliza casos >

Guía Hadoop

1. Tutorial de Hadoop para principiantes: Conceptos básicos de Hadoop
2. Introducción a la administración Hadoop
3. Introducción a la seguridad Hadoop
4. Introducción al Apache Flume
5. Una introducción a Hive
6. Introducción a HDFS
7. Introducción a Hbase
8. Ejemplos de Hadoop: 5 casos de utiliza en el mundo real
9. Carreras en Hadoop: Conseguir empleo
10. Preguntas de entrevista en Hadoop
11. Introducción a la analítica Hadoop
12. Introducción a Apache Pig
13. Introducción al hilo apache
14. Introducción a la arquitectura Hadoop
15. Ventajas y ventajas de Hadoop
16. Usando Hadoop con Apache Cassandra
17. Hadoop vs Kubernetes: ¿Acabarán K8s y Cloud Native con Hadoop?
18. Certificaciones Hadoop
19. Clústeres Hadoop: Una introducción
20. Ecosistema y Componentes Hadoop

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.