Preguntas de entrevista en Hadoop

Preguntas de entrevista en Hadoop

P: están Hadoop una base de datos? R: No. Hadoop están un sistema de archivos solo de escritura. Pero son otros productos como Hive y HBase que proporcionan una interfaz similar a SQL para Hadoop para almacenar datos en estructuras de bases de datos similares a RDMB. P: ¿Qué comandos te utiliza para Comienza Hadoop? A:start-dfs.sh y start-yarn.dfs P: ¿Qué hace Apache Pig? R: Está una forma de escribir trabajos en MapReduce usando una sintaxis mucho más sencilla, similar a SQL, que usando Java, que es muy extenso. P: ¿Cómo te copias un archivo local al HDFS A: hadoop fs -pon el nombre del archivo /(directorio hadoop)? P: ¿Cómo se está llamando la biblioteca de aprendizaje automático Hadoop? R: Apache Mahout. P: ¿En qué están diferentes Spark de Hadoop? R: Spark almacena datos en memoria, por lo que ejecuta operaciones MapReduce mucho más rápido que Hadoop, que almacena eso en disco. Además, tiene interfaces de línea de comandos en Scala, Python y R. E incluye una biblioteca de aprendizaje automático, Spark ML, que están desarrollada por el proyecto Spark y no por separado, como Mahout. P: ¿Map están MapReduce? R: Map toma un archivo de datos de entrada y lo reduce a pares o tuplas (clave->valor) (a,b,c,d) u otra estructura iterable. Reduce luego toma elementos adyacentes y los itera sobre ellos para proporcionar un resultado final. P: ¿Qué significa modo seguro en Hadoop? R: Significa que los datanodes aún no son listos para recibir datos. Esto suele ocurrir al iniciar. P: ¿Cómo te sacas Hadoop del modo seguro? R: hdfs dfsadmin -safemode leave P: ¿Cuál es la diferencia entre un nodo de nombre y un nodo de datos? R: Hadoop es un modelo maestro-esclavo. El nodo de nombre es el maestro de datos. Los esclavos son los nodos de datos. El nodo de nombre particiona los trabajos de MapReduce y pasa cada pieza a diferentes nodos de datos. Los nodos de datos son responsables de escribir los datos en el disco. P: ¿Qué papel juega Yarn en Hadoop? R: Es un gestor de recursos. Lo que hace está en llevar un control de los recursos disponibles (memoria, CPU, almacenamiento) a lo largo del clúster (es decir, las máquinas donde están ejecutando Hadoop). Luego, cada aplicación (por ejemplo, Hadoop) pregunta al gestor de recursos qué recursos son disponibles y los distribuye en consecuencia. Ejecuta dos demonios para ello: Scheduler y ApplicationsManager. P: ¿Cómo te añades un datanode? R: te copiar toda la carpeta Hadoop $HADOOP_HOME a un servidor. Luego te configurar claves ssh para que el usuario de Hadoop pueda conectarse por ssh a ese servidor sin tener que introducir contraseña. Después te añadir el nombre de ese servidor a$HADOOP_HOME/etc/hadoop/slaves. Eso te ejecutar hadoop-daemon.sh --config $HADOOP_CONF_DIR ---script hdfs Comienza datanode en el nuevo nodo de datos. P: ¿Cómo te Ve qué servicios Hadoop son ejecutando? Nómbralos. R: Ejecuta jps. te debería Ve: DataNode en los datanodes y NameNode, SecondaryNameNode y ResourceManager en los NameNodes y (opcionalmente) en JobHistoryServer. P: ¿Cómo te Comienza el Servidor de Historial de Trabajos de Hadoop? A:$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_HOME/etc/hadoop Comienza historyserver P: ¿Qué están regresión lineal? R: Esta están una técnica utilizada para encontrar una función que se acerque más a un conjunto de puntos de datos. Por ejemplo, si te tener un valor independiente x y una variable dependiente y, entonces la regresión lineal calculará y = mx + b, donde m están la pendiente y b están la intersección x. Esto están utiliza en modelos de datos predictivos. Esto están emplea para encontrar una correlación entre variables, por ejemplo, si estudiar más (x) aumenta las notas de los estudiantes (y). P: ¿Qué crees te que significa "Llevar la computación a los datos en vez de llevar los datos a la computación"? R: Esta están toda la idea detrás de Hadoop. Significa utiliza la potencia de cálculo de las máquinas virtuales comunes para procesar piezas de un conjunto de datos en lugar de tener un ordenador central y potente que procese todo eso en un solo lugar. Este modelo también permite que Hadoop opere sobre conjuntos de datos de tamaño casi ilimitado. P: ¿Qué es Apache Cassandra? R: Esta es una base de datos noSQL orientada a columnas que funciona en topología anillada. Eso significa que no tiene un servidor central que controle. Parece una base de datos RDBMS normal de filas y columnas, como MySQL, en el sentido de que soporta una sintaxis similar a SQL. Pero agrupa los datos por columnas para una recuperación y escritura rápida, no por filas. Y cuando escribe un elemento, escribe una combinación fila-columna a la vez. Eso significa que, a diferencia de los RDBMS, puede haber filas que omitan ciertas columnas. P: ¿Cuáles son los principales archivos de configuración de Hadoop? R: HDFS-site y core-site.xml P: ¿Cómo funciona la replicación de Hadoop? ¿Qué significa consciente de rack? R: Los datanodes escriben datos en bloques de datos, igual que lo haría un disco duro normal. Escribe una copia de cada bloque en otros datanodes dependiendo del Factor de Replicación. Decir que los datanodes son conscientes de rack significa que no escriben réplicas todas en el mismo rack del centro de datos, donde un corte de energía u otro tipo de energía también provocaría la pérdida de datos y la copia de seguridad. P: ¿Cuáles son algunas de las opciones de CLI de Hadoop? R: La lista completa están: appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find Obtén getfacl getfattr getmerge ayuda ls lsr mkdir moveFromLocal moveToLocal mv put renameSnapshot rm rmdir rmr setfacl setfattr setrep stat tail test text touchz truncate usage P: ¿Qué tipos de archivos puede utilizar Hadoop para almacenar sus datos? R: Avro, parquet, archivos de secuencia y texto plano P: ¿Qué es un NameSpace? R: Es una abstracción de un directorio y un archivo a través del clúster. En otras palabras, /directory/file están un espacio de nombres que representa algún archivo dentro de algún directorio. Pero no está local. Está en el clúster Hadoop, es decir, está almacenado entre los nodos de datos. P: ¿Para qué utiliza Apache Hive un servidor SQL como Derby o mysql? R: Almacena el esquema allí mientras almacena los datos en Hadoop. P: ¿Cómo puede te llamar a un programa externo de Hive, como uno de Python: R: utiliza TRANSFORM como SELECT TRANSFORM (campos) USANDO 'python programName.py' como tabla FROM (campos); P: ¿Qué están Apache Flume? R: están una forma de escribir datos en streaming en Hadoop. P: ¿Qué están la alta disponibilidad de Hadoop? R: Eso significa configurar un segundo namenode para que funcione como un standby en caliente en caso de que el namenode principal se bloquee. P: ¿Qué hace el comando fsck? R: Comprueba bloques defectuosos (es decir, archivos corruptos) y problemas de replicación. P: ¿Qué tipo de seguridad tiene Hadoop? ¿Cómo puede te añadir autenticación? R: Hadoop por defecto solo tiene seguridad de permisos de archivo como un sistema de archivos UNIX normal. te cambiar permisos usando chown y chmod y la cuenta normal de Linx o LDAP. Pero si te quieres tener un nivel de autenticación más alto te Permite Kerberos, que están el sistema de autenticación usado por Windows y opcionalmente usado por Linux. Entonces los datanodes tendrían que autenticarse para conectarse a otros nodos.

Guía Hadoop

1. Tutorial de Hadoop para principiantes: Conceptos básicos de Hadoop
2. Introducción a la administración Hadoop
3. Introducción a la seguridad Hadoop
4. Introducción al Apache Flume
5. Una introducción a Hive
6. Introducción a HDFS
7. Introducción a Hbase
8. Ejemplos de Hadoop: 5 casos de utiliza en el mundo real
9. Carreras en Hadoop: Conseguir empleo
10. Preguntas de entrevista en Hadoop
11. Introducción a la analítica Hadoop
12. Introducción a Apache Pig
13. Introducción al hilo apache
14. Introducción a la arquitectura Hadoop
15. Ventajas y ventajas de Hadoop
16. Usando Hadoop con Apache Cassandra
17. Hadoop vs Kubernetes: ¿Acabarán K8s y Cloud Native con Hadoop?
18. Certificaciones Hadoop
19. Clústeres Hadoop: Una introducción
20. Ecosistema y Componentes Hadoop

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.