Introducción a la seguridad Hadoop

Asegurando el entorno Hadoop

Cuando Hadoop se lanzó por primera vez en 2007, su objetivo era gestionar grandes cantidades de datos web en un entorno de confianza, por lo que la seguridad no era una preocupación o foco importante. A medida que la adopción aumentó y Hadoop evolucionó hacia una tecnología empresarial, desarrolló una reputación como plataforma poco segura. La mayoría de las deficiencias originales de seguridad de Hadoop se han abordado en versiones posteriores, pero son percepciones tardan en cambiar. La reputación de seguridad de Hadoop ha perdurado más allá de su realidad.

La seguridad es en realidad bastante inconsistente entre las implementaciones de Hadoop porque la seguridad integrada y las opciones disponibles son inconsistentes entre las versiones de lanzamiento. También es importante señalar que las distribuciones comerciales de Hadoop de proveedores de software (por ejemplo, Cloudera, Hortonworks, MapR) tienen seguridad adicional y propietaria que no está incluida en las versiones gratuitas de Hadoop que son disponibles en la Fundación Apache.

Los nuevos despliegues de Hadoop pueden ser extremadamente seguros, pero muchas implementaciones heredadas de Hadoop pueden seguir teniendo lagunas de seguridad. Esta sección destaca vulnerabilidades históricas de seguridad de Hadoop e identifica los recursos y tácticas disponibles para abordarlas.

Están fácil Obtén rápidamente en los detalles cuando se habla de seguridad de la información. Para minimizar la confusión, nos centraremos en tres áreas fundamentales:

• Cómo están cifrados o protegidos los datos mientras están almacenados (en reposo) y cuándo se están moviendo por la red (en movimiento)?
• Cómo son autenticados los sistemas y los usuarios antes de acceder a los datos en la infraestructura de Hadoop
• Cómo se están gestionados el acceso a diferentes datos dentro del entorno

Knox y Ranger simplifican la gestión de la seguridad

El ecosistema Hadoop dispone de recursos para apoyar la seguridad. Knox y Ranger son dos proyectos importantes de código abierto Apache. Knox proporciona un marco para gestionar la seguridad y soporta implementaciones de seguridad en clústeres Hadoop.

El proyecto Ranger está centrado en desarrollar herramientas y técnicas para ayudar a los usuarios a desplegar y estandarizar la seguridad en clústeres Hadoop. Proporciona un marco centralizado que puede usarse para gestionar políticas a nivel de recursos, como archivos, carpetas, bases de datos e incluso para líneas y columnas específicas dentro de bases de datos. Ranger ayuda a los administradores a implementar políticas de acceso por grupo, tipo de dato, etc. Ranger dispone de diferentes funcionalidades de autorización para distintos componentes de Hadoop como YARN, HBase, Hive, etc.

Knox es una pasarela API REST desarrollada dentro de la comunidad Apache para apoyar la monitorización, la gestión de autorizaciones, auditorías y aplicación de políticas en clústeres Hadoop. Proporciona un único punto de acceso para todas las interacciones REST con clústeres. A través de Knox, los administradores de sistemas pueden gestionar la autenticación mediante LDAP y Active Directory, realizar gestión de identidad federada basada en encabezados HTTP y auditar hardware en los clústeres. Knox también soporta una mayor seguridad porque puede integrarse con soluciones de gestión de identidades empresariales y es compatible con Kerberos.

Cifrado Hadoop

La versión original de Hadoop no incluía cifrado. Las versiones posteriores incluían cifrado de extremo a extremo que protege los datos mientras están en reposo dentro del clúster Hadoop y en movimiento a través de la red. En las versiones actuales, todos los datos almacenados o accesibles a través de HFDS están cifrados. Hadoop soporta cifrado a nivel de disco, sistema de archivos, base de datos y aplicación.

En la tecnología básica de Hadoop, el HFDS tiene directorios llamados zonas de cifrado. Cuando los datos se están escritos en Hadoop, se están cifrados automáticamente (con un algoritmo seleccionado por el usuario) y asignados a una zona de cifrado. El cifrado están específico del archivo, no de zona. Eso significa que cada archivo dentro de la zona está cifrado con su propia clave única de cifrado de datos (DEK). Los clientes descifran los datos del HFDS usando una clave de cifrado de datos cifrados (EDEK) y luego utilizan el DEK para leer y escribir datos. Las zonas de cifrado y el cifrado DEK ocurren entre los niveles del sistema de archivos y la base de datos de la arquitectura.

Las claves de cifrado deben gestionarse, lo cual está tarea del Servidor de Gestión de Claves Hadoop, o KMS. El KMS genera claves de cifrado, gestiona el acceso a claves almacenadas y gestiona el cifrado y descifrado en clientes HDFS. KMS están una aplicación web Java con componentes tanto de cliente como de servidor que se comunican entre sí usando HTTP y REST API. La seguridad en KMS incluye transporte seguro HTTPS y soporte para autenticación HTTP SPNEGO Kerboros.

Los proveedores de distribución Hadoop y otros proveedores de soluciones han desarrollado seguridad adicional que está específica para sus productos o aplicable a todo el entorno Hadoop. Muchas mejoras se centran en proteger los datos de Hadoop mientras están en movimiento. Por ejemplo, está el protocolo de cifrado Wire, que puede aplicarse a datos Hadoop transmitidos mediante HTTP, RPC, Data Transfer Protocol (DTP) y JDBC. También está disponible protección SSL para clientes JDBC y barajados MapReduce, SASL para RPCs de red y más.

Autenticación Hadoop

La autenticación en el entorno Hadoop ha experimentado una evolución rápida y extensa. La versión original de Hadoop no incluía ninguna disposición para autenticar usuarios porque era un proyecto limitado destinado a su utiliza en un entorno de confianza. Una versión posterior añadió funciones limitadas de gestión de permisos para archivos dentro del HDFS, pero Hadoop aún no logró ofrecer seguridad de autenticación de nivel empresarial. Avancemos hasta hoy, donde las soluciones de autenticación de usuarios e identidad que utilizan las empresas para su infraestructura informática principal pueden extenderse al entorno Hadoop.

Hoy en día, Hadoop está configurable tanto en modo seguro como no seguro. La principal diferencia están que el modo seguro requiere autenticación, tanto para cada usuario como para cada servicio. Kerberos está la base de la autenticación en modo seguro Hadoop. Los datos están cifrados como parte del proceso de autenticación.

Muchas organizaciones realizan autenticación en el entorno Hadoop utilizando sus soluciones Active Directory o LDAP. Este enfoque no era compatible anteriormente con el entorno Hadoop y está una buena representación de cómo Hadoop está madurando y evolucionando. La API Knox del proyecto Apache Hadoop se está utilizando para extiende Active Directory o LDAP a clústeres Hadoop. También se está empleada para extiende soluciones de gestión de identidad federadas al entorno.

Acceso y permisos Hadoop

Autenticar una solicitud de usuario o servicio no le da automáticamente acceso sin restricciones a todos los datos del clúster Hadoop. Se pueden establecer derechos de acceso para partes del HDFS e incluso para archivos y tipos de datos específicos. Como se ha señalado, Ranger facilita el establecimiento e implementación de derechos de permiso. También son disponibles recursos adicionales. La Guía de Permisos HDFS están un componente que permite a los administradores establecer permisos para directorios y archivos contenidos en el HFDS. Los permisos pueden establecerse a nivel de grupo e individual. Los permisos incluyen quién puede acceder al archivo, actualizarlo, eliminarlo, etc. La Autorización de Nivel de Servicio está una función separada que se está utilizada para verificar que los clientes que intentan conectarse a un servicio Hadoop específico son autorizados para acceder a él. Al igual que la Guía de Permisos HDFS, la Autorización de Nivel de Servicio admite derechos individuales y de grupo. Sentry está un módulo que funciona con Hive, tablas de datos HDFS, Impala y otros componentes, y está diseñado para proporcionar una gestión de permisos más detallada para datos y metadatos en clústeres Hadoop.

Ranger, la Guía de Permisos HDFS, la Autorización de Nivel de Servicio y Centinela son parte del proyecto Hadoop. Una vez más, protecciones adicionales de permisos y características relacionadas de seguridad y gestión son integradas en las distintas versiones comerciales de Hadoop.

Las organizaciones también suelen ejecutar enmascaramiento de datos en Hadoop utilizando diversas soluciones comerciales. El enmascaramiento de datos se refiere a la práctica de ocultar registros de datos originales (mediante cifrado) para que no son accesibles a usuarios no autorizados. El enmascaramiento de datos se están realizados en entornos de big data porque muchas aplicaciones requieren cierta información de un conjunto de datos pero no un registro completo. Por ejemplo, una clínica de imagen puede necesitar saber cuántos pacientes recibieron mamografías en un mismo centro durante un periodo de seis meses, pero no necesitaría conocer los resultados del paciente ni los antecedentes médicos completos. Los datos de resultados de los pacientes serían relevantes para un clínico, que requeriría diferentes permisos.

Hadoop Seguridad Antes y Ahora

Resolución de problemas de seguridad en big data con Hadoop

El big data están por definición grande, pero un enfoque único para la seguridad está inapropiado. Las capacidades dentro de Hadoop permiten a las organizaciones optimizar la seguridad para cumplir con los requisitos de usuarios, cumplimiento y empresa para todos sus activos de datos individuales dentro del entorno Hadoop. Capacidades como permisos de rol, usuario y grupo, enmascaramiento de datos y múltiples opciones de cifrado y autenticación Haz práctico ofrecer diferentes niveles de seguridad dentro de un único entorno grande. El creciente soporte de integración entre Hadoop y Active Directory, LDAP y soluciones de gestión de identidad permite a las organizaciones extiende sus soluciones de seguridad empresarial para que la infraestructura Hadoop no tenga que ser un silo.

La seguridad es uno de los aspectos que más rápido cambia en Hadoop. Las capacidades son mejoradas y superadas continuamente. Para las últimas actualizaciones de seguridad, consulta con el proyecto Apache o con tu distribuidor Hadoop.

Guía Hadoop

1. Tutorial de Hadoop para principiantes: Conceptos básicos de Hadoop
2. Introducción a la administración Hadoop
3. Introducción a la seguridad Hadoop
4. Introducción al Apache Flume
5. Una introducción a Hive
6. Introducción a HDFS
7. Introducción a Hbase
8. Ejemplos de Hadoop: 5 casos de utiliza en el mundo real
9. Carreras en Hadoop: Conseguir empleo
10. Preguntas de entrevista en Hadoop
11. Introducción a la analítica Hadoop
12. Introducción a Apache Pig
13. Introducción al hilo apache
14. Introducción a la arquitectura Hadoop
15. Ventajas y ventajas de Hadoop
16. Usando Hadoop con Apache Cassandra
17. Hadoop vs Kubernetes: ¿Acabarán K8s y Cloud Native con Hadoop?
18. Certificaciones Hadoop
19. Clústeres Hadoop: Una introducción
20. Ecosistema y Componentes Hadoop

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.