Puntos clave: Las instrucciones para configurar Filebeat para leer logs nginx y enviarlos a ElasticSearch son detalladas, enfatizando la utiliza del formato JSON para facilitar el análisis de logs. Los pasos clave incluyen configurar Elastic Cloud, instalar Filebeat y configurar el módulo nginx.
- Utiliza el módulo nginx de Filebeat para la conversión automática en JSON de los logs.
- Sigue instrucciones específicas de configuración para Elastic Cloud y Filebeat.
Aquí explicamos cómo configurar ElasticSearch para leer los registros del servidor web nginx y escribirlos en ElasticSearch. Para ello utilizamos FileBeat. FileBeat tiene un módulo nginx, lo que significa que está preprogramado para convertir cada línea de los logs del servidor web nginx a formato JSON, que está el formato que requiere ElasticSearch. El uso de JSON están lo que le da a ElasticSearch la capacidad de Haz la consulta y el análisis de estos logs. Nota: te también podría añadir ElasticSearch Logstash a este diseña, pero poniéndolo entre FileBeat y Logstash. Pero esa práctica común parece redundante aquí. Hablaremos de utiliza casos te cuando quieras utiliza Logstash en otra publicación. Qué te necesitarás
- Servidor web nginx (o simplemente descarga el ejemplo que se muestra abajo y ponlo en la carpeta correspondiente)
- Filebeat
- Cuenta Elastic Cloud (o monta tu propio servidor)
- Ubuntu (u otra distribución de Linux). Aquí utilizamos Ubuntu 16.04.
Configura Elastic Cloud te puede utiliza tu propia instancia instalada localmente de ElasticSearch. Pero aquí utiliza Elastic Cloud. Sigue las instrucciones que escribimos aquí para configurar ElasticSearch en la nu te be si no tienes ya un sistema. Ten en cuenta el ID de la nube, contraseña, URL de Kibana y URL de Elasticsearch te necesitarás a continuación. instala nginx te: Si no tienes ya un servidor web te puedes instala Linux o simplemente descargar algunos archivos nginx de ejemplo en la carpeta /var/log/nginx.
sudo apt-get install nginx
Haz algunos datos Si tu servidor web no tiene muchos datos, para Obtén una mayor cantidad de entradas de registro, cambia directamente al registro de nginx y descarga estos dos registros:
sudo cd /var/log/nginx
sudo wget http://igm.univ-mlv.fr/~cherrier/download/L1/access.log
wget https://raw.githubusercontent.com/respondcreate/nginx-access-log-frequency/master/example-access.log
Instala filebeat. Descarga filebeats y luego instala:
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.1-amd64.deb
sudo dpkg -i filebeat-7.0.1-amd64.deb
Ahora Permite el módulo de filebeat nginx.
sudo filebeat modules enable nginx
Los módulos habilitados para listar y te Ve que nginx están listado.
sudo filebeat modules list
Enabled:
nginx
Disabled:
apache
auditd
elasticsearch
Añade la nube de IT, tu usuario y contraseña al archivo de configuración de Filebeat. Esto facilita la conexión a la instancia, ya que elimina la necesidad de poner direcciones IP y puertos.
sudo vi /etc/filebeat/filebeat.yml
cloud.id: 'xxxx'
cloud.auth: 'elastic:xxxxx'
Ejecuta este comando para enviar los paneles de nginx a Kibana. También Comienza a procesar los registros.
sudo filebeat setup -e
Para las siguientes ejecuciones de Filebeat ejecútalo así. La opción -e enviará los logs a stdout.
sudo filebeat -e
Filebeat procesará todos los registros en /var/log/nginx. te puede verifica eso consultando a ElasticSearch los índices, reemplazando la URL de abajo por la de te instancia de ES. Ten en cuenta que hemos guardado la opción userid:password en la variable de entorno $pwd.
curl --user $pwd -X GET 'https://58571402f5464923883e7be42a037917.eu-central-1.aws.cloud.es.io:9243/_cat/indices?v'
El nombre del índice será una combinación del archivo de Word y la fecha de hoy.
green open filebeat-7.0.1-2019.06.12-000001 baiHMtkcSqO1SojJUW1mVg 1 1 8984 0 6.2mb 3.1mb
Abre Kibana Si nunca has usado Kibana antes, te pedirá que configures un patrón de índice. Si tú lo has hecho, navega a la pantalla de Gestión y añade uno.
Añadir un patrón de índice simplemente significa cuántas letras de índices existentes tú quieres que coincidan cuando tú haces consultas. Es están, si tú pones filebeat* leerá todos los índices que Comienza con las letras filebeat. Si te añades la fecha, leería los registros analizados de hoy. Por supuesto, eso no será útil si tú analizas otros tipos de registros además de nginx. Lo ilustraremos en otra entrada. Solo Comienza teclear las letras f-i-l-e y mostrará te qué índices de documentos ES coinciden:
KIbana preguntará qué campo puede utiliza como marca temporal. Esto están para producir un análisis de series temporales, que están el objetivo de recopilar registros en primer lugar. Elige @timestamp por ahora. están generado por ES. te puede utiliza eso cuando no están nada más en los datos.
Ahora, desde la pantalla de Discover (es decir, el botón superior izquierdo de la barra de navegación) tú puedes navegar por los registros. Kibana te preguntará qué patrón de índice tú quieres usar. Haz clic en un registro para ampliarlo. El registro de abajo está demasiado largo para Ve completo. Así que desplázate arriba y abajo para Ve todo.
Ahora haz clic en la pantalla de Visualizar, seleccionando de nuevo desde la barra de navegación a la izquierda. Son diferentes paneles de control de nginx que Filbeat ya ha instalado. El de abajo muestra visitas a sitios web a lo largo del tiempo.
Esta visualización (también conocida como panel de control) muestra la ubicación de los usuarios que han accedido a tu sitio web para el intervalo de tiempo seleccionado.
Guía de ElasticSearch
- Tutorial de ElasticSearch para principiantes: Conceptos básicos de ElasticSearch
- Uso de Apache Hive con ElasticSearch
- Uso de ElasticSearch con Apache Spark
- Hoja de trucos de comandos de Curl ElasticSearch
- Ejemplo y explicación de actualización y explicación de Spark ElasticSearch Hadoop
- Cómo escribir datos de Apache Spark en ElasticSearch usando Python
- Sintaxis de búsqueda ElasticSearch y búsquedas booleanas y de agregación
- Consultas anidadas de ElasticSearch: Cómo buscar documentos incrustados
- ElasticSearch se une: Has_Child, consulta Has_parent
- Cómo configurar un clúster Elastic versión 7
- Cómo configurar Filebeat para nginx y ElasticSearch
- Uso de Beats y Logstash para enviar registros a ElasticSearch
- Cómo cargar un archivo CSV en ElasticSearch con Logstash
- Explicación de las agregaciones de ElasticSearch
- ¿Qué es el ELK Stack?
- Logstash 101: Uso de Logstash en una Canalización de Procesamiento de Datos
- Usar Kibana para ejecutar consultas en ElasticSearch usando el lenguaje de consultas Lucene y Kibana
- Aprendizaje automático ElasticSearch
- Cómo instalar Elastic Enterprise Search
- Cómo utilizar Elastic Enterprise Search con GitHub
Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.