Entendiendo los Datos Máquina desde SPLUNK

Que tal Splunkers Mezcaleros en entradas anteriores he hablado de los datos máquina y del machine learning, ¿Pero en sí que son los Datos máquina?

Los datos de máquina contienen un registro (log) definitivo de toda la actividad y el comportamiento de los clientes, los usuarios, las transacciones, las aplicaciones, los servidores, las redes y los dispositivos móviles. Se trata de algo más que simplemente logs. Incluye configuraciones, datos de API y colas de mensajes, eventos de cambio, resultados de comandos de diagnóstico y registros de detalles de llamadas, datos de sensores de sistemas industriales, etc.

Los datos de máquina se obtienen en una gran variedad de formatos impredecibles y el conjunto tradicional de herramientas de monitoreo  y análisis no están diseñadas para la variedad, velocidad, volumen y variabilidad de estos datos. Un nuevo enfoque, uno específicamente diseñado para esta única clase de datos, se requiere para diagnosticar rápidamente problemas de servicio, detectar amenazas de seguridad sofisticadas, comprender la salud y performance de equipos remotos y demostrar cumplimiento normativa.

La misión de SPLUNK es hacer los datos máquinas accesibles para todas las personas. Ahora veamos un poco como es que Splunk da seguimiento a estos:

Las personas que se encargar de crear sistemas (como web services, balanceadores de carga, video juegos o redes sociales) también especifican la información que los sistemas escribirán sobre los  logs (registros) cuando estos se están ejecutando. Esta información (Datos máquina en los logs) es lo que la gente usa cuando quiere entender que pasa con sus sistemas cuando están corriendo o dejan de funcionar.

 Veamos este ejemplo:

Action: ticket s:57, m:05, h:10, d:23, mo:03, y:2011

Action: ticket s:58, m:05, h:10, d:23, mo:03, y:2011

Action: ticket s:59, m:05, h:10, d:23, mo:03, y:2011

Action: ticket s:00, m:06, h:10, d:23, mo:03, y:2011

Cada vez que el reloj avanza registra una acción, si analizáramos todo el log, este también tendría información del nivel de batería, cuando se estableció la alarma, encendido, apagado y más datos valiosos. Cada línea mostrada puede ser considerada un evento por separado, aunque es común que los datos máquina contengan varios o cientos de líneas.

SPLUNK divide los datos máquina en crudo dentro de discretas piezas de información conocidos como eventos, cuando necesites hacer una búsqueda simple, Splunk recuera los eventos que coinciden con los términos buscados.

Les dejo algunos datos máquina, donde encontrarlos y que podemos obtener de ellos

Tipo de datos	Dónde encontrarlos	Qué información aportan
Registros de aplicaciones	Archivos de registro locales, log4j, log4net, Weblogic, WebSphere, JBoss, .NET, PHP	Actividad de usuarios, detección de fraudes, rendimiento de aplicaciones
Registros de procesos comerciales	Registros de administración de procesos comerciales	Actividad de clientes a través de canales, compras, cambios de cuenta e informes de problemas
Datos de navegación	Servidor web, enrutadores, servidores proxy, servidores de anuncios	Análisis de capacidad de uso, marketing digital e investigación general
Archivos de configuración	Archivos de configuración de sistema	Cómo se establece una infraestructura y se depuran fallos, backdoor attacks, time bombs
Logs de auditoría de bases de datos	logs de base de datos, tablas de auditoría	Cómo se modificó la base de datos con el tiempo y quién hizo los cambios
Logs de auditoría Filesystem	Datos confidenciales almacenados en Filesystem compartidos	Monitoreo y auditoría de acceso a lectura de datos confidenciales
Cifras, estado y comandos de diagnóstico del sistema operativo	Utilización de la CPU y la memoria, y la información de estado mediante utilidades de línea de comandos como ps e iostat en Unix y Linux y el monitor de rendimiento en Windows.	Resolución de problemas, análisis de tendencias para descubrir problemas latentes e investigar incidencias de seguridad
Syslog	Syslogs desde sus enrutadores, conmutadores y dispositivos de red	Resolución de problemas, análisis y auditoría de seguridad
Registros de acceso Web	Los registros de acceso web informan de cada solicitud procesada por un servidor web	Informes de análisis web para marketing
Registros de servidores proxy Web	Los servidores proxy Web registran todas las solicitudes Web realizadas por los usuarios a través de ellos	Términos de servicio de supervisión e investigación e incidentes de filtración de datos
Eventos de Windows	Registros de aplicaciones, eventos del sistema y seguridad de Windows	Detectar problemas con aplicaciones críticas para la empresa, información de seguridad y patrones de uso.
Flujos de datos	Registros y búsquedas DNS, información de niveles de protocolo, incluidos registros de encabezados, contenido y flujo	Supervisión proactiva del rendimiento y disponibilidad de aplicaciones, experiencias del usuario final, investigaciones de incidencias, redes, detección de amenazas, supervisión y cumplimiento

Gracias por leerme: les pido que cualquier comentario, bueno o malo lo dejen en este medio o me contacten por:

correo: splunkfanslatam@gmail.com

twitter:  @splunkFansLATAM 

Linkedin:   Splunk LATAM

La próxima entrada haré un video de intalación de Splunk y subire la listas de comandos