Herramientas para analizar logs.Part2

Vamos con otras herramientas que, no siendo tan habituales con este producto,  a mi me han resultado especialmente utiles.

 

1. TextAnalysisTool.

 

La podéis descargar desde https://textanalysistool.github.io/

Esta herramienta permite la apertura de logs excepcionalmente grandes (muy buena para IIS logs, Data Protection Manager, y cualquier otro log de gran tamaño).

Lo mejor es que permite el filtrado y el resaltado de frases en diferentes colores (no solo una palabra/frase como CMTrace, tiene diversos colores, lo que facilita la lectura y el filtrado de los datos)

Y lo mejor de todo, tiene un filtro en base a este resaltado que elimina el texto no resaltado, lo que permite jugar con los logs y ver unicamente lo que nos interesa(GUID de aplicación, thread, serve, …) Con CTRL+H, lo que en estos logs muy grandes, es genial.

Lo que le falta es el merge de varios ficheros, pero aparte de esto es muy util.

 

Ejemplo:

• Abrimos un log, ejemplo WindowsUpdate.log
• Creamos un filtro con boton derecho sobre el cuadro blanco inferior y seleccionamos Add New Filter (no funciona en otras ventanas)

• Seleccionamos el color que queremos que resalte

• El resultado nos da numero de coincidencias y el numero total de lineas de fichero.

5. Si pulsamos Control+H solo nos muestra lo filtrado

2. Notepad++

 

Esta herramienta es muy conocida, pero tiene una opción de busqueda que me ha resultado especialmente útil, especialmente con situaciones relacionadas con Windows Updates, en las que el log WindowsUpdate.log no es aceptado en el merge en CMTrace/Trace32, o cunado quiero revisar información que proviene de diferentes servicios que no se adaptan al formato requerido por CMTrace.

 

Permite una búsqueda en varios ficheros a la vez, no teniendo un timeline claro, pero si que permite relacionar los datos para darles sentido y revisar en que ficheros se encuentra, permitiendo saltar a la linea localizada para poder revisar los eventos cercanos/relacionados.

Ejemplo:

• Abrimos una serie de ficheros, en este caso los relacionados con Windows Updates

• Pulsamos Control+F para abrir las opciones de busqueda (de forma nativa va a rellenar con la palabra que tiene el cursor, pero se puede cambiar una vez abierto), y seleccionamos buscar en todos los ficheros abiertos

• Obtendremos una vista como la siguiente, con los resultados en todos los ficheros abiertos, pulsando en la línea podremos saltar a es ubicación.

Espero que esta información os resulte de utilidad.

Hasta el próximo Post.

 

Herramientas para analizar logs Part1. CMtrace

Cuando se esta analizando una situacion con SCCM uno de las dificultades que solemos encontrarnos es la de tener que revisar un gran numero de logs, añadiendo a esto, que a veces necesitamos revisar también otras aplicaciones y servicios del sistema, o logs del sistema operativo, y esto puede complicar el análisis.

Entonces, ¿que herramientas nos pueden ayudar a hacer más llevadero este análisis?

De las herramientas que más me han ayudado en estos años, comienzo con la mas obvia, CMTrace/Trace32, de todos conocida, en próximos post comentaré otras que pueden ayudar a cubrir sus limitaciones.

CmTrace.exe/Trace32.exe

Esta herramienta es conocida por todos (al menos eso espero ya que nos acompaña desde SMS 2003) y, a pesar de emplearse mucho, me he encontrado con mucha frecuencia que no se sabe exprimir sus posibilidades, utilizandose unicamente para resaltar los errores y otros eventos generados en los logs de SCCM, pero sin aprovechar su magia.

¿Donde podemos localizarla?

Pues depende de si estamos en SCCM 2007 o CM12 (si no la empleamos en la plataforma correcta no es capaz de parsear las fechas 😦 dando un valor genérico)

SCCM 2007:

En el site server SCCM Install Dir>\tools\, o si tenemos instalado System Center Configuration Manager 2007 Toolkit V2

En CM12:

En el site server SCCM Install Dir>\tools\, o en la carpeta compartida SMS_site\tools

Encontré esta artículo (vi algunos más pero no tan completos) en el que se explican algunas de estas:

https://blogs.technet.microsoft.com/configmgrdogs/2012/06/06/trace32-execmtrace-exe-hidden-features/

A resaltar:

1. Error LookUp tool.

Esta herramienta permite traducir los errores 0x que se generan en los logs, tiene muchos de los codigos de error, pero algunos no estan documentados, para estos podemos emplear la herramienta Err.exe que explico en futuros post.

2. Merge

Esto te permite seleccionar varios logs (como particularidad tienen que estar en la misma carpeta, si no pierde la selección) y asi poder ver las actividades de varios comoponentes en orden cronologico y hacer un seguimiento del proceso de ejecucion completo.

Por ejemplo:

Un cliente no puede descargar un paquete/aplicación, ¿Como podemos ver donde esta el problema?

Haciendo un merge de los logs (Pudiendo añadir los logs historicos almacenados de otras fechas si seleccionamos la opción All Files y están todos en la misma carpeta)

CAS.log

ContentTransferManager.log

DataTransferService.log

LocationServices.log

Podremos seguir el proceso completo y ver donde se rompe.

3. Herramientas de filtrado.

Sobre este componente no he localizado información, y la verdad es que tiene una parte que me ha resultado muy útil a lo largo de los años, el filtro por proceso (Thread).

Todos conocemos el filtro por entrada de texto (igual que, que contiene, que no contiene…)y por entrada de fecha, pero ¿que hace un filtro por proceso y para que nos vale?

Pues a veces vemos que una actividad en el cliente/server tiene varios procesos abiertos y escribiendo en los logs al mismo tiempo mezclando información muy similar, y puede complicar su análisis, pues con este filtro solo vemos la actividad del proceso que nos interesa, útil y poco conocido.

Tambien tenemos el filtrado por componente, si tenemos un log en merge esto permite limitar los datos según lo que queramos analizar.

Pero esta herramienta no lo puede todo, para poder parsear los datos necesita un formato específico, si no lo localiza no hará el merge, con lo que no podremos emplear parte de su magia y no tendremos los datos deseados en la vista.

¿Que nos queda entonces?

Pues podemos emplear otras herramientas, que explicaré en futuros posts y que nos permitirán analizar varios logs sin el mismo formato o, en casos como IIS, analizar logs de gran tamaño (si alguno intento abrir un log de 20Mb con CMTrace entenderá de que hablo)

Un saludo y hasta el próximo post.

Raúl.

Tools to analyze logs Part1. CMtrace

When you are analyzing a situation with SCCM, one of the difficulties we usually find is having to go through a large number of logs, added to that, sometimes we need to look also components and services for other applications (SQL, IIS, …), or logs of the operating system, all of this may complicate the analysis process.

So which tools may help us to make easier this analysis?

There are some of the tools that helped me over the last years, beginning with the most obvious, CMTrace / Trace32, known to all, in this post I’ll comment its secrets and I’ll try to cover some of its limitations.

CmTrace.exe / Trace32.exe

This tool is known to all (at least I hope because it have been with us since SMS 2003) and, although used frequently, I’ve found that often it seems to be used only to highlight errors and other event logs in SCCM, and one log at a time, and this tool allow us to make some magic with the logs.

Where can we find it?

It depends on whether we are in SCCM 2007 or CM12 (if we do not use it in the right platform is not able to parse dates 😦  so be careful)

SCCM 2007:

In the SCCM site server Install Dir>\tools\, or if we setup it, the System Center Configuration Manager 2007 Toolkit V2

In CM12:

In the CM12 site server Install Dir>\tools\, or in the shared folder SMS_site\tools

I found this article (I found other posts but less comprehensive) that explains some of these features:

https://blogs.technet.microsoft.com/configmgrdogs/2012/06/06/trace32-execmtrace-exe-hidden-features/

Highlights:

1.Error Lookup Tool.

This tool allows you to translate 0x errors generated in the logs, has most of the error codes, but some are not documented, so we can use instead the tool Err.exe explained on a future post.

2.Merge

This allows you to select multiple logs (must be in the same folder, otherwise you lose your selection) so you can see the activities of several components in chronological order and track the entire process of execution.

Example:

A client can not download a package/application, how can we track where is the problem?

Doing a merge of logs is a good starting point (even will allow to add the stored historical logs that store data from other dates)

CAS.log

ContentTransferManager.log

DataTransferService.log

LocationServices.log

We can follow the whole process and see where it breaks.

 3.Search tools.

This component is not really documented, but to be honest this have been the feature that I have found useful over the years, the filter process.

We all know the filter text input and entry date, (with equal to, contains, do not contain, …) but what does one process filter?

Well, sometimes we see activity on the client / server has several open processes and writing in the logs at the same time(may looks like all of them write the same at the same time), and can complicate the analysis, with this filter only see the  interesting part for the Process ID that really handle the data, useful and not really known.

We also have the filtering/highlighting component, if we have a log to merge this can cut the data that we want to analyze.

But this tool can not do everything, to parse the data needs a specific format, but if is not located the files will not merge, so we can not use some of its magic.

What’s the option then?

Well, we can use other tools that I will explain in future posts, that will allow us to analyze various logs without the same format or, in cases such as IIS, analyze large logs (if anyone attempted to open a 20Mb log with CMTrace will understand what I mean)

Regards and until next post.

Raúl.