eValid Review

Ok también durante mi viaje a Oaxaca donde salió la entrada de “The Best Automation tool” (Tengo tendencia a poner solo títulos en inglés:p) comencé a escribir la primer review de una herramienta de automatización y performance… El día de hoy la he terminado!!!! .

Se trata de e-Valid de una compañia llamada Software Research.

A grandes rasgos e-Valid es una solución de automatización de pruebas y pruebas de performance para apliaciones Web.(si… Solo web )

El manejo de la herramienta es sencillo y no depende de un gran conocimiento técnico, viene con un tutorial incluido con la aplicación, esta te permite conocer el uso básico de la aplicación y familizarizarte con ella.

La primer característica de ser “Record and Play” con lo que la primer prueba de uso sencillo es superada.

En cuanto a su interfaz se compone de 4 componentes por separado: 4 ventanas, lo cual puede ser un poco molesto si eres de los que gustan de tener pocas ventanas abiertas(Mi caso). Esto también hace un poco mas complicado su uso pero nada que te pueda detener.

Cuenta con checkpoints y puntos de sincronización, features que en mi opinión son escenciales para cualquier aplicación de automatización. El primer problema que encontré es que no existe un estado o checkpoint que sea del tipo WebPageLoaded por lo que se deben de anexar varios puntos de sincronización en cada pagina si se requiere que la pagina cargue por completo o bien identificar cual es el último elemento que se cargue. Lo cual puede presentar problemas cuando usas varios frames. También cuenta con parametrización de variables con lo que nuestras ejecuciones pueden ser dinámicas, cosa que también es necesario para una buena herramienta de automatización.

Otro feature importante es la grabación analógica, la cual permite a la aplicación grabar los clicks de mouse y keystrokes en cualquier momento que lo requiramos. Esto es un buen elemento cuando contamos con elementos flash o active X, los cuales pueden llegar a ser complicados o imposibles de manejar con otro tipos de herramientas (WatiN :’(). Aunque este es un buen feature sugiero no depender de este, ya que al ser solo una macro, esta puede fallar si se hacen algunos cambios en la interfaz.

Otro problema que se me presentó fue insertar datos en campos validados o “influenciados” por algun tipo de Javascript, por ejemplo en una aplicación tenia un campo de “precio” el cual se formatea autómaticamente con decimales mientras lo vas capturando, al momento de grabar eValid no fue capaz de detectar la modificación de este control por lo que al reproducir la prueba esta se quedaba trabada. Entonces es para este tipo de situaciones que ocupamos el feature de grabación analógica, de tal manera que al enfocarse en el campo de “precio” la aplicación simule las keystrokes.

Dentro de los elementos de eValid también tenemos un sistema de comparación de imagenes, la cual nos resalta las diferencias entre dos imagenes, esto nos sirve cuando queremos verificar que el sistema esta cargando las mismas imagenes, cabe notar que no son comparaciónes entre las imagenes de lo grabado y lo reproducido, no del tipo print screen o una imagen de toda la página. Este sistema de comparación es entre archivos de imagenes, es decir que podemos comparar las diferencias de dos archivos. De esta forma si queremos ver que la imagen de bienvenida es la mista debemos grabar analógicamete el “Save image as…”, parametrizar le nombre del archivo y depués manualmente correr la comparación de las dos imagenes. A mi gusto no es un super feature pero es algo diferente que a alguién le puede ser de utilidad.

También contamos con un aplicación de administración de Scripts que sirve de repositorio de los mismos asi como un organizador que permite tener suites de scripts de pruebas, por lo que podemos ejecutar cierto conjunto de pruebas dependiendo de lo que necesitemos. Este manager cuenta también con la capacidad de recopilar los resultados, errores y alertas de las pruebas que ejecuta y esto lo inserta en diferentes reportes. También tiene la característica de poder ejecutarse desde linea de comandos.

Otra característica muy importante es aparte de pruebas funcionales el sistema puede ejecutar pruebas de performance, usando los mismos scripts de pruebas funcionales, lo cual es una ventaja de la que muchas otras herramientas de automatización carecen, este feature los presentan grandes herramientas de Performance como QALoad(compuware) o Load Runner(HP) con la diferencia que esas opciones son solo de soporte y no son tan recomendadas de implementar, en cambio para eValid tenemos un cambio tranaprente y nativo entre las pruebas automatizadas y de performance una característica muy importante. Pero como todo también tenemos un punto en contra, eValid al ser una aplicación de pruebas que se ejecuta directamente sobre el front end las sesiones que se pueden crear son pocas a comparación de una aplicación de performance, por poner un ejemplo lo que hace eValid es abrir N ventanas de Internet Explorer, una ventana por cada usuario. Eso hace que un equipo de 2 GB en RAM y procesador Centrino Duo a 2Ghz pueda ganerar un máximo recomendable de unos 200 usuarios. De cualquier forma se puede trabajar en paralelo poninedo varias maquinas a estresar el servidor al mismo tiempo, pero eValid no tiene una opción para esto.

Otro gran punto a favor fue que me encontre con un gran soporte por parte del proovedor, quien en 24 horas máximo me respondian mis dudas y de una manera atenta y directa, poniendo sus respuesta a un nivel que un usuario pudiera entender e incluso ofreciendo a contactarme vía telefónica en caso de no quedar clara la duda (igual estaban muy interesados en vender su herramienta :p).

En resumén califico de “buena” mi experiencia con eValid, a pesar de presentar una interfaz muy sencilla nos da la funcionalidad suficiente para tener un buen framework de automatización y por lo tanto también buenos resultados, puede ser una muy buena entrada para pruebas de performance. En cuanto a la facilidad de programación la herramienta se queda un poco corta, ya que el script que nos genera es muy simple, aunque me comentaron que en la versión 8 (La cual ya esta liberada en su sitio) mejorarian considerablente el scripting y la edición del mismo.

Saludos y gracias por leer.

Chale… Tengo que buscarme un slogan…

RSE

Etiquetas: Automatización, Herramientas, Opinión, Pruebas de Rendimiento