Test de usabilidad

¿Cuántos usuarios necesito para un test de usabilidad?

La usabilidad es un concepto naturalmente empírico, es decir, se basa en experiencias medibles, y el modo de evaluar la usabilidad de un producto, servicio o sitio web es con sus usuarios finales.

Si bien, algunos atributos se pueden evaluar de forma cuantitativa, mucho de estos estudios tiene que ver con la observación sensible del modo de uso de los productos y con la propia habilidad de quienes llevan a cabo el test. Ningún test será nunca igual a otro, aún si se replica la misma estructura de evaluación. En este contexto, cabe destacar que el objetivo de los estudios de usabilidad es mejorar propuestas de diseño, no solamente documentar sus actuales problemas.

A continuación, veremos algunos puntos de vista respecto a cómo proceder en los estudios de usabilidad y a cuántas personas considerar para llegar a conclusiones relevantes.

El mágico número 5

En el campo de la UX y de la usabilidad, la propuesta de Nielsen (2000) de realizar tests de usabilidad con tan sólo 5 personas ha sido ampliamente aceptada, bajo el principal argumento de que esa cantidad de usuarios permite revelar alrededor del 85% de los problemas de usabilidad del sitio o software estudiado.

Existe sin embargo un extenso debate respecto a la precisión y veracidad del número propuesto, basado principalmente en que no todos los proyectos son iguales y en que las necesidades del test pueden ser muy diferentes, requiriendo otras cantidad de participantes para ser abordados y encontrados los problemas.

En resumen, el gráfico de Nielsen indica el porcentaje de problemas de usabilidad encontrados, al evaluar un diseño con diferentes cantidades de personas, concluyendo que con pocos usuarios la cantidad de observaciones se dispara rápidamente, comenzando a repetirse los principales hallazgos una y otra vez.

A medida que se suman más personas al test, menos novedad agrega cada una y más se repetirán los problemas frecuentes. Nielsen apuesta por utilizar los presupuestos para usabilidad en más tests con menos personas, para evaluar el diseño en más de un momento en vez de hacer solamente un gran y costoso estudio.

Si bien la propuesta de Nielsen está centrada la realización de test rápidos, con menores presupuestos, es importante tener en cuenta que estos tests pueden ser insuficientes en algunos casos.

Gilbert Cockton (2003) menciona que sólo los problemas más sencillos aparecen con una muestra tan pequeña y que muchos otros pueden no ser hallados, aún si éstos son muy relevantes para el proyecto. Lo que debemos diferenciar entonces es que los problemas de usabilidad pueden tener una frecuencia distinta (y ser muy fáciles o difíciles de encontrar según esto) y un nivel de gravedad diferente (siendo en algunos casos casi irrelevantes y en otros fundamentales para una mejor experiencia de uso).

Otros estudios de Laura Faulkner (2003) demostraron que si bien con 5 personas se detectan en promedio el 85% de los problemas de usabilidad, los grupos de 5 usuarios  se mueven en un rango de hallazgo de problemas entre un 55% y un 100%, por lo que es posible tener un muestra débil donde sólo en levanten la mitad de las observaciones necesarias. En cambio, al realizar un test con 10 personas, el promedio de hallazgos es de 95% con un mínimo de 82%, lo que sugiere una notoria mejora respecto al estudio con 5 usuarios.

Recomendaciones

En IDA solemos hacer test de usabilidad con grupos entre 5 y 10 personas, dependiendo del proyecto, del presupuesto y de los tiempos de entrega.

Sin embargo, considerando las especificaciones, objetivos y requerimiento de cada proyecto, podemos recomendar lo siguiente:

1. Si vamos a usar el mágico número 5, no debemos olvidar que testear con pocas personas se sustenta en la base de testear varias veces a lo largo del proyecto (en vez de realizar 1 test con 15 personas, hacer 3 con 5).
2. Testear con 5 personas sólo sirve cuando se trata de grupos de usuarios relativamente homogéneos, en contextos similares de uso. Esto implica no mezclar niños y adultos, ni diferentes dispositivos de navegación, en un mismo grupo.
3. Es necesario recordar que el objetivo de un test con 5 personas es levantar observaciones e información mayoritariamente cualitativa, en vez de validaciones absolutas y data.
4. Es fundamental ser transparentes y claros con los clientes. 5 usuarios son suficientes cuando los resultados son honestamente expuestos y claramente comunicados.
5. Siempre es necesario hacer un test. Como dice Nielsen en su primera publicación del tema “lo más sorprendente de la curva propuesta es que cero usuarios producen cero insights”. Sin importar la cantidad de usuarios que se elija, siempre será mejor que cero.

Ahora bien, ¿Cuándo no usar sólo 5 personas?

Los tests con 5 usuarios parecen no ser la mejor alternativa cuando se busca detectar problemas de usabilidad más específicos o menos obvios. Al testear con 5 personas encontraremos solamente los errores más repetitivos y evidentes de nuestro diseño.

Es importante notar que la frecuencia de un problema es distinta de la severidad del mismo, ya que es posible que un problema de usabilidad que es poco frecuente tenga un impacto negativo mucho más alto que un problema más común.

Por otro lado, si se quiere comparar entre 2 opciones de diseño, una muestra de 5 participantes tampoco es suficiente para demostrar la efectividad de una sobre otra. En estos casos, se suele usar A/B testing masivos, para los cuales existen herramientas digitales que facilitan la ejecución y análisis de resultados.