¿Hay vida más allá del SUS? Métricas y análisis cuantitativo en test de usabilidad.

En anteriores entradas del blog os explicamos qué es el SUS (System Usability Scale), cuáles son sus ventajas y cómo lo aplicamos en pruebas con usuarios.

Desde el Lab, área de UX Research de Flat 101, a raíz de buscar soluciones para mejorar nuestra metodología de test de usabilidad, nos preguntamos de qué forma podemos complementar el SUS incluyendo otras métricas cuantitativas para optimizar el proceso de análisis en estas pruebas con usuarios.

Estas métricas se evalúan durante la ejecución de las pruebas y nos permiten complementar cuantitativamente el análisis de las mismas . Los datos y resultados obtenidos de la medición de las métricas pueden clasificarse en dos tipologías diferentes en función de su naturaleza. Encontramos insights actitudinales, que provienen de métricas en las que es el propio usuario quien evalúa conscientemente su comportamiento de forma verbal; y comportamentales, provenientes de métricas basadas en la observación del comportamiento del usuario sin que este sea consciente de que se está evaluando.

Pero, ¿cómo escogemos las métricas en usabilidad?

No existe una fórmula mágica específica a seguir en relación a las métricas que utilizar en los test de usabilidad, pero para saber escoger aquellas más adecuadas para cada caso es importante:

• Contextualizar y seleccionar métricas en función de los objetivos y de la naturaleza del proyecto. Asimismo, en esta selección, atender a los sesgos y pormenores de cada método (el SUS puede estar sesgado por la intención del usuario de ser respetuoso, el Time on task puede no ser preciso si no se ejecuta en un laboratorio, etc.).
• Triangular tipologías: combinar datos e información actitudinal y comportamental, obtenida mediante métricas cuantitativas y preguntas abiertas cualitativas…
• Dotar a los datos de una mayor relevancia estadística (por ejemplo: utilizar el método de Wald para asociar los resultados de una muestra a la población general)

Además, la selección de estas métricas vendrá condicionada por la naturaleza de lo que queremos medir en cada situación:

• Eficacia: precisión con la que los usuarios consiguen cumplir con los objetivos especificados
• Eficiencia: recursos utilizados por los usuarios para lograr estos objetivos
• Satisfacción: comodidad de uso y complacencia con el proceso a seguir para lograr los objetivos

1. Medir la eficacia en usabilidad

Para evaluar la eficacia de un producto o servicio durante un test de usabilidad podemos utilizar las siguientes métricas comportamentales:

• Success rate: Porcentaje de usuarios que son capaces de completar una tarea determinada (tasa de éxito recomendada > 75%)
  • Fácil y simple de medir. Tiene una alta relevancia, si los usuarios no son capaces de cumplir con su objetivo en una cierta tarea, todo lo demás es irrelevante, se trata de la base de la usabilidad.
  • Indica el éxito o error en la tarea, no nos dice nada del por qué fallan los usuarios o de cómo realizan esta tarea. Para ello, además de combinarlo con preguntas cualitativas, podemos añadir niveles o grados de éxito (completado con dificultad baja, completado con dificultad alta), estableciendo cuáles son los errores que puede cometer el usuario en cada nivel.
  • Se le puede dotar de una mayor relevancia estadística utilizando el modelo de Wald, estimando un intervalo de éxito para la población general.
• Error rate: Por tarea, corresponde al total de errores realizados entre el total de usuarios testados (nº errores / nº usuarios). Por test, a la media total de la tasa de error por tarea (tasa de error recomendada < 0,7)
  • Al igual que la anterior, es relevante y fácil de medir, pero es necesario combinarla con técnicas cualitativas para obtener información de toda la imagen completa del error.

2. Medir la eficiencia en usabilidad

Métricas comportamentales que podemos utilizar para medir la eficiencia son:

• Misclick rate: Muy relacionado con la tasa de error, puede medirse de diferentes maneras.
  • Cuantitativo: número de clicks que ha realizado el usuario antes de llegar a la opción correcta para completar su tarea.
  • Observación: sitios donde el usuario realiza los clicks erróneos previos a la opción correcta para completar su tarea.
  • Combinación: definir posibles lugares en los que el usuario puede clickar erróneamente para completar su tarea y contabilizar el número de casos en los que se hace.
• Time on task: tiempo que tarda el usuario en completar cada tarea
  • En caso de rediseño, puede servir como métrica comparativa entre la versión previa y el rediseño realizado.
  • Puede servir también como métrica comparativa entre nuestro prototipo o producto y sus competidores.
  • Si no es efectuado en un laboratorio, bajo unas condiciones controladas, puede no ser preciso.

3. Medir la satisfacción en usabilidad

La satisfacción se puede medir a través de las siguientes métricas actitudinales:

• Single Ease Question (SEQ): Pregunta post-tarea en la que el usuario mide la satisfacción valorando, en un escala Likert, la facilidad con la que ha realizado la tarea y la complejidad de la misma.
  • También se puede medir la satisfacción global a través de preguntas finales en las que el usuario valora el proceso general y el producto testado.
  • Combinando esta métrica con el SUS conseguimos obtener la satisfacción individual por tareas y la satisfacción global estandarizada.

• Net Promoter Score (NPS): Se mide la satisfacción global en función de la probabilidad de recomendación por parte de los usuarios. Dependiendo de su puntuación, estos se dividen en Detractores, Pasivos y Promotores.
  • Puede utilizarse como métrica comparativa con respecto a sus competidores.

La importancia de combinar las métricas

Las métricas en usabilidad nos ayudan a poder cuantificar los resultados de los test con usuarios y obtener una imagen más objetiva, precisa y estadística de la usabilidad en el producto testado.

Al igual que el SUS, estas métricas cuantitativas, han de utilizarse teniendo siempre en cuenta el contexto y los factores que pueden estar influyendo en ellas a la hora de emitir juicios. No podemos quedarnos únicamente con la imagen objetiva, esta aproximación se queda demasiado superficial, debemos profundizar también en una dimensión cualitativa, para poder entender las causas y circunstancias que llevan a los usuarios a actuar de una determinada manera.

Por ello es importante saber escoger las métricas adecuadas para cada proyecto de UX, no ceñirse a una metodología rígida, innovar y adaptarla a cada caso específico, combinando métricas cualitativas y cuantitativas. Pudiendo obtener, de esta forma, un análisis de usabilidad completo y de calidad, personalizado para cada uno de los productos que se testan, centrándonos siempre en la experiencia de usuario propia de cada uno de ellos.