UX Research

Método del Mago de Oz en testeos de usabilidad para nuestras propuestas de productos y servicios

Las personas siguen evolucionando en su forma de interactuar con las interfaces que diseñamos, estableciendo constantemente nuevas pautas de uso. En este sentido, resulta esencial realizar pruebas de usabilidad que recojan información directa de la experiencia de los usuarios y exploren diferentes enfoques de investigación. Entre los enfoques utilizados, destaca el método del “Mago de Oz”, el cual implica una interesante forma de investigación del usuario mediante la interacción con una interfaz simulada controlada por un ser humano.

Los tests de usabilidad son cada vez más comunes y ampliamente utilizados. Sin embargo, un diseño deficiente de las tareas puede generar problemas a la hora de obtener ideas valiosas e identificar oportunidades de mejora. Por lo tanto, es fundamental definir cuidadosamente el tipo de test que llevaremos a cabo y las tareas específicas que deseamos evaluar junto a los usuarios del servicio.

En muchos casos, podremos realizar una prueba de usabilidad utilizando un prototipo funcional, mientras que en otros casos el prototipo solo simulará algunas funcionalidades. La elección del enfoque, incluyendo la posibilidad de emplear el método del Mago de Oz, puede aportar una valiosa perspectiva y enriquecer significativamente nuestros hallazgos en la investigación de usabilidad.

El método

El mago detrás de la cortina – Amazon

El método del Mago de OZ se utiliza principalmente para probar conceptos costosos de forma económica. El nombre hace referencia al libro infantil estadounidense del siglo XX “El maravilloso mago de Oz” de Frank Baum. 

La novela narra las aventuras de una muchacha llamada Dorothy Gale en la tierra de Oz. En su camino por regresar a casa decide ir en búsqueda del Mago de Oz, el único capaz de ayudarla a volver. En la novela, Dorothy y sus amigos (espantapájaros, hombre de hojalata y león cobarde) se encuentran con una cabeza gigante que parece ser un mago poderoso. Sin embargo, este termina siendo sólo un hombre común tirando de palancas detrás de una pantalla.

El origen del método se remonta a un estudio realizado en 1975 por Allen Munro y Don Norman en UC San Diego. En esta investigación, los participantes de la prueba fueron invitados a utilizar terminales de computadora que ofrecían asistencia de viaje automatizada. 

De manera similar al concepto del Mago de Oz, los participantes desconocían que detrás de escena había una persona real respondiendo a sus consultas, utilizando recursos como folletos de información de viaje, guías de aerolíneas y un calendario. Este estudio permitió a los investigadores recopilar una muestra de diálogos que un asistente de viaje automatizado real debería poder manejar.

Wizard of Oz testing – The listening typewriter IBM 1984

Demostración de un testeo mediante el método Mago de Oz – Blog cds

Sin embargo, no fue hasta 1983 que Jeff Kelley acuñó por primera vez el término “Mago de Oz” para referirse a este método. Lo hizo durante su disertación sobre interfaces de usuario de lenguaje natural en la Universidad Johns Hopkins. En su estudio, Kelley utilizó una cortina real para separar a los usuarios de prueba del ser humano que controlaba el sistema con el que interactuaban.

En aquellos primeros estudios, las tecnologías de lenguaje natural se encontraban en sus primeras etapas de desarrollo. Los investigadores tenían un interés particular en explorar el vocabulario, los comportamientos y las expectativas de los usuarios antes de construir la tecnología. Estos estudios también les permitieron reducir una tarea compleja, como la comprensión y producción de lenguaje natural, a una más específica que involucraba solo un subconjunto de dicho lenguaje.

Es importante tener en cuenta que el proceso de creación de prototipos del Mago de Oz requiere una cuidadosa planificación y coordinación para garantizar que el prototipo simule de manera precisa la experiencia que se desea explorar. Mediante el uso de personas ocultas, tecnologías específicas y otros elementos adecuados, es posible crear una experiencia convincente para los usuarios y recopilar datos relevantes para mejorar el diseño del producto.

¿Cuándo usar el Mago de Oz?

El método del Mago de Oz es especialmente útil en situaciones en las que construir la tecnología detrás de un concepto resulta demasiado costoso o cuando el espacio del problema es demasiado amplio y se beneficiaría al reducirlo.

Las aplicaciones del paradigma del Mago de Oz van más allá de las pruebas de diálogo tradicionales. Este método puede ayudar a los creadores de interfaces a evaluar la utilidad de una solución, explorar los límites del sistema y descubrir las posibles entradas que los usuarios podrían proporcionar antes de invertir recursos en la creación de una solución técnica completa.

¿Cómo aplicar este método?

Al igual que con cualquier metodología, el proceso de creación de un prototipo utilizando el método del Mago de Oz comienza por determinar qué aspectos se desean probar o explorar. A continuación, es necesario encontrar formas de simular la funcionalidad necesaria para brindar al usuario una experiencia realista desde su perspectiva.

Un ejemplo sería ponernos en el caso de que estamos diseñando un asistente virtual usando inteligencia artificial. Aún estamos modelando la idea y para desarrollar su articulación en pantalla decidimos hacer algunos wireframes del despliegue del asistente en pantalla. Para hacer “real” el asistente podríamos usar la técnica del Mago de Oz simulando su voz y sus interacciones usando a alguno de los investigadores como un “actor” que simula ser el asistente y luego poder recabar información de este testeo.

Otro ejemplo sería, que al prototipar una máquina de discos, no es necesario construir toda la mecánica real del dispositivo. En su lugar, se puede emplear una persona oculta para reproducir las canciones seleccionadas por el cliente, brindando así una experiencia aparentemente auténtica.

El objetivo principal de utilizar el método del Mago de Oz en la creación de prototipos es proporcionar a los usuarios una experiencia que se sienta real y permita obtener información valiosa sobre su interacción con el sistema. Al simular la funcionalidad de manera efectiva, se pueden obtener datos útiles y tomar decisiones informadas sobre el diseño y la implementación del producto final.

Variaciones del Paradigma del Mago de Oz

El método del Mago de Oz presenta diferentes variaciones, que se definen según las respuestas que el asistente proporciona al usuario. A continuación, se describen las tres variaciones más comunes:

Cerrado

En un enfoque cerrado del método del Mago de Oz, se establece un conjunto fijo de respuestas del sistema entre las cuales el asistente puede elegir. Estas respuestas pueden consistir en varias pantallas o fragmentos de texto predefinidos. La variación es similar a las pruebas de prototipos en papel, donde un humano desempeña el papel de una computadora (o asistente), mostrando diferentes pantallas impresas en papel en respuesta a las acciones del usuario. Este tipo de estudio es útil para explorar de manera económica diversas implementaciones de interfaz y seleccionar la opción más útil.

El enfoque cerrado puede revelar posibles deficiencias en el contenido del sistema. Por ejemplo, al mejorar un bot de chat de soporte automatizado, es probable que ya exista un conjunto de respuestas que cubra el contenido del dominio, pero es importante determinar si dicho conjunto tiene lagunas o limitaciones para abordar las consultas comunes de los usuarios.

Para abordar esta cuestión, se puede entrenar un modelo de aprendizaje automático utilizando este conjunto de respuestas y luego probar el sistema resultante. Según los resultados de la prueba, el equipo puede decidir si es necesario ampliar el conjunto de respuestas y volver a entrenar el modelo. Este proceso iterativo puede requerir cierto tiempo.

Abierto

Por otro lado, una aplicación “abierta” del método del Mago de Oz puede ayudar a mitigar parte del costo. En lugar de entrenar el sistema utilizando el conjunto de respuestas existente, el asistente puede proporcionar respuestas comparables a un costo prácticamente nulo y así determinar si el conjunto de respuestas es adecuado.

El asistente debe estar familiarizado con el conjunto de respuestas para poder seleccionar rápidamente las respuestas adecuadas. Si se identifican deficiencias, el conjunto de respuestas puede ampliarse y se puede realizar otro estudio del Mago de Oz utilizando el nuevo conjunto de datos. Una vez que se considera que el conjunto de respuestas es satisfactorio, se puede utilizar para entrenar modelos de aprendizaje automático.

Híbrido

En esta variante, se utiliza un conjunto de respuestas predefinidas del sistema siempre que sea posible, similar al enfoque cerrado. Sin embargo, si no hay una respuesta adecuada en el conjunto existente, se crea una nueva respuesta y se proporciona al usuario durante la sesión. Este enfoque híbrido permite obtener información sobre las respuestas del sistema ya implementadas y explorar alternativas cuando se encuentren limitaciones en las respuestas actuales.

Consideraciones para realizar un estudio del Mago de Oz

Al realizar un estudio del Mago de Oz, es fundamental tener en cuenta diversas consideraciones clave para que su aplicación sea exitosa.

Involucrar a diseñadores e ingenieros en la planificación

Una crítica común al método del Mago de Oz es que la tecnología no es técnicamente factible o que el “mago” la puede distorsionar, lo que resulta en datos de investigación inútiles. 

Para abordar esta preocupación, es recomendable involucrar a diseñadores y desarrolladores en la planificación del diseño y la logística de la simulación. Esto permite tener en cuenta la viabilidad técnica y la facilidad de uso desde las etapas iniciales. 

Si la tecnología que estamos utilizando se basa en modelos de inteligencia artificial existentes, una estrategia efectiva es alinear las respuestas del sistema con una estructura específica que estos modelos puedan generar como salida. De esta manera, podemos aprovechar plenamente la capacidad de los modelos existentes.

Definir el Asistente

Al realizar pruebas de usuario utilizando este método, es importante definir claramente el papel del asistente en el estudio. Además del facilitador y el participante de la prueba, se necesita un asistente que esté familiarizado con el caso de uso y pueda proporcionar información precisa de manera rápida.

Es crucial determinar la forma en que el asistente y el usuario se comunicarán, especialmente si se pretende ocultar la identidad del asistente al participante. 

¿Qué tecnologías se utilizarán para facilitar esta comunicación? ¿Qué acciones o comandos se deben establecer para que el asistente pueda controlar el prototipo de manera efectiva? Especialmente en estudios cerrados o híbridos, puede ser útil proporcionar al asistente un diagrama de flujo (o partitura de interacción) que pueda seguir. 

Si el asistente necesita manejar diferentes categorías de respuestas, es recomendable categorizarlas en grupos para que puedan ser accedidas rápidamente. Ahora bien, si este debe redactar respuestas sobre la marcha, es importante establecer pautas generales para mantener una experiencia consistente con la marca del producto. 

Por ejemplo, si se trata de una experiencia de servicio al cliente, el tono debe ser profesional y empático. En caso de una aplicación de reserva de hoteles, el tono debería ser amigable y servicial. También puede haber pautas relacionadas con el uso de palabras específicas, tipos de medios u otros elementos relevantes durante la prueba.

En estudios donde el “mago” se mantiene oculto, hay un nivel de engaño involucrado. Es ético revelar la verdadera naturaleza del asistente a los participantes al finalizar la prueba.

Al igual que en cualquier prueba de usuario, es recomendable realizar una prueba piloto antes de la prueba principal. Esto ayudará a identificar y resolver problemas en el guion. Al mismo tiempo, también permitirá que el asistente practique y se familiarice con su rol en el estudio.

Protocolo de estudio

La mayoría de las pruebas de usuario se basan en el protocolo de “pensar en voz alta”. Si bien este enfoque puede utilizarse en un estudio del método del Mago de Oz, es importante tener en cuenta que el pensamiento en voz alta puede influir en los hallazgos. Esto sucede especialmente si el objetivo de la investigación es descubrir el lenguaje que las personas utilizarían al interactuar con el sistema.

En tales casos, puede considerar utilizar un protocolo retrospectivo, donde al finalizar una tarea se le pide al participante que repase sus comportamientos y acciones, y explique lo que estaba pensando durante el proceso.

El protocolo retrospectivo permite obtener una visión más precisa de los pensamientos y decisiones del participante, sin influir en ellos durante la interacción. Esto es especialmente valioso si el objetivo es comprender el pensamiento detrás de las acciones y no solo las acciones en sí mismas.

Sin embargo, es importante tener en cuenta que el protocolo retrospectivo puede requerir un enfoque adicional para obtener información verbal detallada. Es posible que deba formular preguntas específicas para ayudar al participante a reflexionar sobre su experiencia y proporcionar respuestas más descriptivas.

Al decidir el protocolo de estudio adecuado, considere cuidadosamente los objetivos de su investigación y el tipo de información que desea obtener de los participantes. Tanto el protocolo de pensar en voz alta como el protocolo retrospectivo tienen sus ventajas y desafíos, y elegir el enfoque correcto dependerá de su contexto específico y los objetivos de su estudio.

Una herramienta valiosa para los procesos de research

Este método es un enfoque que permite a los usuarios interactuar con una interfaz sin saber que las respuestas son generadas por un ser humano en lugar de una computadora, mediante la manipulación de la interfaz detrás de escena.

Un estudio del Mago de Oz puede proporcionar conocimientos cualitativos sobre los modelos mentales de los usuarios, lo que puede resultar en mejoras en la respuesta del sistema. Además, ofrece información valiosa de manera económica sobre tecnologías que de otra manera podrían resultar costosas de experimentar y desarrollar.

Su aplicación es especialmente útil cuando construir la tecnología detrás de un concepto es costoso o cuando se necesita reducir el espacio del problema para obtener resultados más concretos. Permite evaluar la utilidad de una solución, explorar los límites del sistema y descubrir nuevas oportunidades de mejora.

Al realizar un estudio del Mago de Oz, es importante definir claramente el papel del asistente, establecer la comunicación adecuada entre el asistente y el usuario, y considerar el protocolo de estudio más adecuado para los objetivos de investigación.

Debido a lo anterior, este método se posiciona como una herramienta valiosa para la investigación de interfaces y puede proporcionar información valiosa para mejorar las soluciones tecnológicas de manera rentable.

Referencias

El maravilloso mago de Oz – Wikipedia

The Wizard of Oz Method in UX – NN Group

What is Wizard of Oz testing and how can it be used? – Blog cds