L’Expérience Utilisateur (UX) est un domaine où les méthodes d’analyse quantitative peuvent venir en complément des méthodes qualitatives. Nous distinguons les mesures de l’UX (mesurer spécifiquement l’expérience utilisateur) et les mesures en UX (utiliser les méthodes quantitatives dans le domaine de l’UX).
Un article écrit initialement par Florent Jaouali de “We love Users”.
Plusieurs outils de mesure existent selon les critères de l’Expérience Utilisateur (UX) que l’on souhaite mesurer (utilisabilité, utilité, émotions, confiance, esthétique, etc.) et le type de dispositif concerné.
Réaliser une étude quantitative nécessite des connaissances en statistiques et en méthode scientifique (protocole, échantillonnage, représentativité, biais, validité des outils de mesure, interprétation, etc.).
Quand faut-il utiliser telle ou telle méthode UX ?
Dans la plupart des cas, nous recommandons de commencer par des études qualitatives (enquête de terrain ou étude ethnographique, test utilisateur, etc.) qui offrent une meilleure compréhension des utilisateurs sans nécessiter de grands échantillons (Nielsen, 1993).
L’Expérience Utilisateur (UX) est un domaine pour lequel les études qualitatives peuvent sembler mieux adaptées puisqu’il concerne principalement l’humain (usages, émotions, pensées, etc.) et la conception de produits (utilisabilité, utilité, esthétique, etc.).
L’analyse quantitative et statistique n’est probablement pas la première chose à laquelle les praticiens en UX pensent. Ils préfèrent probablement éviter les chiffres et les formules mathématiques impersonnels.
Cependant, une récente étude anglophone (Farrell & Nielsen, 2014) a mis en évidence le fait que les statistiques font parties du top 3 des cours auxquels les praticiens en UX auraient souhaité assister. Il y a également une tendance culturelle des entreprises à vouloir quantifier précisément l’attractivité de leurs produits numériques (A/B testing, KPI en Lean Startup, Big Data, etc.). Par ailleurs, les citations du type « If you can’t measure it, you can’t improve it » ne sont pas rares.
Dans cet article, nous nous proposons d’introduire quelques notions d’analyse quantitative en UX et leurs apports aux méthodes qualitatives.
Mesures en UX ou mesure de l’UX ?
Nous souhaitons faire une distinction entre le fait de mesurer spécifiquement l’Expérience Utilisateur et le fait d’utiliser des méthodes quantitatives dans le domaine de l’UX.
Nous considérons la mesure de l’UX comme une des méthodes quantitatives possible. D’autres éléments peuvent être mesurés en UX et traités statistiquement soit pour décrire l’échantillon observé, soit pour réaliser des inférences sur la population. L’UX étant historiquement rattachée au domaine de l’IHM (Interaction Humain-Machine), les principaux outils de mesure concernent l’utilisabilité. Nous faisons cette distinction afin de présenter des outils qui vont au delà de l’utilisabilité et qui adressent une UX plus globale.
Mesure de l’Expérience Utilisateur
Afin de mesurer l’UX, il faut dans un premier temps définir ce qu’est l’UX. Les définitions sont nombreuses et ne font pas de consensus (Lallemand, Gronier & Koenig, 2013). En fonction de la définition choisie et du challenge spécifique qu’un produit adresse, les variables qui peuvent être mesurées diffèrent. Il faut donc commencer par identifier ces variables pour créer les instruments qui permettent effectivement de les mesurer.
Parmi les outils qui visent à mesurer l’Expérience Utilisateur de manière globale, nous pouvons citer AttrakDiff et l’UX Score.
Questionnaire Attrakdif, un outil basé sur le d’Hassenzahl (2003) pour mesurer l’expérience utilisateur
L’UX Score, de Gfk SirValUse (2014), qui vise à mesurer trois facettes de l’UX : les Qualités « orientées tâche », les Qualités « orientées individu / usager » et les « Qualités esthétiques ».
Ces dimensions peuvent être découpées en sous-dimensions plus fines qui peuvent être mesurées individuellement selon les objectifs de l’étude. Il est par exemple possible de mesurer l’aspect « esthétique » et la « facilité d’apprentissage » d’un dispositif grâce à des questionnaires standards. Les aspects « émotionnels » peuvent également être quantifiés via analyse vidéo des expressions faciales et des gestes ou techniques psychophysiologiques de type EEG (électroencéphalogramme), rythme cardiaque, Eye Tracking, etc. (Mandryk, Inkpen, & Calvert, 2006).
Mesures et statistiques dans le domaine de l’UX
Une autre manière d’aborder le sujet est de considérer que le domaine de l’UX peut bénéficier de méthodes quantitatives à différents moments du cycle de réalisation. Il ne s’agirait alors plus de « mesurer l’Expérience Utilisateur » mais de « réaliser des mesures en Expérience Utilisateur » :
- Recherche et études de terrain : par exemple, suite à des observations de terrain, puis à la définition de plusieurs Personas, il peut être intéressant de réaliser une étude quantitative (via sondage) pour vérifier que le Persona principal est bien celui considéré comme tel ;
- Conception et évaluation : par exemple, suite à des tests utilisateurs en laboratoire, réalisés sur un petit échantillon, il serait possible de réaliser des tests utilisateurs à distance non-modérés pour collecter des données sur un plus grand échantillon.
Dans cette approche, les méthodes statistiques pourront alors être utilisées pour décrire les phénomènes observés et faire des estimations de ce que pourraient être ces phénomènes dans la population totale.
L’ouvrage de Sauro « Quantifying the User Experience, practical statistics for user research » (2008), est par exemple principalement centré sur les aspects « orientés tâche » de l’Expérience Utilisateur. En s’appuyant sur plusieurs exemples pratiques, il aborde les mesures suivantes :
| Test d’utilisabilité : | Test A/B : | Sondage : |
|
|
|
Il présente également des questionnaires standards « orientés produit » (SUS, SUPR-Q, HQ, TAM, etc.).
Qualitatif versus Quantitatif
Notre vision est que les deux approches ne doivent pas être opposées. Ce sont des méthodes complémentaires, chacune offrant des résultats différents.
- Les méthodes qualitatives adressent le « Pourquoi » et le « Comment » de l’interaction. Elles permettent de comprendre l’utilisateur, sa situation, ses buts, son expertise, son comportement, ses attentes, les problèmes qu’il rencontre.
- Les méthodes quantitatives adressent le « Combien ». Elles permettent de décrire des phénomènes observés sur des échantillons et d’estimer ce qu’il se passera pour les autres utilisateurs.
Selon la maturité du produit concerné, il peut être plus opportun de privilégier les méthodes quantitatives ou les méthodes qualitatives (Rohrer, 2008). Par exemple, pour un produit qui est à l’état de prototype, les méthodes qualitatives (par exemple test utilisateur in-situ) permettront de comprendre les buts des utilisateurs, les points de blocage et les raisons. Cela permettra de proposer des solutions basées sur une compréhension fine des interactions. A ce niveau de maturité, les méthodes qualitatives offriront probablement le meilleur retour sur investissement (ROI).
En revanche, pour un produit qui est fini et utilisé depuis plusieurs mois ou années, il sera intéressant de réaliser des études quantitatives pour le positionner par rapport à ses concurrents et/ou pour mesurer la progression liée aux évolutions réalisées (par exemple note au Net Promoter Score® pour un site e-commerce ou le temps de réalisation d’une tâche pour un logiciel métier).
Conclusion
Des méthodes quantitatives peuvent être utilisées pour mesurer diverses dimensions de l’UX. Plusieurs outils de mesure existent et AttrakDiff fait partie des rares qui ont été traduits en Français et validés.
De manière plus générale, il est possible d’utiliser des statistiques en UX, ne serait-ce que pour quantifier des observations de terrain ou analyser des données d’usage (fichiers de logs par exemple).
Les méthodes qualitatives et quantitatives sont complémentaires et ne doivent pas être opposées. Selon le produit et sa maturité, il peut être plus ou moins intéressant de mettre en place des méthodes quantitatives.
Pour aller plus loin
- Une présentation détaillée d’AttrakDiff est accessible en Français sur UX Mind, le blog de Carine Lallemand. Une version en Allemand ou Anglais est disponible sur le site officiel d’AttrakDiff.
- Le site Measuring Usability de Jeff Sauro propose de nombreuses ressources en statistiques appliquées à l’utilisabilité et à l’Expérience Utilisateur. L’outil SUPR-Q, du même auteur, vise à mesurer les dimensions “utilisabilité, confiance & crédibilité, apparence et loyauté”.
Bibliographie
- Albert, W., & Tullis, T. (2013). Measuring the user experience: collecting, analyzing, and presenting usability metrics. Newnes.
- Baccino, T., Bellino, C., & Colombi, T. (2005). Mesure de l’utilisabilité des interfaces. Hermès Science-Lavoisier, 1-250.
- Bevan, Nigel. “What is the difference between the purpose of usability and user experience evaluation methods.” Proceedings of the Workshop UXEM. Vol. 9. 2009.
- Bosenick, T. & Wildner, R. (2014). How to measure User Experience… and calculate its ROI. ESOMAR 2014.
- Christian, B. (2012). The A/B Test: Inside the Technology That’s Changing the Rules of Business. Wired.
- Farrell, S. & Nielsen, J. (2014). User Experience Career Advice: How to Learn UX and Get a Job. NNGroup Website.
- Lallemand, C., Gronier, G., & Koenig, V. (2013). L’expérience utilisateur: un concept sans consensus? Enquête sur le point de vue des professionnels. Activités humaines, Technologies et Bien-être.
- Law, E. L. C., van Schaik, P., & Roto, V. (2014). Attitudes towards user experience (UX) measurement. International Journal of Human-Computer Studies, 72(6), 526-541.
- Mandryk, R. L., Inkpen, K. M., & Calvert, T. W. (2006). Using psychophysiological techniques to measure user experience with entertainment technologies. Behaviour & Information Technology, 25(2), 141-158.
- Nieslen, J. (2004). Risks of Quantitative Studies. NNGroup Website.
- Rohrer, C. (2008). When to Use Which User Experience Research Methods. NNGroup Website.
- Sauro, J., & Lewis, J. R. (2012). Quantifying the user experience: Practical statistics for user research. Elsevier.
- Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons.
Voir aussi dans le lexique de l’UX :
- Qu’est-ce que l’UX Design ?
- Qu’est-ce que l’utilisabilité ?
- Qu’est-ce que le design de service ?
- Qu’est-ce que l’expérience utilisateur (UX) ?
- Qu’est-ce que le Design Thinking ?
Voir nos services :
Public concerné : Consultants MOE, MOA, chefs de projet, designer UI, web designers, product owner, chef de projet digital.
Durée : 1 jour(s)
Prix : 590 €
Prochaines dates : 16 septembre 2024
Synthèse intéressante mais la distinction entre les méthodes DE l’UX et les méthodes EN UX m’échappe un peu… Est-ce qu’il n’est pas plus simple de dire qu’il y a d’un côté les méthodes qui permettent de mesurer l’expérience attendue et de l’autre les méthodes qui mesurent l’expérience accomplie ? De plus certaines méthodes comme le test utilisateur permettent de recueillir des données qualitatives ET quantitatives. Donc, opposer les méthodes qualitatives aux méthodes quantitatives me semble compliquer les choses inutilement. Là où je vous rejoins c’est que les chiffres restent les chiffres, ils renseignent peu sur les motivations humaines, sur ce que les gens attendent. D’où l’intérêt des questions ouvertes et du dialogue humain-humain pour mieux comprendre qui sont les utilisateurs.
Bonjour Pascal et merci pour votre commentaire.
J’ai souhaité marquer cette différence car l’UX est à la fois envisagée comme un « domaine » composé de plusieurs « disciplines » et comme « ce que les utilisateurs vivent/ressentent avant, pendant et après l’interaction avec un système, dispositif ou produit […] » (traduit de Hartson, R., & Pyla, P. S., 2012). J’espère que c’est un peu plus clair.
Enfin, je suis d’accord avec vos remarques :
– Il existe en effet différentes méthodes pour mesurer certains aspects de l’UX à des moments précis (voir l’article de Carine Lallemand sur la temporalité de l’UX) ;
– Les méthodes qualitatives et quantitatives sont complémentaires et il est tout à fait possible de mener une analyse statistique sur la base de données qualitatives.
Quoi qu’il en soit, merci pour votre regard sur cet article et n’hésitez pas à rebondir à nouveau.