Aller directement au contenu

Test comparatif des systèmes mobiles : iOS, Android, Windows Phone

27/11/2013

Usabilis a conduit une étude sur l’ergonomie des mobiles afin de comparer objectivement l'expérience utilisateur sur les différents OS mobiles : iOS, Android, Windows Phone.

Il en résulte que Windows Phone propose la meilleure expérience utilisateur, Android souffre d'une interface trop chargée et iOS manque d'homogénéité entre les applications.

Pour cette étude, nous avons réalisé une série de tests avec 27 utilisateurs néophytes et réguliers d’iOS, Android et Windows Phone. Les 11 applications natives les plus utilisées ont été testées. Les résultats de notre étude s’appuient sur des mesures objectives (temps de réalisation des tâches, nombre d’erreurs…) et sur une analyse experte de l’expérience utilisateur.

Vous trouverez dans cet article un résumé des résultats. La synthèse complète des résultats est disponible sur demande :

Télécharger la synthèse

Contexte

Depuis maintenant plusieurs années, les smartphones connaissent un essor fulgurant et sont désormais utilisés de manière quotidienne par de nombreux usagers. En mars 2013, 54% des français ont un smartphone.

L’une des raisons de ce succès est certainement la convivialité d’usage que permet l'interface de ces téléphones. Les principaux concepteurs d’OS (système d'exploitation) mobiles ont depuis longtemps saisi l’enjeu que représente le marché du mobile. Ces derniers tentent sans cesse de se différencier et se livrent à une véritable course vers l’innovation afin de séduire un maximum d’utilisateurs. Les utilisateurs de mobile eux-même prennent souvent parti dans cette bataille en défendant tel ou tel OS mobile qui serait le « meilleur » et le plus simple à utiliser. Cette appréciation est souvent basée sur des critères subjectifs.

Dans ce contexte, l’équipe d’Usabilis a mené une étude auprès de 27 utilisateurs pour déterminer objectivement si certains systèmes d’exploitation mobiles (OS) sont plus adaptés que d’autres aux tâches que les utilisateurs effectuent régulièrement.

Test utilisateurSession de test utilisateur

Objectifs principaux

Cette étude a plusieurs objectifs :

  • Identifier l’OS qui permet d’accomplir les tâches le plus efficacement
  • Identifier les différences notables d’ergonomie entre les 3 différents OS
  • Lister les points forts et les faiblesses de chaque OS mobile
  • Lister des recommandations de conception pour les interfaces mobiles
  • Identifier quel OS correspond le mieux à des utilisateurs néophytes

Résultats de l’étude

Pour obtenir des résultats représentatifs de l’ergonomie des OS, nous avons testé uniquement les 11 applications natives régulièrement utilisées. (Le protocole détaillé de l’étude est disponible dans la synthèse téléchargeable).

Précision à propos du protocole : nous avons choisi de tester le système Android sur un Samsung Galaxy S3 mini car Samsung est très répandu (30% de part de marché des smartphones dans le monde fin 2012) parmi les smartphones Android. Nous n’avons donc pas choisi de tester la version nue d’Android, car elle est moins utilisée par le grand public que l’interface TouchWiz de Samsung. 

Les différentes tâches réalisées par les utilisateurs ont mis en évidences des points forts et des points faibles pour chaque OS en termes d’ergonomie.

apple-test-osiOS d’Apple est le premier OS pour téléphones tactiles qui a véritablement lancé la vague des smartphones. Apparu sur le marché en 2007, il a innové dans un domaine qui n’était pas encore développé. Cependant, iOS n’a pas beaucoup évolué depuis sa création.
iOS se caractérise par une interface peu chargée, qui permet l’exécution de tâches rapidement pour les utilisateurs réguliers, mais qui laisse peu de place à la personnalisation. Dans de nombreux cas observés, le positionnement de même éléments diffère d’une application à l’autre. Notre étude montre que les utilisateurs sont fréquemment ralentis par ce manque d’homogénéité qui entraîne un grand nombre d’erreurs.

Android-test-osAndroid, arrivé en 2008, a choisi une autre direction pour son interface. L’interface Android est visuellement chargée et apporte une lattitude plus importante à l’utilisateur pour personnaliser son interface comme par exemple la possibilité de remplacer les applications natives. Cependant, l’OS Android reste difficile à prendre en main. Nos tests ont montré que les utilisateurs néophytes sont parfois perdus et abandonnent leur tâche.

Windows-phone-test-osWindows Phone, challenger du marché apparu en 2010, a su s’inspirer de ses concurrents et de son expérience passée dans le domaine mobile tout en innovant. Proposant une interface simple et épurée ainsi que de multiples possibilités de personnalisation, il permet d’arriver rapidement à l’exécution d’une tâche ce qui a particulièrement séduit les utilisateurs. C’est d’ailleurs Windows Phone qui se trouve être l’OS mobile le plus adapté aux utilisateurs néophytes. A noter que certaines fonctionnaliltés demeurent absentes et que les formulaires de saisie actuels posent de réelles difficultés d’usage.

Suite à notre étude, Windows Phone se présente comme l’OS proposant l’expérience utilisateur la plus efficace et la plus appréciée.

Points clés

Voici les points clés qui sont ressortis suite aux tests utilisateurs. Ils sont basés à la fois sur les résultats statistiques des tâches effectuées (taux de réussite, nombre d'erreurs, durée de la tâche…) et sur une analyse experte de l’expérience utilisateur de chaque OS mobile.

Résultats statistiques

  • Les taux de réussites sont globalement bons pour les 3 OS mobiles. Les utilisateurs arrivent donc sans trop de difficultés à leurs fins.
  • Le taux de réussite des néophytes est plus faible que pour les utilisateurs réguliers : la prise en main n’est pas immédiate.
  • Tous OS confondus, les utilisateurs réguliers mettent 40% de temps en moins que les utilisateurs néophytes à exécuter une tâche. Cela montre qu’il existe une courbe d’apprentissage importante.
  • Sur Windows Phone les utilisateurs réussissent davantage à effectuer les tâches et avec le nombre d’erreurs le plus faible.
  • Windows Phone propose la plus grande facilité d’usage pour les néophytes.
  • La prise en main par les néophytes est plutôt bonne pour iOS.
  • Les utilisateurs font plus d’erreurs sur iOS que sur les autres OS.
  • Android est l'OS le plus difficile à utiliser pour les néophytes avec un taux de réussite de (seulement) 42% et beaucoup d’abandons de tâches.

Analyse experte

  • Windows Phone propose une interface très homogène qui facilite la prise en main pour les néophytes.
  • iOS et Android faillissent par manque d’homogénéité.
  • Il y a davantage de flexibilité (raccourcis, personnalisation) sur Android et Windows Phone que sur iOS.
  • Android propose beaucoup de feedbacks (messages de confirmation…) aux utilisateurs qui sont informés en temps réel de la prise en compte de leurs actions.
  • Alors qu’Android et Windows Phone proposent des gestuelles variées, iOS a moins développé les interactions tactiles.
  • La taille des éléments des interfaces des 3 OS est satisfaisante pour une utilisation tactile confortable.
  • Le guidage est globalement faible sur les 3 OS mobiles.
  • iOS propose les meilleurs formulaires alors qu’ils sont fastidieux à remplir sur Windows Phone et source d’erreurs.
  • Les utilisateurs sont parfois perdus sur Android car il y a trop d’informations affichées à l’écran.
  • Tous OS confondus, les néophytes ont des difficultés à trouver les paramètres du téléphone : sonnerie, luminosité, wifi…
  • Android permet d’accéder plus rapidement aux paramètres du téléphone.

Vous retrouverez le détail des résultats de notre étude dans la synthèse téléchargeable : recommandations de conception, protocole détaillé, statistiques des taux de réussites et temps de réalisation des tâches, analyse experte de l’expérience utilisateur des OS mobiles, témoignages (verbatims) des utilisateurs. Rendez-vous sur cette page pour télécharger la synthèse

Télécharger la synthèse

12 Commentaires

  • charleslp dit :

    Les versions des OS ne sont pas indiquées, les terminaux iOS et Windows Phone non plus (ou alors j’ai mal lu ?), c’est dommage.

  • Darkana dit :

    @charleslp : Tout est dans l’étude détaillée très complète (WP8, iOS6 et JellyBean 4.1.2).

    Merci pour cette analyse bien menée et surtout de nous faire profiter de votre expertise.
    Heureux possesseur d’un WP8, je retrouve bien les traits de caractère qui m’ont fait choisir cet OS que je conseille vivement.

  • lesalva dit :

    Et pourquoi ne pas utiliser un telephone sous Android dépourvu de surcouche ?

  • sick dit :

    Il me semble que le premier acteur du marché est bien Microsoft. Remember 2002 SPV by orange

  • Bonjour et merci pour vos réactions.
    @lesalva : Nous avons préféré tester un samsung qui était très représentatif auprès du grand public.
    @sick : effectivement Microsoft proposait des téléphones s’apparentant à des smartphones par le passé, mais on peut considérer que c’est l’iPhone qui a véritablement lancé le mouvement.

  • skypy dit :

    Je confirme aussi que c’est Microsoft qui a lancé les Smartphones. Apple les a fait connaitre au grand public, mais mes Windows mobiles était bien des Smartphones et même bien plus que ce sur pouvait faire un iphone, mais avec un interface plus difficilement utilisable au doigt.

  • Ivan Vandervaeren dit :

    Merci beaucoup pour le partage, c’est très instructif! Je fais suivre…

    Par contre, mention « peut mieux faire » pour l’introduction des commentaires : champs obligatoires non indiqués, générant un message d’erreur, suivis d’une réinitialisation des champs…

    Les cordonniers sont toujours les plus mal chaussés ;-)

  • almarvic dit :

    Je trouve, pour ma part, que rien ne peut égaler l’IPHONE 5S d’APPLE !
    En néophite, je confirme la facilité d’utilisation de toutes les APPS sélectionnées et surtout
    la puce A7 qui est fantastique de réactivé !
    Plan, utilisé pour la 1ère fois ce jour m’a bluffé, en se mettant à parler, par le micro de ma radio, au moment où j’en avais le plus besoin, ce jour !!!
    C’est mon avis d’utilisateur…..

  • Omar dit :

    Vous pouvez au moins vous targuer d’avoir fait une étude beaucoup plus complète que celle du Wallstreet Journal sur le sujet ;)
    http://blogs.wsj.com/digits/2014/01/22/its-debate-time-which-brand-makes-customers-happier/

  • prabier dit :

    C’est en complete contradiction avec une autre etude.
    http://www.pfeifferreport.com/v2/essays/how-ios-7-stacks-up-smartphone-os-user-experience-shootout/

    Ce genre d’etude est elle mal menée ? Ou ca ne sert peut être a rien finalement.

  • @Prabier l’étude que vous citez est un benchmark qui n’intègre pas d’observation des utilisateurs. Ce type d’étude peut avoir son intérêt mais elle ne reflète pas la réalité d’usage, à ce stade cela reste des hypothèses définies par un expert.

  • Altospam dit :

    Chaque système a ses propres singularités, même si au final les tâches à accomplir sont toutes les mêmes. Nous pouvons travailler avec chaque système en s’assurant d’y trouver les fonctionnalités dont nous avons besoin. Il y a toujours l’avis et l’expertise des experts, mais le reste repose surtout sur un aspect psychologique,chaque utilisateur a ses petites affinités pour tel ou tel système d’exploitation. N’empêche il y a des parties où l’on peut constater la supériorité d’un système par rapport à d’autres. et à mon avis singulier, je trouve que Apple est légèrement mieux par rapport à ses concurrents si on fait la somme de ces quelques points ponctuels.

Laisser un commentaire