UX pour une écriture manuscrite numérique naturelle
L'IA de pointe fait entrer l'écriture manuscrite dans le monde numérique, mais une UX visionnaire en fait l'un des outils les plus polyvalents
L'importance de l'UX
Le terme UX (User eXperience en anglais) fait référence à l'expérience d'interaction avec une app, un produit ou un système. En développement logiciel, l'UX est généralement la convergence de deux disciplines étroitement liées : la recherche UX et le design UX.
Recherche UX
Chez MyScript, nous faisons de la recherche UX pour comprendre pourquoi et dans quels contextes les gens préfèrent écrire à la main. Nous étudions leurs attentes, leurs besoins et leurs comportements quand ils et elles écrivent à la main sur du papier ou sur un appareil numérique.
Grâce à un éventail de techniques statistiques et qualitatives (entretiens, enquêtes, études d'activités quotidiennes, analyses comparatives, tests d'usabilité), nos chercheurs·euses UX rassemblent, trient et analysent des quantités colossales de données. Puis, ils et elles conçoivent des personas détaillés (modèles de différents types d'utilisateurs·trices), ainsi que des cartes de parcours (montrant les chemins empruntés par les utilisateurs·trices pour effectuer des tâches), couvrant les besoins les plus importants dans une multitude d'entreprises.
Design UX
Nos designers UX utilisent les personas et les parcours identifiés par la recherche UX pour concevoir des solutions innovantes aux besoins des utilisateurs·trices. Ils et elles organisent des ateliers, proposent et prototypent des solutions de design, en s'assurant que les évolutions répondent aux exigences légales, commerciales et autres (comme la localisation).
Bien que cela semble simple, il arrive souvent que les besoins ou les problèmes des utilisateurs·trices n'aient pas de solutions évidentes, en particulier lorsqu'on travaille avec l'IA. C'est là que les choses deviennent plus complexes (et intéressantes !) pour les équipes UX.
Pour illustrer ces défis, examinons en détail comment l'expérience utilisateur chez MyScript a contribué à façonner et à définir nos produits.
Rendre l'encre numérique plus performante
Lorsque nous avons commencé à développer notre encre numérique basée sur l'IA en 1998, notre objectif principal était la précision et la rapidité de la reconnaissance d'écriture. Mais nous savions que ce n'était que le début.
Il existe de nombreuses encres numériques sur le marché, mais la plupart ont des capacités limitées : elles capturent les traits des utilisateurs·trices sous formes d'images statiques. Ces traits peuvent être redimensionnés ou déplacés sur la page, mais pas beaucoup plus. Au final, les entrées manuscrites existent séparément des autres entrées sur la page, notamment le texte tapé au clavier.
Alors que nous développions un moteur d'IA capable de reconnaître et de convertir l'écriture manuscrite avec une étonnante précision, nous nous demandions également : qu'est-ce que l'encre numérique peut être et faire de plus ? De quelles autres manières pourrait-elle bénéficier à ses utilisateurs·trices et surpasser le papier et l'encre traditionnels ?
La littérature existante nous a aidé·e·s à comprendre pourquoi les gens choisissent d'écrire ou de dessiner à la main plutôt que de taper, dicter ou utiliser d'autres méthodes de saisie numériques. Nous avons donc commencé à expérimenter en élargissant les horizons de l'encre numérique au-delà de la reconnaissance de l'écriture manuscrite. Nous avons agrandi notre champ d'action pour inclure des fonctionnalités telles que la réactivité et l'édition avec le stylet. Et malgré d'importants progrès, il est vite apparu qu'il s'agissait de défis que l'IA ne pouvait pas relever seule. Nous devions nous concentrer en parallèle sur un design UX inspiré et intelligent.
Une saisie naturellement efficace
Nous travaillions dans un contexte de croissance exponentielle de l'adoption et de la diversification des appareils numériques, alors que le statut et l'avenir de l'écriture manuscrite étaient incertains. Nous avons donc intensifié nos recherches, en interrogeant des personnes de différents milieux sociaux et professionnels sur de longues périodes, pour comprendre comment elles utilisaient l'écriture manuscrite dans leur vie quotidienne.
Nous avons étudié des milliers de notes réelles (papier et numériques) et organisé des enquêtes détaillées impliquant des milliers de participant·e·s. Et de fait, malgré la prolifération explosive des appareils numériques, notre hypothèse de départ a été confirmée encore et encore : la création de contenu à la main apporte des avantages remarquables et uniques, allant d'une plus grande liberté d'expression à une meilleure mémorisation.
Il est beaucoup plus facile de noter des informations non linéaires ou de relier des idées entre elles avec un stylo et du papier qu'avec un clavier ; cela vaut également pour les équations mathématiques ou la notation musicale. Et il est souvent plus facile de créer des diagrammes à la main qu'avec une souris. L'écriture est souvent bien plus qu'une simple création de contenu fini : c'est une façon de penser. Lorsque nous écrivons ou dessinons à la main, nos idées peuvent évoluer plus librement et plus naturellement.
Les avantages du contenu numérique
Mais créer du contenu à la main apporte également des limites et des frustrations.
Nos recherches ont montré que les notes papier ne s'intégraient souvent pas correctement aux outils et ressources numériques. Les gens perdaient la trace des informations griffonnées sur des bouts de papier. Ils et elles perdaient un temps précieux à les retranscrire, à retaper des compte-rendus manuscrits ou à reformuler dans PowerPoint ou Keynote des diagrammes dessinés. Leurs notes commençaient souvent bien, avant de devenir de plus en plus chaotiques et difficiles à comprendre, par manque d'espace ou à cause d'erreurs impossibles à effacer. Les alternatives numériques à l'écriture manuscrite étaient généralement plus efficaces pour la recherche d'informations, l'organisation, la portabilité, l'édition et la connectivité.
Pourquoi devrait-on choisir entre deux méthodes de saisie distinctes, chacune offrant des avantages tout aussi distincts en termes de productivité et d'ergonomie ? Nous avons vu une opportunité de créer une solution qui offrait le meilleur des deux mondes.
Comprendre les cas d'utilisation
Au cours de nos recherches, nous avions également examiné des contextes où les méthodes traditionnelles de saisie numérique semblaient peu maniables, et où l'écriture à la main (même simplement avec le doigt) pouvait s'avérer bénéfique.
Les écrans et systèmes d'infotainment en voiture en sont un bon exemple : les boutons, molettes et claviers sur écran tactile peuvent distraire les conducteurs·trices et constituer une menace pour la sécurité. Même la reconnaissance vocale présente des inconvénients importants : les voitures sont souvent pleines de bruit de fond et la technologie n'est pas assez précise pour éviter les erreurs fréquentes. Si les conducteurs·trices doivent diviser leur attention pour résoudre les erreurs de reconnaissance, les conséquences pourraient être désastreuses.
Et si les conducteurs·trices pouvaient simplement écrire leurs instructions avec un doigt tout en gardant les yeux sur la route ? Cela poserait certainement des défis : le logiciel devrait être capable de séparer et comprendre les caractères superposés, pour commencer. Mais les avantages et les applications potentielles d'une telle solution seraient considérables, notamment pour les montres intelligentes avec de très petits écrans.
Un autre exemple est la création de diagrammes. Dessiner des diagrammes pour des rapports ou des présentations demande généralement de maîtriser une application distincte, ou d'acquérir une expertise spécifique dans une application déjà connue (comme Microsoft Word). Et si notre technologie permettait de créer un diagramme avec un stylet, puis de le convertir en formes parfaites, en lignes droites et en texte numérique en quelques taps ?
Et si ce diagramme converti était réactif, redimensionnant automatiquement les connecteurs lorsque les éléments sont déplacés ? Mieux encore, et si le diagramme dessiné à la main pouvait être converti automatiquement lorsqu'il est copié-collé dans une application de présentation populaire, comme PowerPoint ou Keynote ?
Nous concevions l'idée d'un nouveau type d'encre numérique, qui offrirait à l'utilisateur·trice plus que la reconnaissance de l'écriture manuscrite et la conversion écriture-texte.
De la compréhension à la vision
Après avoir identifié les besoins des utilisateurs·trices grâce à une recherche UX rigoureuse, nous avions maintenant un objectif clair : s'assurer que notre encre numérique agisse comme le chaînon manquant entre les avantages naturels de l'écriture manuscrite et la puissance du contenu numérique. Combiner les deux pourrait sérieusement augmenter la productivité des gens, mais il faudrait plus que de l'IA. Nous avions besoin d'un design UX intelligent, réfléchi et innovant. Nous avions besoin d'un design UX intelligent, réfléchi et innovant.
Interactivité et productivité
La première étape a été de définir de quelles façons notre encre numérique irait plus loin que les autres sur le marché. En étroite collaboration avec nos équipes de développement et nos chefs de produit, notre équipe UX a imaginé une « encre interactive » qui offrirait trois innovations majeures : multimodalité, éditabilité et réactivité.
Multimodalité
Nous voulions que notre encre numérique fonctionne comme du texte tapé au clavier, et non comme une forme distincte de contenu. Nous avons donc conçu notre logiciel pour traiter de la même manière différents types de saisie de texte, permettant aux utilisateurs·trices de mélanger écriture manuscrite et texte tapé dans un même document, paragraphe, phrase ou mot. Vous pouvez le constater par vous-même dans Nebo , notre app de prise de notes numériques.
La page standard de Nebo a été conçue pour la création de notes et de documents structurés et linéaires, où le contenu manuscrit et tapé peut être mélangé, fusionné et converti selon les besoins. Les utilisateurs·trices peuvent ajouter divers « objets » (diagrammes, mathématiques, dessins, etc.) pour enrichir leurs notes sans nuire à la précision de la reconnaissance d'écriture manuscrite.
En fait, l'utilisation d'objets touche à l'un des plus grands défis auxquels nous faisons face actuellement : comment permettre aux utilisateurs·trices de mélanger du contenu texte et non-texte sur une page numérique, en toute liberté et sans perte de fonctionnalité pour l'un ou l'autre. Notre détermination à atteindre cet objectif est particulièrement visible dans la création et l'évolution de la page libre de Nebo, lancée fin 2020.
La page libre est un canevas infini qui permet aux utilisateurs·trices d'écrire et de dessiner librement, sans contrainte sur l'emplacement de leur contenu, et sans distraction potentielle du traitement numérique automatique. Elle convient donc parfaitement aux sessions de brainstorming ou pour des notes de cours libres, où les utilisateurs·trices se concentrent moins sur la structure linéaire et le contenu texte.
Nous travaillons actuellement à la création de la prochaine itération de la page libre, qui permettra aux utilisateurs·trices de taper, dicter et même convertir l'écriture manuscrite en texte numérique, réduisant encore plus l'écart entre les entrées analogiques et numériques.
Éditabilité
Nous voulions également que notre « encre interactive » apporte une flexibilité numérique totale au contenu manuscrit. L'écriture manuscrite devait rester entièrement modifiable jusqu'au niveau des traits individuels, et devait pouvoir être éditée avec un stylet.
Nous avons mené un grand nombre recherches et implémenté, avec l'aide de notre équipe IA, un ensemble de gestes au stylet si intuitifs qu'ils peuvent être appris et utilisés en quelques instants : raturer pour effacer, un trait vers le haut pour réunir du contenu et un vers le bas pour le séparer, etc. Et parce que notre encre est multimodale, ces gestes fonctionnent aussi bien sur le texte tapé que sur l'écriture manuscrite, un moyen de plus d'augmenter la productivité de nos utilisateurs·trices.
Réactivité
Dans certains cas, comme la création de notes de cours qui mélangent texte, croquis, diagrammes et/ou équations mathématiques, il est essentiel de préserver la mise en page originale de votre contenu.
Dans d'autres, comme la rédaction de compte-rendus de réunion qui seront convertis en texte numérique et partagés avec des collègues, il est plus productif que le contenu soit réarrangé automatiquement lorsque des modifications sont faites ou lorsque vous consultez le contenu synchronisé sur un autre appareil.
La réactivité étant une contrainte dépendante du contexte, nos solutions devaient donc être réactives si nécessaire, en s'adaptant automatiquement aux changements de mise en page pour toutes les formes de contenu (même un mix d'écriture et de texte tapé).
Nebo : vitrine, banc d'essai et solution
Nebo est notre app de prise de notes numériques. Elle fonctionne grâce au moteur IA du SDK MyScript et est conçue pour offrir une expérience d'écriture manuscrite exceptionnelle. C'est également un banc d'essai idéal pour nos solutions UX, un endroit où nous pouvons implémenter et itérer sur les fonctionnalités qui utilisent et améliorent notre technologie de reconnaissance d'écriture manuscrite.
Nous utilisons Nebo pour recueillir des informations à partir d'un large éventail de données, révélant comment les utilisateurs·trices du monde réel expérimentent nos nouvelles fonctionnalités et améliorations. Les retours que nous obtenons grâce aux analyses, aux demandes d'assistance et de fonctionnalités, aux commentaires sur les stores, à l'engagement sur les réseaux sociaux et à notre programme Insider sont inestimables pour façonner le développement futur de nos produits. Et bien sûr, nous menons des recherches approfondies sur les habitudes d'utilisation de Nebo, ce qui nous permet de déterminer ce qui fonctionne et ce qui doit être amélioré, et d'identifier de nouveaux cas d'utilisation et de nouvelles attentes.
Voir ce qu'est Nebo aujourd'hui donne une idée plus précise de ce que cela signifie en pratique. L'application offre une reconnaissance ultra-précise de l'écriture manuscrite et une conversion écriture-texte en temps réel dans plus de 60 langues. Mais son design UX transforme cet outil déjà impressionnant en une expérience bien plus globale et stimulante pour la productivité.
Avec Nebo, par exemple, les utilisateurs·trices peuvent éditer leur écriture sans effort en utilisant des gestes naturels au stylet. Le contenu manuscrit est également réactif. Par exemple, les notes de réunion manuscrites sont automatiquement réarrangées pour une meilleure visualisation sur différents appareils : parfait pour les partager par e-mail ou via un lien Web avec des collègues susceptibles de les consulter sur un smartphone. Nebo permet également de formater le texte grâce à des « décorations », par exemple en soulignant pour le faire ressortir, ou en encadrant pour le surligner. Et les utilisateurs·trices peuvent exporter leurs notes vers une multitude de formats populaires.
Cette liste n'est en aucun cas exhaustive et les fonctionnalités de Nebo ne cessent de s'enrichir. Mais cela donne une idée précise des nombreuses façons dont notre équipe UX a cherché à amplifier et à étendre la puissance du MyScript SDK. De plus, chaque fonctionnalité est soutenue par une recherche rigoureuse et évolue grâce à des tests et des révisions constants : pour l'équipe UX de MyScript, l'innovation et l'itération sont aussi importantes que la mise en œuvre.
