科技

自然數位手寫的使用者體驗

先進的人工智慧技術把手寫內容帶進數位世界,但是優異的使用者體驗,卻能讓手寫內容成為強大的工具。

使用者體驗的重要性

使用者體驗的英文簡稱是 UX,代表使用者跟 App、產品或系統互動的體驗。 以軟體開發而言,使用者體驗通常是兩個密切相關領域的焦點:使用者體驗研究和使用者體驗設計。

使用者體驗研究

MyScript 進行使用者體驗研究的目的,是瞭解民眾為什麼以及在何種情況下,會比較想要手寫文字。 我們也研究民眾在紙上或數位裝置上書寫時,會有哪些期待、需求和行為。

我們的使用者體驗研究人員在蒐集、排列和分析大量資料時,會採用多種統計和量化技術(包括採訪、問卷、日記研究、基準化和使用測試等)。 接著他們會開發出詳細的人物誌(不同類型使用者的模型)和旅程地圖(顯示使用者在應用程式中進行工作時所採取的路線),涵蓋各種企業最重要的需求。

使用者體驗設計

我們的使用者體驗設計師,會利用使用者體驗研究工作建立的人物誌和旅程資料,根據使用者需求提出產品的創新觀點。 他們要負責成立工作室、提出潛在的設計解決方案,並且建立這套方案的原型,同時確保設計出來的產品更新也要符合法規、商業和其他需求(例如中文化)。

雖然聽起來很簡單,但使用者的需求或問題,通常都無法輕鬆解決,尤其是跟人工智慧技術有關時。 使用者體驗團隊的工作這時就會比較棘手(但也更有趣)。

為了說明怎麼個棘手法,我們深入瞭解一下 MyScript 的使用者體驗流程,如何塑造和決定我們的核心產品。

讓數位筆跡技術更賣力

我們一開始在 1998 年開發人工智慧導向的數位筆跡產品時,重點放在手寫辨識功能的正確性和速度, 但我們知道這並不是終極目標。

市面上的數位筆跡產品眾多,但是大部分的功能都有侷限。雖然能把使用者的筆觸辨識為靜態影像, 而且能調整大小,或者移動到內頁的其他位置,但也無法有所突破。 這樣的結果,造成手寫輸入內容和內頁上的其他輸入內容(特別是輸入文字)無法並存。

因此雖然我們開發的人工智慧引擎,在辨識和轉換手寫內容的正確率非常驚人,但我們還是捫心自問:數位筆跡技術還有哪些可能? 我們還能以哪些方式造福使用者,並且超越傳統的紙筆做法?

現有文獻能幫我們瞭解民眾為什麼選擇手寫或手繪做法,而不採取鍵入、聽寫或其他數位輸入方式。 所以我們開始實驗增加數位筆跡技術的用途,跨出手寫辨識的範圍。 我們擴大工作重心,加入更多功能,例如自動調整能力、可利用筆勢編輯內容。但是儘管進展神速,我們沒多久還是發現這些問題不能光靠人工智慧解決, 必須同時把重心放在優良而且巧妙的使用者體驗設計上。

自然又有效的輸入方式

我們在努力的這段期間,民眾採用數位裝置的情形,以及數位裝置的種類,都有爆炸性成長。但是手寫市場的狀況和未來發展都難以預料。 因此我們加強研究力道,長期訪問來自不同社會和專業背景的民眾,瞭解他們日常生活如何運用手寫內容。

我們研究了數千份真實的筆記(紙本和數位版本),同時進行詳細的問卷調查,受訪者高達數千人。 讓人驚訝的是,儘管數位裝置的滲透率呈現爆炸性成長,我們一開始的假設卻再三獲得確認:手寫內容的優點眾多,而且獨一無二,例如表現起來更自由,以及能記得更牢。

和鍵盤比較起來,用紙筆更容易記下非線性想法,或者用腦力激盪的方式找出關係。手寫數學方程式或音符也是一樣。 除此之外,手繪圖表也比用滑鼠簡單得多。 書寫通常不僅只是創作完成的內容,而是一種思考方式。 我們手寫或手繪時,思緒可以更奔放、有條理。

數位內容的優點

但是手創內容也有其限制和問題。

我們的研究顯示,紙本筆記通常無法和數位工具以及資源輕鬆整合。 很多人都會遺失寫在零碎紙張上的資訊, 但是抄錄過程又會浪費寶貴時間,因為必須把手寫紀錄輸入進去,或者把草草描繪的圖表重新繪製到 PowerPoint 或 Keynote 中。 這種筆記通常一開始很整齊,後來卻越來越潦草難懂,因為空間不夠,或者無法擦掉寫錯的地方。 相較之下,數位筆記通常比較容易擷取、整理、移植、編輯和連結資訊。

為什麼要逼使用者在兩種輸入方式之間選擇一個呢?畢竟兩者各有獨特的生產力和使用優點。 我們發現這個商機,因此要開發出能融合兩者優點的產品。

認識使用情境

我們在研究期間,也檢討傳統數位輸入法看似不便,手寫(就算只用一根手指)反而可能更好用的情形。

車用顯示器和資訊娛樂系統就是一個很好的例子。按鈕、旋鈕和觸碰螢幕鍵盤都可能讓駕駛人分心,造成安全威脅。 就算語音辨識技術都有好幾個嚴重缺點,因為車內通常充滿了背景雜音,但是技術的正確率不足,無法避免經常犯錯。 如果駕駛人還得分心解決辨識錯誤問題,後果就可能非常嚴重。

要是駕駛人只需用手指寫下指示,眼睛還能緊盯路面呢? 這種做法當然會碰上難題。首先,軟體必須能分辨和瞭解重疊書寫的文字。 然而,這種解決方式的優點和潛在用途可能極大,特別是螢幕非常小的智慧型手錶。

另一個例子是製作圖表。 繪製報告或簡報的圖表時,使用者通常必須熟悉其他應用程式,或者對自己很熟的應用程式有特殊知識(例如 Microsoft Word)。 要是我們的科技能讓使用者自己用筆畫出圖表,然後只要點個幾下,就能轉換成完美形狀、筆直線條以及輸入文字呢?

除此之外,如果轉換後的圖表能自動調整,而且只要圖表元素移動位置,連結大小就能自動調整呢? 更棒的是,如果手繪圖表能夠自動轉換,然後只要複製就能貼上到常見簡報 App 中,例如 PowerPoint 或 Keynote 呢?

我們當時已經打造全新型態的數位筆跡技術。這種技術讓使用者不只擁有手寫辨識和筆跡轉換文字能力。

從瞭解到願景

透過嚴謹的使用者體驗研究結果,找出使用者的需求後,我們現在的目標更明確,就是要在擁有自然優點的手寫傳統和功能強大的數位內容之間,用數位筆跡技術為兩者打造「友誼的橋樑」。 結合兩者優點能讓使用者的生產力大幅提升,但是光靠人工智慧是不夠的。 我們需要巧妙、體貼又創新的使用者體驗設計。

互動能力和生產力

我們採取的第一步,就是決定我們的數位筆跡產品,要以哪些方式超越市面上的其他技術。 我們的使用者體驗部門和開發部門以及產品經理密切合作,提出「互動墨水」的概念,共有三大創新:多重、可編輯,而且有自動調整能力。

多重

我們希望自家的數位筆跡技術和輸入文字能平起平坐,而不是另一種形式的內容。 因此,我們設計軟體時,能以相同方式處理各種文字輸入管道,讓使用者能在同一份文件、段落、句子或文字中,混合手寫和輸入的文字。 您可以在我們的數位筆記 Nebo App 中親自見識。

Nebo 的一般內頁適合有結構的線性筆記和文件。手寫和輸入內容可以視需要混合、合併和轉換。 使用者可以加入各種「物件」(圖表、數學、素描……等等),讓筆記內容更豐富,但不會降低手寫辨識內容的正確性。

事實上,使用物件這種觀念,觸及我們目前面對的一大難題:如何讓使用者在數位內頁上混合文字和非文字內容,而且不能有任何限制,也不能損失兩者的任何功能。 這個目標是我們的一大工作重點,從我們在 2020 年末推出和持續改良 Nebo 的草稿內頁功能即可看出。

草稿內頁是無限大的版面,能讓使用者自由書寫和繪圖,內容的位置不受限,也沒有自動數位處理技術可能導致的分心問題。 這種功能可用在腦力激盪時刻,或者天馬行空的上課筆記,因為使用者的重點比較不是線型結構和只有文字的內容。

我們目前正在開發新版本的草稿內頁,讓使用者能鍵入、聽寫,甚至將手寫文字轉換成輸入文字,進一步縮小類比和數位輸入方式的距離。

方便修改

我們也希望「互動墨水」技術能讓手寫內容有完整的數位彈性。 手寫內容必須連每一筆都能修改,而且必須能以您的筆修改。

我們進行了大量研究,並在人工智慧部門的協助下,推出了整套筆勢功能,而且非常符合人類直覺,所以只要幾分鐘就能學會並使用:劃掉等於刪除、往上畫等於合併,往下畫等於拆開……等等。 由於我們採用多重互動墨水技術,因此這些筆勢能用於輸入文字以及手寫文字,讓使用者提高生產力的方式多了一種。

自動調整能力

某些情況下(例如製作上課筆記,因此必須混合文字、草圖、圖表或數學方程式等內容),內容的原始排版方式必須保留。

有時(例如寫會議紀錄,以後要轉換成輸入文字並且轉發給同事)如果在修改期間,或用其他裝置查閱同步內容期間,系統就能夠自動重排內容,工作效率會比較高。

所以自動調整能力是依內容調整而定的需求,因此我們的解決方案必須在必要時提供自動調整能力,根據所有形式的內容(就算混合了手寫和輸入文字)自動適應排版的變化。

Nebo:展示、測試情境和解決方案

Nebo 是我們的數位筆記本 App, 採用 MyScript SDK 人工智慧引擎,源於我們強調的優異手寫經驗。 這款產品也很適合測試我們的使用者體驗方案,以便建置並反覆改良各種功能,進而支援並強化我們的核心手寫辨識技術。

我們利用 Nebo 蒐集多種資料點帶來的分析結果,瞭解新功能和改良功能實際使用起來的感覺。 我們透過資料分析、支援要求、功能要求、App Store 評論、社群媒體互動和 Insider 合作計畫取得的回饋和意見,決定產品的開發方向。 當然啦,我們也會深入研究 Nebo 的使用模式,據以判定哪些地方實用,哪些地方需要改善,同時找出新用途和使用者的新期許。

只要看看現在的 Nebo,就能清楚發現這方面的實務意義。 這個 App 不但有超級精確的手寫辨識功能,也能即時將 60 多種語言的筆跡轉換成文字。 然而,使用者體驗設計卻把這個已經很強的工具,轉變成功能更全面、生產力更高的使用過程。

舉例來說,Nebo 讓使用者以自然的筆勢輕鬆編輯手寫內容, 而且手寫內容也能自動調整,例如手寫的會議紀錄能自動重新排版,方便您在各種裝置上瀏覽,更適合透過電子郵件或網頁連結,轉貼給可能會用智慧型手機查閱的同事。 Nebo 也能透過文字「裝飾」法改變文字格式,例如在文字底下畫線代表強調,在文字四周加框代表明顯標示。 使用者也可以把筆記匯出成多種常見格式。

Nebo 的功能不只這些,而是一直在增加, 不過您可以從中清楚知道,我們的使用者體驗團隊用很多方法來強化與延伸 MyScript SDK 功能。 更重要的是,每項功能都源自嚴謹的研究結果,而且經常透過測試和檢討過程進行修改。對於 MyScript 的使用者體驗部門而言,創新和改良就跟實作一樣重要。

科技
人工智慧、神經網路和手寫辨識技術
科技