AI, 신경망 그리고 필기 인식

2D 언어를 위한 AI 학습

중국어 문자 인식

MyScript는 여러 해 동안 2차원 언어, 특히 중국어 표의문자를 분석하고 해석하기 위한 다양한 기술들을 개발했습니다.

이 분야 대부분의 경쟁업체가 중국어 문자를 구별하고 해석하기 위해 결정트리 기법을 사용했지만, 우리는 더욱 신경망에 전념하여 삼만개 이상의 표의문자를 인식하도록 엔진을 학습시켰습니다.

연구팀이 이러한 대규모 신경망을 성공적으로 학습시킨 것은 처음 있는 일이었습니다. 대규모 데이터 수집 캠페인을 통해 이뤄낸 이 성공의 결과로 이제까지 본 적이 없는 가장 큰 중국어 필기 문자 데이터 집합이 만들어졌습니다.

우리는 이 데이터를 사용해서 특히 중국어 문자의 구조를 이용하는 새로운 신경 아키텍처를 개발했으며, 처리 시간을 단축하기 위해 특별한 클러스터링 기법도 접목했습니다. 이러한 혁신을 통해 여전히 불편하고 유연하지 못한 키보드 입력이 사용되고 있는 시장에 새로운 수준의 필기 인식 기술을 내놓을 수 있었습니다. 또한, 이러한 혁신 기술 덕분에 일본어, 힌디어, 한국어 등 다른 언어에 대해서도 같은 수준의 지원을 추가할 수 있었습니다.

수학 인식

다양한 전 세계 언어를 분석하고 인식하기 위해 신경망을 성공적으로 적용하면서, 수식 인식이라는 새로운 목표가 생겼습니다.

일반 언어가 문자와 단어의 구조적 순서를 가질 때, 2차원(또는 시각적) 언어는 노드 사이의 공간적 관계가 있는 트리 또는 그래프 구조를 사용해서 설명하는 것이 더 적절한 경우가 많습니다. 텍스트에서와 마찬가지로 수학 인식 시스템은 최상의 인식 후보를 생성하기 위해 세그먼트 분할, 인식, 문법 및 의미론적 분석을 동시에 그리고 같은 수준으로 처리한다는 원칙에 따라 구축되었습니다.

이 시스템은 구체적이고 전문화된 문법에 규정된 규칙에 따라 수학 방정식의 모든 부분 사이의 공간적 관계를 분석하고, 이러한 분석을 사용해서 세그먼트 분할을 결정합니다. 문법 자체는 방정식을 해석하는 방법을 기술한 규칙 집합을 구성하며, 각 규칙은 특정 공간 관계와 관련이 있습니다. 예를 들어 분수 규칙은 분자와 분수 막대와 분모 사이의 수직적 관계를 정의합니다.

구조화되지 않은 메모 이해하기

수식을 정확하고 빠르게 인식할 수 있게 되자 손으로 필기 된 메모의 배열 및 콘텐츠와 관련된 새로운 가능성이 열렸습니다.

MyScript의 인식 엔진이 수학 방정식의 각 부분 사이의 공간 관계를 올바르게 해석할 수 있다면 텍스트가 아닌 다른 여러 유형의 콘텐츠도 정확하게 인식할 수 있지 않을까요? 그렇다면 이러한 기술을 활용해서 손으로 그린 다이어그램과 같은 요소들을 정확하게 식별하고 심지어 아름답게 치장까지 함으로써 구조화되지 않은 메모에서 제기되는 여러 문제를 해결할 수 있을 것입니다.

우리는 그래프 기반 신경망(graph-based neural network: GNN) 아키텍처가 이러한 작업에 접합하다고 믿었습니다. 기본 아이디어는 문서 전체를 그래프처럼 모델링하는 것입니다. 여기에서 획은 노드로 표현되고, 가장자리로 인접한 획과 연결됩니다.

이러한 방식으로 메모의 콘텐츠를 분석할 때 GNN은 모든 획을 텍스트(text) 또는 비텍스트(non-text) 중 하나로 분류해야 합니다. 이러한 작업은 각 획의 기본 특징을 분석하고, 필요에 따라 획에 인접한 가장자리 및 노드로 제공되는 상황별 정보를 고려하는 방식으로 수행됩니다.

GNN에서 한 계층은 노드의 특성을 인접한 계층과 결합하여 상위 수준의 특성을 나타내는 숫자 값의 벡터를 생성합니다. 합성곱 신경망(convolutional neural networks)과 마찬가지로, 여러 계층을 중첩하여 점점 더 많은 수의 전역 특성을 추출할 수 있으므로 이를 통해 어떤 획이 텍스트 획을 구성하는지 더 정확한 결정을 내릴 수 있습니다. 예를 들어 다음 다이어그램에서 가장 왼쪽에 있는 두 개의 세로줄은 서로 비슷하게 보입니다. 하지만 인접한 획의 문맥 정보를 적용하면 GNN이 출력 계층에서 가장 왼쪽 획은 정사각형 모양의 일부이고, 그 옆의 세로줄은 'T' 문자의 일부라는 것을 구분할 수 있습니다.

딥 러닝과 인코더-디코더 모델

텍스트와 수학을 인식할 수 있는 최고의 시스템 2개를 각기 제공하는 것만으로는 충분하지 않은 경우도 있습니다. 특히 과학 분야에서 근무하거나 연구하는 사용자들의 경우에 그렇습니다. 이러한 사용자들은 (별도의 공간이나 종이가 아닌) 현재 필기하고 있는 텍스트의 일부로 수학 공식을 작성해야 할 경우가 많고, 인식 엔진이 둘 모두를 정확하게 해석할 것으로 기대합니다.

따라서 도전 과제는 자연적인 단방향 1차원 언어(텍스트)와 2차원 언어(수학)의 조합을 분석하는 등 수식과 함께 혼합된 문자와 단어를 인식할 수 있는 시스템을 설계하는 것입니다.

딥 러닝의 물결과 함께 새로운 신경망 아키텍처들이 등장했습니다. 이들 중 하나인 인코더-디코더(encoder-decoder)는 시퀀스-투-시퀀스 전환 문제를 해결하는 매우 잘 알려진 방식입니다. 이 방식은 가변-길이의 입출력을 처리할 수 있고, 음성 인식과 같이 필기 인식에 가까운 분야에서 최고의 기술로 사용됩니다. 인코더-디코더 시스템의 주요 이점은 각 요소가 개별적으로 학습되는 방식과 다르게 전체 모델이 엔드-투-엔드(end-to-end) 방식으로 학습된다는 것입니다. 몇 가지 예를 들자면, 합성곱 신경망(convolutional neural network) 계층, 순환 신경망(recurrent neural network) 계층, 장단기 메모리(long short-term memory: LSTM) 유닛 및 트랜스포머(Transformer) 모델에서 일반적으로 사용되는 어텐션 기반(attention-based) 계층을 포함한 여러 아키텍처가 사용될 수 있습니다.

우리에게 인코더-디코더(encoder-decoder)의 입력은 펜으로 필기 된 획의 궤적을 나타내는 일련의 좌표입니다. 출력은 LaTeX 기호의 형식으로 표시되는 인식된 일련의 문자열입니다 (예를 들어, x²를 표시하는 LaTeX인 x^2 또는 분수를 표시하는 LaTex인 (\frac{ }).