필기수자렬인식(HDSR)은 비직결필기문자인식분야에서 가장 도전적인 과제들중의 하나이다. 기본도전은 접촉, 끊어짐, 복잡한 배경, 알지 못할 수자렬길이 등과 같은 여러가지 요인에 의하여 일어나는 분리오유로부터 생긴다. 이러한 어려움을 피하기 위한 한가지 방법으로서 우리는 중첩신경망에 기초한 한단계대상검출망을 리용하는 새로운 분리자유방식의 필기수자렬인식망을 제안하고 공개필기수자렬자료기지들인 CVL과 ORAND-CAR에 대한 실험을 통하여 제안방법이 최신방법들에 비하여 더 높은 성능을 달성하고있다는것을 보여주었다.
필기수자렬은 여러가지 양식문서들에서 금액, 우편번호, 날자, 수값 등으로 나타난다. 수자렬화상에서 수자는 대상으로, 분리는 수자령역의 위치결정으로 볼수 있으며 결국 수자렬인식문제를 대상검출 및 인식방법으로 풀수 있으며 필기수자렬인식에 최근시기 시각인식분야에서 널리 리용되는 중첩신경망에 기초한 대상검출망을 리용할수 있다. 우리가 제안한 필기수자렬인식망은 특징추출을 진행하는 기본망과 수자인식 및 자리표결정을 진행하는 검출망으로 구성된다.
특징추출을 위한 기본망은 여러개의 중첩층들을 가지는 완전중첩망이다. 첫층의 입력은 농담필기수자렬화상이고 마지막층의 출력은 4각형들을 예측하는 정보들을 포함하는 너비, 높이가 W, H인 특징지도이다. 검출망의 입구는 출력특징지도이며 그의 매 점은 입력화상을 W×H로 등분했을 때의 해당한 살창세포의 중심점에 놓인다. i번째 살창세포에서의 예측모임은 다음과 같다.
P(i)={x,y,w,h,c,c1,…,ck}(i), i∈[1,W•H](1)
예측모임에서 x, y는 살창세포의 왼쪽웃모서리점으로부터의 편위이며 w, h는 예측4각형의 너비와 높이, c는 대상믿음도, c1,…,ck는 클라스믿음도이다. 그러므로 예측모임의 요소개수는 K=10일 때 15로 된다. 대상믿음도 c는 해당 살창이 수자대상을 포함하고있을 확률, 다시말하여 임의의 수자대상의 중심이 이 살창내에 떨어질 확률을 반영한다. c가 믿음도턱값보다 클 때 하나의 예측4각형 B={bx,by,bw,bh,k,ck}를 얻는다. i번째 살창세포에서 예측4각형의 실지자리표는 다음과 같이 계산된다.
bx=((I+σ(x))/W)•Iw, by=((J+σ(y))/H)•Ih, bw=w•wa•Ih, bh=h•ha•Ih (2)
여기서 Iw, Ih는 입력화상의 너비, 높이이고 wa, ha는 고정4각형의 너비, 높이이며 σ(•)는 로지스틱시그모이드함수이다. I, J는 i번째 살창세포점의 입력화상에서의 위치화소점자리표이다.
살창세포를 주사하여 4각형들을 얻은 후에 비극대화억제(non maximum suppression: NMS)처리를 리용하여 겹친 4각형들을 제거하며 남은 4각형들을 x자리표가 커지는 순서로 정렬한다.
제안방법의 효과성을 평가하기 위하여 3가지 공개자료모임 즉 CVL, ORAND-CAR-A, ORAND-CAR-B들과 그들의 필기수자화상을 련결하여 만든 긴 길이의 합성자료모임(LENGTH-HDS)상에서 학습 및 성능평가를 진행하였다. 정확도평가에서는 필기수자렬화상안의 개별수자들이 모두 정확히 인식되였을 때 그 필기수자렬이 정확히 인식하였다고 평가한다.
선행한 필기수자렬인식방법들중에서 가장 성능이 높은 ResNet-RNN-CTC방법에 비하여 제안방법이 ORAND-CAR-A에서는 7%, ORAND-CAR-B에서는 5%, CVL에서는 5% 우월하며 LENGTH-HDS에서는 92.7%로서 높은 성능을 보여주었다.
우리의 연구결과는 잡지 《2023 4th International Conference on Electronic Communication and Artificial Intelligence》에 《HDSRNet: A Simple Segmentation-free Method for Unconstrained Handwritten Digit String Recognition》(https://doi.org/10.1109/ICECAI58670.2023.10176769)의 제목으로 발표되였다.
