《현시대는 과학기술의 시대, 지식경제시대이며 과학기술의 발전수준에 의하여 국력이 결정되고 나라와 민족의 지위와 전도가 좌우되게 됩니다.》
심층학습에 기초한 추적방법들은 학습 첫단계에서 목표분류를 위한 특징들을 학습한다. 다음 미리 학습된 분류망에 기초한 흐레임으로부터 생성되는 모든 쪼각들을 분류한다. 추적은 사실상 미래의 상태와 현재의 상태들의 식별이다. 이것은 심층학습에 기초한 이전의 방법들이 현재의 상태들에 대한 식별에 의존한다는것을 의미한다.
결과 현재의 추적방법들은 분류에 기초한 방법 또는 현재의 상태들의 식별로 볼수 있다. 즉 미리 학습된 망들은 예비학습단계에서 시간정보를 학습시키지 않기때문에 앞으로의 상태들을 예측할수 없다. 그것들은 오직 검사단계에서 시간정보를 추가적으로 리용한다. 추적에서의 예측은 계산량을 줄이고 지어 현재의 상태들을 더 빨리 식별하도록 한다.
우선 미리 학습된 VGG-M망의 층들을 리용하여 추적을 위한 공간특징들을 학습시켰다. 이 망을 통하여 일반적인 특징들이 공유된 령역독립층들에서 모형화되는데 여기로부터 화상순서렬에서의 추적에 유용한 일반적인 공간특징표현들이 얻어진다. 이 모형은 립자려파기와 협동하여 사후확률밀도함수를 계산하는데 즉 매 립자로부터 공간특징을 추출하는데 리용된다.
다음 립자려파와 사전학습된 공간특징모형에 기초하여 추적기구의 다음번 학습을 위하여 앞서 리용되게 되는 사후확률밀도함수를 계산한다. 증강된 학습자료에서 매 화상렬의 첫번째 흐레임에서 가우스분포에 따라 표준자료가까이에서 첫번째 립자들을 분포하고 다음에 미리 학습된 공간모형의 conv3특징들을 리용하여 매 립자로부터 특징을 추출한다.
매 립자와 목표사이의 류사성은 유클리드거리를 리용하여 평가되고 다음 흐레임전에 리용될 첫번째 흐레임에서 사후확률을 얻기 위하여 전체 립자들에 걸쳐 정규화된다. 다음 흐레임으로 이행하기전에 목표는 표준자료의 위치에 따라 교체된다.
끝으로 전반적인 시간공간에서 원래의 화상렬과 사후확률지도들을 리용하여 추적하기 위한 시간기구를 학습시킨다. 망을 학습시키는것을 립자려파기로 생각할 때 이전 흐레임에서 사후확률은 다음 흐레임우에 있는 립자들의 상태를 예측하기 위하여 사전에 대응된다. 즉 학습은 립자려파기의 거동에 따라 추적절차를 학습한다. 흐레임들사이의 이행은 추적의 적당한 시간속성으로서 생각할수 있다.
결과적으로 학습된 망은 립자려파기에 기초한 추적기구를 모의할수 있다.
연구조에서는 여러 공개성능검사자료모임들에서 제안된 추적알고리듬을 평가하고 현대적인 추적기들과 그의 성능을 비교하였다.
13개의 영상렬에 대한 4개의 추적기들에 대한 실험결과분석을 진행하였다.
실험적인 결과들은 제안된 추적방법이 많은 동화상렬들(혼잡배경, 조명변화, 페색, 심한 변형, 운동흐림 등)에서 성능이 우월하다는것을 보여주었다.
이 연구결과는 국제잡지 《Multimedia Tools and App;ications》(2022)에 《Deep learning of spatio-temporal information for visual tracking》(https://doi.org/10.1007/s11042-022-11967-4)의 제목으로 발표되였다.
