H.264비데오렬에서 시간령역오유화상수복을 위한 시간-공간상관성을 리용한 운동회복방법

 2021.9.22.

위대한 령도자 김정일동지께서는 다음과 같이 교시하시였다.

《정보기술, 나노기술, 생물공학은 현시대 과학기술발전의 핵심기초기술입니다.》 (김정일선집》 증보판 제22권 20-21페지)

이동통신이나 무선국부망(WLAN)과 같은 무선망으로 자료를 전송할 때 무선통로의 각이한 훼이딩영향에 의해 높은 비트오유률이 발생한다는것은 잘 알려져있다. 특히 H.264비데오렬을 무선으로 전송할 때 전송중에 1개의 비트오유가 발생하면 뒤따르는 비데오렬에로 비트오유가 전파되고 그 영향으로 비데오방영중에 오유화상들이 나타난다. 손실된 화상을 개선할수 있는 선행연구를 크게 2가지로 분류할수 있다. 그 한가지는 전송선로에서 비트오유률을 감소시켜 화상의 피크신호대잡음비(PSNR)를 높이기 위한 방법들이고 다른 한가지는 전송중에 비트오유가 이미 발생한 조건에서 수신된 화상에서 손실된 부분을 원래의 화상부분과 류사한 화상으로 보간하는 방법이다. 후자의 방법을 오유화상숨김방법이라고 부른다.

김일성종합대학 정보과학부에서는 H.264비데오화상에 대해 복잡성이 낮고 효과적인 시간령역오유화상숨김알고리듬을 연구하였다. 여기서 손실블로크의 운동벡토르는 믿음성이 있는 블로크의 공간적상관성 또는 시간적상관성을 가진 움직임벡토르(MV, motion vector)를 리용함으로써 회복된다. 믿음성있는 블로크는 그의 MV가 손실블로크의 MV와 류사하다고 볼수 있는 블로크로 정의되며 블로크운동자리길모임을 리용하여 추적된다. 그림에 운동벡토르회복모형을 보여주었다.


운동벡토르회복모형
그림. 운동벡토르회복모형

우리의 연구에서는 8×8화소로 표현된 블로크들이 모두 자기의 운동자리길을 가진다고 가정된다. 린접블로크들의 MV들이 부분적으로 상관성을 가지기때문에 어떤 작은 구역내에서 블로크들은 서로 류사한 운동자리길을 따라서 움직인다고 볼수 있을것이다.

그 블로크들의 MV가 움직임벡토르절대차합(SAD-MV)에 의해 손실블로크와 같은 운동자리길속성을 가진다고 가정하면 자기의 MV를 공간상관성을 리용하여 추정되는 블로크들은 손실블로크의 운동벡토르와 류사하다고 할수 있는 블로크후보로서 선택될수 있다. 또한 시간상관성을 가진 MV가 이전의 흐레임들에서 믿음성있는 블로크와 손실블로크사이에 운동관계를 표현하는 공간상관성을 리용하여 시간령역에서 생성된다. 알고리듬에서는 실지로 공간상관성을 가진 MV와 시간상관성을 가진 MV들을 리용하여 MV후보모임을 구성한다. MV후보모임가운데서 최적인 MV가 블로크정합에 의한 륜곽차이를 최소화함으로써 선택된다. 마지막으로 구획분할에 기초한 블로크결합에 의해 마크로블로크(MB, Macroblock)의 최종 MV가 회복된다.

제안된 모형에 의해 시간령역오유화상숨김알고리듬은 보다 낮은 복잡성을 가지게 된다. 실험을 통하여 제안된 알고리듬이 H.264비데오렬에서 손실된 블로크를 효과적으로 수복할수 있다는것이 증명되였다. 제안된 알고리듬은 H.264 복호기를 리용하는 실시간다매체응용들에서 강력한 오유화상수복도구로서 리용될수 있다. 특히 기억용량이 적은 이동전화기나 촉각수감응용들에서 그 효과가 더욱 클것이다.

이상의 내용은 잡지 《Multimedia Tools and Applications》((2020) 79:1221–1240)에 《A novel motion recovery using temporal and spatial correlation for a fast temporal error concealment over H.264 video sequences》 (https://doi.org/10.1007/s11042-019-08176-x)의 제목으로 발표되였다.