무인 드론 상용화를 위한 시각 처리 AI 기술 발전 현황과 향후 연구 방향 고찰

서론

러시아와 우크라이나 간 전쟁에서 드론 (drone) 공습이 사망자를 내고 있다는 소식이 전해지고 있고, 미국의 전자상거래 기업인 아마존 (Amazo.com) 은 아마존 프라임 에어 (Amazon Prime Air)라는 자회사를 통해 드론으로 물류 배송을 현실화하려는 노력을 기울이고 있다. 드론은 어느덧 우리 생활 깊숙이 자리잡고 있으며 이러한 추세는 가속화될 것이고 무인 드론 운항을 위한 AI 기술의 발전도 빨라질 것으로 전망된다. 반면, 아마존은 2013년부터 드론으로 물류배송이라는 목표를 위해 연구개발을 추진하고 있으나, 2013년 당시 5년 뒤 드론 배송 상용화를 목표로 진행되었던 프로젝트에서 한화로 약 2조 이상의 연구비가 투입되고 1000명 이상의 직원이 채용되었지만, 10여년이 지난 현재까지도 상용화와는 거리가 있다. 상용화에 이르는 과정에는 여러가지 도전이 있겠지만, 본 고에서는 그 중 무인 드론의 시각 처리를 담당하는 시각처리 AI 기술의 관점에서 현 수준과 향후 연구 방향에 대해서 고찰해보고자 한다.

드론에서의 시각처리 AI 기술

무인 드론 운항을 위해 필수적인 기술 중 하나는 드론의 시각 처리를 맡는 시각 처리 (computer vision) AI 기술이다. 시각처리 AI 기술은 카메라 및 다양한 센서를 장착하여 드론 전방에 대한 영상 정보를 획득하고 이를 분석하여 추후 항로 변경 등의 판단을 수행한다. 시각 처리 AI 분야에 물체에 대한 인식을 수행하는 다양한 알고리즘들이 있지만, 드론에서의 시각 처리는 일반적인 물체 인식 기술에 비해 아래와 같은 차이점을 지닌다.

드론 촬영 영상의 퀄리티: 드론에 설치된 카메라로부터 전송되는 영상들은 떨림(jitter), 뭉개짐(blur), 저해상도, 빛 변화, 영상 왜곡 등 다양한 형태의 잡음(noise)을 가질 수 있다. 
작은 물체: 공중에서 바라보는 카메라 관점에서 촬영된 영상들이기 때문에 인식해야 하는 물체들이 지상에 위치하고 또 멀리에 있기 때문에 물체들 대부분이 작다는 점이 특징이다. 물체가 작으면 해당 물체를 기술하는 픽셀 수가 작아서 물체 인식 시 성능이 열화될 수 있는 문제가 있다.
물체 회전 문제: 공중에서 보는 카메라 시점 때문에 지상에서 보는 물체들과는 카메라에서 다른 각도로 찍혀 보일 수 있다. 이것은 특정 각도의 물체를 해당 클래스의 물체라고 학습하는 AI에게 물체 인식 시 혼선을 줄 수 있다.
큰 카메라의 움직임: CCTV 등에서는 카메라가 고정되어 있고, 고정된 카메라가 움직이는 물체를 촬영하지만 드론은 물체도 움직이고 물체를 촬영하는 카메라도 움직이면서 촬영을 수행한다. 따라서 고정된 카메라에 비해 연속된 프레임에서의 물체의 움직임이 빠른 경향이 있다.
갑작스러운 변화: 촬영하고자 하는 물체와 공중에 떠 있는 드론간의 거리가 멀기 때문에 드론 동체의 작은 변화에도 연속되어 촬영되는 프레임 간에 시점이 많이 변화할 수 있다.

이러한 차이점으로 인하여 물체 인식에서 활용되었던 전통적인 시각처리 AI 기술이 드론에서의 물체 인식에 바로 적용되었을 경우 성능에 열화가 있을 수 있다. 그림 1은 물체 인식에서 자주 활용되는 미국 마이크로소프트 (Microsoft) 사에서 제안한 COCO라는 데이터셋에 있는 자동차를 담고 있는 영상을 보여주며, 그림 2는 드론에서 촬영된 같은 자동차 클래스를 담고 있는 영상을 보여준다. 같은 물체이지만, 카메라 시점이 달라 물체를 보는 각도가 다르고, 물체의 크기가 드론 시점에서 더 작은 것을 확인할 수 있다. 

VisDrone-DET 대회와 향후 연구 방향

ICCV (International Conference on Computer Vision) 학회는 시각처리 분야의 최고 수준 기술들이 발표되는 학술대회 행사이다. 이 학회의 2021년 행사에 VisDrone-DET라는 드론에서 촬영된 영상으로부터 사람, 자동차 등 물체를 인식하는 대회가 열렸다. 해당 대회의 결과들을 요약한 논문이 [3]이다. 해당 대회에서는 6천여장의 드론 영상을 알고리즘 학습용으로 제공하고, 1500여장을 테스트 영상으로 제공하였다. 그리고 총 10가지 물체 (사람, 버스, 자동차, 트럭, 자전거 등) 를 정의하여 이들 물체에 대한 인식을 수행하는 대회를 열었다. 기존 시각 처리 AI에서 활용되던 물체 검출기를 활용하여 다양한 방식으로 드론 영상으로부터의 물체 인식으로 확장하는 연구 결과들이 대회에 참가하였으며, 가장 우수한 성능은 중국 Deep Blue AI라는 회사에서 제안한 DBNet이라는 딥러닝 알고리즘이 차지했다. Cascade R-CNN [4]이라는 기존 물체 인식 알고리즘에 여러 형태의 데이터 증강을 수행하고, 정답이 헷갈리는 샘플에 대한 재학습을 수행하는 방식을 제안하였다. 그러나, 이 논문의 결론에서 대회 주최측은 1등을 한 기법도 전년도에 비해서 5% 정도의 성능 향상이 있기는 했지만, 전반적으로 실용적인 활용 수준에는 못 미친다고 평가한다. 또한 드론의 플랫폼은 고사양의 컴퓨팅 리소스를 활용하지 못하기에 제안된 기법을 드론 플랫폼에 설치할 수 있는 상황도 아니기에 이런 점을 고려한다면 진행해야할 연구가 멀었다고 평가한다. 2023년 10월에 프랑스 파리에서 열린 ICCV 2023 행사에도 VisDrone 대회가 열렸다. 해당 대회의 사이트 [5]를 참고하면, 여전히 최고 성능의 기법이 2021년 기법에 비해 3% 정도 성능향상이 있었지만, 전반적으로 실용성과 리소스 활용 측면에서 부족하다고 느껴진다. 성능 향상이라는 측면과 딥러닝 기법의 경량화를 통한 효율적인 리소스 활용이라는 측면에서 지속적인 연구가 이루어져야 할것이라고 생각된다.

결론

본 고에서는 무인 드론에서 활용될 수 있는 시각 처리 AI 기술의 한계 및 현재 수준과 앞으로 연구 방향에 관해 고찰해 보았다. 무인 드론의 상용화는 군사적인 목적이나 물류 부문에 국한되지 않고 여러 방면에서 인류의 삶을 편리하게 만들어 줄 것이며 따라서 해당 기술에 대한 지속적인 연구가 필요하다고 생각된다.