Study of methods for searching and localizing objects in images from aircraft using convolutional neural networks

Abstract

The use of unmanned and manned aerial vehicles for remote object localization and classification is very common. These methods are used in various systems, ranging from territory surveys to law enforcement. Methods of object localization and classification using neural networks require a detailed study and research of the quality of their work on data that has certain specifics, such as vehicle detection. The use of neural networks to detect certain types of objects using images obtained from aircraft can also help in the study of hard to reach locations. Therefore, the main subject of this paper is the localization and classification of objects in images obtained using digital cameras mounte d on aircraft. The main focus is on determining the accuracy of object localization and detection using selected types of neural networks, which are the most important indicators of neural network efficiency. The speed of a neural network is also an equall y important characteristic as it directly affects its ability to be used in tasks that require fast object localization, such as video surveillance or automated car control systems. The main goal of this study is to study the accuracy of object localizatio n and classification in images obtained with the help of cameras mounted on aircraft, as well as to study the speed of neural networks and determine the effectiveness of their application in real world conditions. The objectives of this study are to train YOLO v5 , SSD, and Faster RCNNs on the VisDrone dataset and to further study them on the vehicle localization dataset. The main goal of this work is to obtain statistics on the performance of neural networks trained on the VisDrone dataset. On the basis of the obtained statistics, conclusions are drawn about the effectiveness of the considered neural networks. The conclusions are drawn by considering the speed of the model, localization ( IoU), and classification ( Precision , Recall) metrics. Possible directio ns for further development of the topic under study are presented as conclusions .

Використання безпілотних та пілотованих літальних апаратів для задач дистанційної локалізації та класифікації об’єктів є дуже поширеним в наш час. Зазначені методи використовуються в різних за сферою застосування системах, від досліджень територій до забезпечення правопорядку. Методи локалізації та класифікації об’єктів за допомогою нейронних мереж потребують детального вивчення та дослідження якості їх роботи на даних, які мають визначену специфікацію, наприклад детектування транспорту. Використання нейронних мереж для детектування окремих типів об’єктів за допомогою зображень, що отримані з літальних апаратів може допомо гти також в проблемах дослідження важкодоступних локацій. Саме тому основною темою даної роботи є локалізація та класифікація об’єктів на зображеннях, що отримані за допомогою камер, які встановлені на літальних апаратах. Основну увагу привернуто до визнач ення точності локалізації та детектування об’єктів за допомогою обраних нейронних мереж, що є найважливішим показником в ефективності нейронної мережі. Також не менш важливою оцінкою є швидкість роботи нейронної мережі, адже це напряму впливає на можливіст ь її використання в задачах, де потрібна швидка локалізація об’єкту, наприклад відеоспостереження чи системи автоматичного керування автомобілем. Основною метою роботи є дослідження точності локалізації та класифікації об’єктів на зображеннях, отриманих за допомогою камер що встановлені на літальних апаратах, а також дослідження швидкості роботи нейронних мереж та визначення ефективності їх застосування в реальних умовах. Задачами роботи є навчання YOLO v 5, SSD та Faster RCNN на наборі даних VisDrone та їх подальше дослідження на наборі даних для локалізації техніки. Основний результат роботи отримання статистики роботи нейронних мереж, що навчені на наборі даних VisDrone . На основі отриманої статистики надані висновки щодо ефективності застосування отриманих нейронних мереж. Висновки зроблені з врахуванням швидкості роботи моделі, метрик по локалізації ( IoU ) та класифікації Precision , Recall ). Також в якості висновків надано можливі напрямки подальшого розвитку досліджуваної теми.