Impact of distortions in UAV images on quality and accuracy of object localization

Abstract

The localization and classification of objects of different types in images is an important and actively researched topic because the designed methods and tools are exploited in a wide variety of fields, including remote sensing, security systems, and medi cal diagnostics. Imaging systems installed on board unmanned aerial vehicles (UAVs) and drones have become popular recently, and they are potentially beneficial for numerous applications like mine detection, traffic control, and crowd control. Images acqui red by such systems may suffer from low quality because of the use of rather cheap cameras and the necessity to transfer obtained data via communication lines with limited bandwidth, employing lossy compression. These factors can influence the quality and accuracy of object localization, which is typically negatively performed by trained neural networks. However, the intensity of the noise and distortions that can be considered acceptable, i.e. such that they do not lead to radical reduction of the performa nce characteristics are unclear. Given this, it is reasonable to investigate the impact of these effects on the quality of object localization and classification using a reliable data size and various noise/distortion intensities. Therefore, the research s ubject of this paper is the performance of object localization and classification methods for color images acquired by UAV installed sensors. The primary focus is on the dependence of localization and classification metrics on the noise intensity, where th e simulated noise mimics not only noise but also distortions due to lossy compression by modern coders. The aim of this work is to obtain adequate statistics and analyze them to build dependencies of the metrics on the intensity of distortions. The objecti ve is to obtain conditions for which the effects of noise and distortions can be considered negligible or acceptable in practice. The second objective is to analyze the sensitivity of several modern neural network models to noise/distortions. The result is a statistical assessment of the dependence of model performance on input data quality. The conclusions are based on the statistics characterizing the model performance for the noise/distortion intensity interval. The conclusions allow the selection of th e best (most robust) neural networks and the establishment of appropriate performance conditions

Локалізація та класифікація об'єктів різних типів на зображеннях є важливою темою, що активно досліджується, оскільки ці методи та засоби використовуються в найрізноманітніших сферах, включаючи дистанційне зондування, системи безпеки, медичну діагностику т ощо. Останнім часом стали популярними системи обробки зображень, встановлені на борту безпілотних літальних апаратів (БПЛА) і дронів, які потенційно можуть бути корисними для багатьох сфер, таких як виявлення мін, контроль за дорожнім рухом і натовпом. Зоб раження, отримані такими системами, можуть мати досить низьку якість через використання відносно дешевих камер і необхідність передавати отримані дані через лінії зв'язку з обмеженою пропускною здатністю із застосуванням стиснення з втратами. Ці фактори мо жуть негативно впливати на якість і точність локалізації об'єктів, яку зазвичай виконують навчені нейронні мережі. Однак, незрозуміло, яку інтенсивність шуму та спотворень можна вважати прийнятною, тобто такою, що не призводить до радикального зниження роб очих характеристик нейронної мережі. З огляду на це, доцільно дослідити вплив цих ефектів на якість локалізації та класифікації об'єктів, використовуючи достовірні обсяги даних та широкий діапазон інтенсивності шуму/спотворень. Тому основною темою цієї статті є дослідження ефективності методів локалізації та класифікації об'єктів на кольорових зображеннях, отриманих за допомогою сенсорів, встановлених на БПЛА. Основна увага приділяється залежності метрик локалізації та класифікації від інтенсивност і шуму, де генеровані завади імітують не тільки шум, але й спотворення, спричинені стисненням з втратами сучасними кодерами . Метою роботи є отримання адекватних статистик та їх аналіз, побудова залежностей метрик від інтенсивності накладених спотворень. За вдання полягає в тому, щоб отримати умови, для яких вплив шуму та спотворень можна вважати незначним або прийнятним для практики. Інша мета проаналізувати чутливість декількох сучасних нейромереж до шуму/спотворень. Результатом є ста тистична оцінка зале жності ефе ктивності моделі від якості вхідних даних. Висновки ґрунтуються на статистичних даних, що характеризують роботу моделі на інтервалі інтенсивності шуму/спотворень. Висновки дозволяють вибрати найкращі (найбільш стійкі) нейронні мережі та встановити умови їхньої належної роботи.