CV-модель детекции самолетов и вертолетов в ИК

Этот репозиторий содержит модель компьютерного зрения, обученная с нуля (архитектура Yolo11m) на детекции летательных аппаратов в ИК, модель разработанна на Python версии 3.9.6.

Так же в репозитории находится рабочий прототип модели, детектирующая дронов в цветном диапазоне и самописаное приложение для разметки фото/видео.

В этом README описаны шаги по установке, запуску и работе с проектом.

Решение

Для решения были выбраны сверточные нейросети, конкретно выбрана модель yolo11m, обученная на детекцию 3 классов(plane, helicopter, bird). Детекция птиц была добавлена для того, чтобы модель лучше понимала, что не все, что движется в небе, это самолет или вертолет.

Для решения задачи не подходят классические методы CV, так как слишком разнообразный домен кадров.

Датасет был расширен данными с самолетами/вертолетами вблизи и размечанными кадрами с птицами. Предобработка данных не проводилась, по причине ИК, объекты очень хорошо видно.

Метрики

IoU (mean) - 0.87

IoU (median) - 0.90

F1 macro (классы объектов) - 0.998

Требования

Перед началом работы убедитесь, что на вашем компьютере установлены следующие инструменты:

• Python версии 3.9.6

• Необходимые зависимости

pip install -r requirements.txt

Запуск модели

Пример работы

cd detect_model
python test.py

Результат сохранится в runs/detect/predict

Для модели классификации дронов аналогично

Скорость на Macbook M3 Pro 10кадров/сек.

Структура проекта

• detect_model/ — Файлы связанные с моделью детекции.
• detect_drone/ — Файлы связанные с моделью детекции дронов.
• marking/ — Приложение для разметки.

Инструкция по работе с моделью в Jupiter Hub на стенде кейсодержателя

1. Загружаем видео, которое хотим обработать в корневую папку (в ту же, где находится main.ipynb)
2. Перейдите в тетрадку main.ipynb, выполните все ячейки (во второй ячейке потребуется указать имя файла)
3. После обработки ваше видео сохранится в runs/detect/predict, откуда вы сможете его скачать