Задача
За птицами невозможно следить вручную. Интересное случается три раза в день по тридцать секунд, а остальные двадцать три часа в кадре пустая кормушка. Записывать всё подряд бессмысленно: пользователь не станет отматывать сутки видео ради нескольких секунд, ради которых он камеру и покупал.
Значит, система должна отдавать только эти тридцать секунд и подпись, кто это был. Путь от потока с уличной камеры до готового подписанного ролика (детекция, нарезка, классификация) должен проходить без участия человека и без настройки со стороны бёрдвотчера.
Решение
Обработка потока в облаке. Камера ничего не отбирает и отдаёт непрерывный поток. Решения принимаются на стороне облака: там находится движение в кадре, вырезается эпизод с запасом до и после события, ролик классифицируется и попадает в ленту пользователя уже подписанным.
Распознавание по видео. Условия задаёт улица. Освещение меняется от рассвета к сумеркам и обратно, объект мелкий и быстрый, кадр часто перекрыт веткой или конструкцией самой кормушки. Модель работает с последовательностью кадров, где птица видна фрагментами и под разными углами, а не с одним удачным снимком.
Два уровня классификации. К кормушке не реже птиц приходят белки, мыши и прочая живность. Поэтому распознавание разделено на две задачи. Сначала система решает, что в кадре живое существо и к какому классу оно относится: птица, грызун, другое животное. И только потом, для птицы, определяется вид. Такое разделение не даёт подписать белку названием птицы и позволяет обучать каждый уровень отдельно.
Приложение как основной интерфейс камеры. Живая трансляция доступна в любой момент и из любой точки. Рядом — лента событий из автоматически нарезанных роликов, уже размеченных видом. Коллекция наблюдений собирает список тех, кого пользователь видел у себя, с переходом к записям по конкретному виду. Из этого складывается личный определитель, который растёт сам. Записи хранятся в облачном архиве, привязанном к аккаунту, а понравившийся ролик уходит в мессенджер или соцсеть одним действием.
Отпугивание птиц на ЛЭП. Из потребительской камеры выросло промышленное применение. Птицы, садящиеся на провода и опоры, подвергают риску себя и становятся причиной коротких замыканий и отключений. Механические отпугиватели работают ограниченно: птицы к ним привыкают и перестают реагировать.
Здесь используется та же связка камеры и распознавания, но логика перевёрнута. Система следит за зоной вокруг проводов, определяет появление птицы и автоматически включает звуковой сигнал. Реакция адресная: звук срабатывает только при обнаружении птицы. Поэтому он не работает вхолостую круглые сутки и не становится постоянным фоном, к которому птицы адаптируются так же, как к механике.
Результат
Владелец камеры больше не смотрит запись целиком. В приложении лента коротких роликов: кто прилетал к кормушке, у каждого ролика подпись вида. Двадцать три часа пустой кормушки остаются в облаке и не требуют внимания.
Энергетики получают из той же технологии инструмент защиты линий: обнаружение птицы у проводов и адресный звуковой отклик вместо пассивной механики, к которой птицы привыкают. Одна модель распознавания закрыла и потребительский сценарий, и промышленный.
