Молочная ферма КРС: обнаружение событий 24/7

TL;DR. 3 этапа: конвейер датасетов, техподдержка, автоматическое обнаружение ключевых поведенческих событий. 4 камеры, bird's-eye-view, ночной ИК-режим. Целевая точность 83-100% с предупреждением за 1-9 часов. Edge-деплой на NVIDIA Jetson Orin NX — работа без облака.

Если нужен разбор механики — читайте гайд про компьютерное зрение.

Ситуация

Ключевые поведенческие события у коров требовали круглосуточного дежурства персонала. Ночные смены, усталость, человеческий фактор — пропуски неизбежны. Пропущенное событие = потери. Нужна система, которая замечает признаки до наступления события и предупреждает зоотехника заранее.

Задача

1. Построить конвейер подготовки датасетов — масштабируемый процесс для дообучения моделей.
2. Автоматически обнаруживать ключевые поведенческие события через компьютерное зрение и давать раннее предупреждение зоотехнику.

Что сделали

Этап 1. Конвейер датасета. Видео → кадры → аннотация → обучающий датасет. Фильтрация качества через CLIP (отбраковка размытых и нерелевантных кадров). Управление аннотацией через Roboflow. Воспроизводимый процесс — добавление нового сценария не требует переделки пайплайна.

Этап 2. Техподдержка. Ежемесячное сопровождение работающей системы: мониторинг, дообучение под новые сценарии, корректировки.

Этап 3. Автоматическое обнаружение ключевых событий. YOLOv11 для детекции объектов + RTMPose для анализа позы (17 ключевых точек) + BiLSTM с Attention для временных паттернов поведения — частота лежания/вставания, подъём хвоста, изменения вымени. 4-камерная система с проекцией bird's-eye-view, отдельная ветка под ИК-режим для ночи.

Результат

• Автоматическое обнаружение ключевых событий даёт раннее предупреждение зоотехнику.
• Целевая точность модели — 83-100% за 1-9 часов до события.
• Edge-деплой на NVIDIA Jetson Orin NX: система работает на ферме без облака, без зависимости от связи.
• 3 этапа сданы в 2026-05.

Ключевые технические решения

1. Гибридный подход к поведению. Одна модель не справляется с задачей обнаружения ключевых поведенческих событий в реальном времени. YOLO даёт детекцию объектов в кадре, RTMPose — позу, BiLSTM — временной паттерн поведения. Решение принимается по комбинации, а не по одному сигналу.
2. Ночное зрение отдельной веткой. Модели, обученные на дневном датасете, деградируют в ИК. Сделали отдельное дообучение на ИК-кадрах — иначе ночью, когда большинство ключевых событий происходит, точность падает.
3. Edge-деплой. Перенос на NVIDIA Jetson Orin NX — система работает на ферме без облака. Связь на удалённых объектах ненадёжная; модель и инференс едут к данным, а не наоборот.

Частые вопросы

Почему точность указана диапазоном 83-100%, а не одним числом?

Точность зависит от типа события: одни поведенческие паттерны выражены сильнее и распознаются увереннее, другие — тоньше и ближе к границе сигнала. Диапазон честно показывает разброс между типами событий вместо усреднённого числа, которое не говорит ничего о конкретном случае.

Что если камера не видит животное — угол, освещение, скученность?

4-камерная система с проекцией bird's-eye-view снижает потерю кадра из-за одной точки обзора. Ночной ИК-режим — отдельно дообученная ветка модели, а не те же веса, применённые к другому освещению.

Можно ли добавить новое поведенческое событие без пересборки системы?

Да. Конвейер датасета и архитектура (YOLOv11 + RTMPose + BiLSTM) переиспользуются — новое событие требует разметки нового датасета и дообучения, а не новой системы с нуля.

Что было бы дальше

Логичное продолжение — расширение поведенческой аналитики на другие события: эструс, болезни (мастит, хромота), кормление. Та же 4-камерная инфраструктура и тот же конвейер датасета.

Если у вас животноводство, теплицы, склад или производство с задачей «нужно автоматически отслеживать что-то по видео» — обсудим за 30 минут.