Система машинного зрения, способная находить и идентифицировать цветы яблоневого короля внутри соцветий на деревьях в садах, была разработана исследователями штата Пенсильвания — важный ранний шаг в разработке роботизированной системы опыления — в первом в своем роде исследовании. .
Цветки яблони растут группами по четыре-шесть цветков, прикрепленных к ветвям, а центральный цветок известен как королевский цветок. Этот цветок раскрывается первым в грозди и обычно дает самые крупные плоды. Таким образом, по словам исследователя Лонг Хэ, доцента кафедры сельского хозяйства и биологическая инженерия.
Опыление насекомыми традиционно считалось залогом урожайности яблонь. Однако данные свидетельствуют о том, что услуги по опылению, как домашними медоносными пчелами, так и дикими опылителями, не отвечают растущим потребностям, отметил он. Из-за расстройство коллапса колонии, медоносные пчелы во всем мире умирают угрожающими темпами. В результате производителям необходимы альтернативные методы опыления.
Это исследование является последним, проведенным исследовательской группой Хэ в Колледже сельскохозяйственных наук, которая занимается разработкой роботизированных систем для выполнения трудоемких сельскохозяйственных задач, таких как сбор грибов, обрезка яблонь и прореживание зеленых фруктов. Основная цель этого проекта, объяснил он, заключалась в разработке системы машинного зрения, основанной на глубоком обучении, которая могла бы точно идентифицировать и определять местонахождение королевских цветов в кронах деревьев.
«Мы думаем, что этот результат предоставит базовую информацию для роботизированной системы опыления, которая приведет к эффективному и воспроизводимому опылению яблок, чтобы максимизировать урожай высококачественных фруктов», — сказал он. «В Пенсильвании мы все еще можем полагаться на пчел для опыления яблонь, но в других регионах, где гибель пчел была более серьезной, производителям может понадобиться эта технология раньше, чем позже».
Синьян Му, докторант кафедры сельскохозяйственной биологической инженерии, возглавил исследование королевского цветка. Му использовал Mask R-CNN — популярную компьютерную программу глубокого обучения, которая выполняет сегментацию на уровне пикселей для обнаружения объектов, частично скрытых другими объектами, — чтобы идентифицировать и определить местонахождение королевских цветов в системе машинного зрения.
Чтобы построить модель обнаружения на основе Mask R-CNN, он сделал сотни фотографий скоплений цветков яблони. Затем он разработал алгоритм сегментации королевских цветов, чтобы идентифицировать и найти королевские цветы из этого необработанного набора данных изображений цветов яблони. Исследование проводилось в Центре исследований и распространения фруктов Пенсильванского университета в Биглервилле.
Гала и Ханикрисп яблоко Для испытаний были отобраны сорта. Тестовые деревья были посажены в 2014 году с расстоянием между деревьями около 5 футов (Gala) и 6 1/2 футов (Honeycrisp). Эти деревья имели высокую архитектуру с веретенообразными кронами, средняя высота которых составляла около 13 футов. Система получения изображений с камерой была установлена на грузовом автомобиле, маневрирующем между рядами деревьев.
Обучение системы машинного зрения обнаружению королевских цветов было сложной задачей, отметил Му, потому что они того же размера, цвета и формы, что и боковые цветы в гроздьях, а королевские цветы обычно затенены окружающими цветами из-за их центрального положения.
Чтобы выполнить требования трансферного обучения для обучения модели Mask R-CNN, необработанные изображения были помечены двумя заранее определенными классами: отдельные цветы и закрытые цветы. По словам Му, для повышения точности набор обучающих данных был увеличен в четыре раза с использованием подходов к дополнению данных.
«Чтобы отличить королевские цветы от боковых, самый центральный цветок в каждой цветочной грозди был выбран или локализован», — сказал он. «Система машинного зрения автоматически определила расположение цветочных гроздей отдельно на основе двумерного картографирования плотности цветов. В каждой обнаруженной цветочной грозди цветок (или маска) в наиболее центральном положении определялся как целевой королевский цветок».
В выводах, недавно опубликованных в Умные сельскохозяйственные технологииИсследователи сообщили о высоком уровне точности обнаружения королевских цветов, обеспечиваемом алгоритмом Му. По сравнению с измерениями, выполненными вручную исследователями, определяющими королевские цветы на глаз (которые исследователи называют наземными измерениями), точность обнаружения королевских цветов с помощью машинного зрения варьировалась от 98.7% до 65.6%.