Автор: KsandrFreeman. Моё детство прошло в деревне. С юных лет я познавал таинства выращивания картохи и сооружения чучел из консервных банок. Для меня оказалось открытием, что автоматические комбайны, убиравшие поля кукурузы в Интерстелларе, бороздят вполне реальные поля. А системы автоматического отслеживания здоровья растений с push-уведомлениями для фермеров и другие элементы кибер-деревни становятся обыденностью.

Причём это не единичные прототипы на выставках, а массовое применение по всему миру, включая Россию и СНГ. Да здравствуют IT, искусственный интеллект и анализ больших данных во все поля! Ну и робототехника, конечно!

Петабайты снимков со спутников и беспилотников, системы датчиков, компьютерное зрение и роботизированные системы дарят множество возможностей: таких как анализ и прогноз состояния почвы, уход за растениями и даже сбор урожая. Многие операции уже полностью автоматизированы и исключают ручной труд. Машины вытесняют людей не только с заводов, но и с полей и теплиц.

Как это происходит на практике? Давайте посмотрим!

Disclaimer: цель этой статьи – поделиться wow-эффектом от происходящего. В этой статье вы не найдёте подробного анализа технологий, но можете подсмотреть пару идей, датасетов и узнать, что и такое бывает.

ИИ в аграрном секторе

Сельское хозяйство ассоциируется у меня с запахом навоза, сбором колорадского жука в банки с бескрайних соток картофеля, разбитой после дождя и проезда трактора сельской дорогой и прополкой грядок под палящим солнцем. Довольно нерадостная и совершенно не IT-шная картина.

При этом сельское хозяйство – огромная индустрия, в которой крутится много денег. Деньги привлекают новые идеи и технологии. Всегда находиться что-то, что можно докрутить и улучшить, чтобы зарабатывать ещё больше. Технологии эволюционировали, подешевели и продвинулись до такого уровня, что стало возможно получать данные о каждом сельскохозяйственном объекте и его окружении, математически рассчитывать алгоритм действий и предсказывать результат.

Если, к примеру, медицина, с её бесконечной регуляторной базой и сертифицированием имеет огромные сроки внедрения, то в сельском хозяйстве есть возможность быстро проверять гипотезы, устраивать полевые испытания и быстро внедрять технологии.

Всё ещё сложно совместить навоз и современные ИИ-технологии?

Давайте представим: по засеянному полю едет комбайн. Водителя в нём нет, однако комбайн аккуратно разделяет посевы пшеницы и кукурузы, собирая последнюю. Обогнув небольшую рощицу посередине поля и собрав созревающие посевы, комбайн отправляется в ангар, ведь через 10 минут в этой области предсказан дождь.

Завтра, как поле подсохнет, этот комбайн снова отправится на работу, но уже по новому маршруту – опрыскивать участки поля по зональным рекомендациям: на снимках с БПЛА обнаружены признаки появления гриба Acremonium strictum W. Gams, прорастание которого может привести к поражению кукурузы цефалоспориозом.

Рутинный день фермерского хозяйства подходит к концу.

Слегка похоже на “Интерстеллар”, не так ли? Однако происходящее – это не фантастический фильм, а реальность.

Российские компании Avrora Robotics и Cognitive Technologies, промышленно выпускают как полностью автоматизированные комбайны, так и внешние блоки автопилота для стандартных сельхозмашин, которые покупают фермеры со всего мира.

Использование таких машин в фермерском хозяйстве и автоматизация процессов в целом, приносят огромный эффект! И речь сейчас не столько в замене ручного труда на машинный, сколько в уменьшении потерь урожая.

Продовольственная безопасность

Пустые полки в магазине / ©Getty images

Помните ли вы то всеобщее беспокойство о еде в первые дни пандемии: пустые полки, дефицит продуктов и очереди в магазинах? Затем появились тревожные новости о фермерах, которые закапывают урожай обратно, сливают молоко в канализацию и закрывают мясоперерабатывающие производства.

В то же время люди начали массово терять работу, а цены на базовые товары стали расти. Возникли опасения, что это приведёт к голоду и сопутствующим проблемам. Страх голода стал реальностью во всём мире.

Эти сбои произошли из-за особенностей нашей продовольственной системы. Когда оптовые покупатели, такие как школы и предприятия общественного питания, почти остановили закупки, для производителей было дешевле уничтожить урожай, чем собирать и перерабатывать его. Молочные заводы, предназначенные для продажи в больших объемах, не были оборудованы для того, чтобы перевести свои упаковочные машины на контейнеры розничного размера. Мясокомбинаты требовали присутствия рабочих вдоль технологических линий, а многие работники заболели, и заводы вынуждены были закрыться.

Казалось бы, хорошо бы сделать выводы, но сейчас ситуация повторяется, причём более масштабно. Если в пандемию голод был больше пугалом, то сейчас – реальная опасность. В Йемене голод в разгаре, нарушенные цепочки поставок удобрений грозят посевным, цепочки доставки продовольствия к потребителям тоже нарушены, цены на топливо растут, что ведёт и к дефициту и росту цен.

В то же время наше современное сельское хозяйство технологически сильно отличается от того, что было в конце 19-го века, примерно также, как космический корабль от гужевой повозки. Сегодня, в целом, есть всё необходимое, чтобы накормить всё население планеты. Сделать так, чтобы понятия “голод” и “продовольственный кризис” остались в прошлом. И как раз для этого и применяются ИИ-технологии в аграрном хозяйстве.

Давайте разбираться, как именно!

Это работа для ИИ

J.A.R.V.I.S. Кадр из к/ф Iron Men

Сегодняшний рассказ больше об ИИ (а точнее, о том, что этим термином называют) и информационно-телекоммуникационных технологиях (аж зубы сводит от этой фразы), поэтому я остановлю своё внимание на наиболее интересных, на мой взгляд, задачах. Это:

• оптимизация урожайности (как сделать поменьше и получить побольше),
• предсказание погоды, засух и наводнений (на случай дождичка в четверг),
• оценка динамики почвенных процессов (ей нужно не давать деградировать),
• раннее выявление и прогнозирование болезней растений и животных (не дать заразе распространиться),
• повышение продуктивности животноводства (коррекция рациона, предсказание периодов спаривания и т.д.),
• поиск сорняков (для точечного уничтожения и снижения количества пестицидов),
• навигация (для управления сельхозтехникой и беспилотниками)

Можно выделить две особенности применения ИИ в сельском хозяйстве:

• зачастую ИИ используется совместно с робототехникой (т.е. робот обеспечивает передвижение, манипуляцию предметами и орудиями труда, а модели, в свою очередь, осуществляют ориентацию в пространстве, выбирают оптимальные орудия труда при выполнении определённой работы, распознают препятствия и объекты);
• использование непосредственно при производстве продуктов питания или выборе оптимальной стратегии управления хозяйством (с одной стороны, это накладывает требования робастности, с другой — работу в условиях изменяющихся природно-климатических условий; формально, это означает изменения параметров генератора входных данных и, соответственно, т.н. data shift).

Это вам не DALL-E, которая генерирует смешных котиков (бот по ссылке). Здесь идёт работа с живыми организмами и странные результаты работы моделей ML и DL могут привести к заметному ущербу.

Результат генерации ruDaLL-E Kandinsky по запросу «Кот пьёт пиво»

Рассмотрим, например, селекцию. Конечно, она заслуживает отдельного цикла статей, однако я расскажу пример, который мне особо запомнился: задача по выводу сферического коня в вакууме оптимальной коровы. Без шуток, это живая задача, которая была актуальна ещё в 50-х. Корова должна быть компактной, не очень много есть, быть не слишком жирной, но при этом совсем без жира она будет невкусной — нужно искать баланс. Также крайне важно, поддерживать возможность длительного репродуктивного цикла.

В общем, непростая задача, не так ли?

Поля

Тоже самое касается и выращивания растительной пищи. Есть много классных стартапов в аграрном секторе с крутыми идеями и технологиями. Я расскажу о тех, которые охватывают глобальное и локальное выращивание пищи.

Пшеница — ресурс, возможно, даже круче, чем нефть. Её можно есть, в отличие от последней, а в остальном всё также: котировки на биржах, трейдинг, стратегические запасы и зависимость стран от цен на неё. А ещё она может не уродиться или её качество резко изменится.

Когда мы покупаем в магазине макарошки, дороже стоят те, что сделаны из твёрдых сортов пшеницы. Твёрдость определяется количеством белка. Чем его больше — тем лучше. При этом если высадить правильный сорт, но условия его выращивания будут неподходящие, белка будет меньше. Или урожайность будет невысока. Или вдруг нагрянут заморозки и пшеница погибнет.

Как фермеру с этим жить? Вообще, с чего начать? Конечно, есть вариант сходить к шаману и спросить его совета. Не отметая этот вариант, всё же обратимся к данным.

Необходимо понять, сколько семян, удобрений и прочего нужно закупить для посевов. Расход рассчитывается из площади участка. Есть кадастровые карты, но реальные границы могут отличаться от нарисованных, плюс где-то на участке вырос лес, где-то образовалось болото. Если закупка была произведена на 100 гектар, а у фермера их 110, земля будет простаивать.

Один из вариантов — съёмки поля дронами с привязкой к координатам.

Площадь мы посчитали. Что ещё можно сделать, если есть фотографии поля? Можно натренировать модель, которая будет сообщать, что вот в этой части поля растёт похуже и можно подкормить растения удобрениями. Можно делать карту сорняков, которая загружается в бортовой компьютер трактора и тот сам точечно опрыскивает химией, убивая не всё, а только лишнее. Можно оценивать, насколько хорошо посевы перенесли зиму. Если плохо — то успеть засеять участок поля заново.

К сожалению, использование дронов тяжело масштабируется. Необходимо ездить по полям, тратить время на съёмки. Даже с дронопортом. Можно как-то поудобнее?

Альтернативный вариант — обратиться к спутниковым снимкам. И, внезапно, есть данные в открытом доступе:

• Американские спутники LandSat. Съёмка раз в неделю с разрешением 30 метров на пиксель. Первый спутник был запущен в 1972 году. Сейчас уже летает 7-й спутник в серии. Можно посмотреть любое поле и посмотреть его состояние с историей на десятки лет назад.

Данные с сайта LandSat. Кого хочешь – выбирай.

• Семейство спутников Европейского космического агентства Sentinel. Съёмка раз в 2 дня с разрешением 10 метров на пиксель. Первые спутники были запущены в 2015 году.

Sentinel. Можно выбрать даже конкретный спутник.

И ещё с пяток.

Отлично! Есть данные, причём за десятки лет. Однако, есть несколько деталей:

• выкачиваются не RGB-фотографии, а изображения, полученный с помощью 12 световых фильтров (порядка 12 каналов)
• спутников несколько, траектории отличаются, пересекаются. Возникает задача совместить данные и географические координаты. Учитывая размеры (примерно 300 Мб на тайл), нужно написать пайплайн выкачивания и обработки только тех данных, которые действительно используются
• а ещё мы замечаем, что изрядное количество данных — это съёмки облаков. Однако если добавить данные со спутникового радиолокатора, то можно научить модели смотреть сквозь них!

Собственно, примерно так и работают стартапы вроде OneSoil. Можно открыть карту, выбрать поле и засадить его, например, кукурузой. Аналогичным путём пошёл Роскосмос, запустив геоаналитическую платформу Pixel.AI.

Разработчики написали алгоритмы разметки и сейчас поле можно выбрать, а не чертить его самому, и оценить продуктивность на отдельных участках. Если внести данные о культурах за прошлые года, то прогноз будет уточнён. Сайт даст информацию о необходимом количестве семян, которую тут же можно загрузить в бортовой компьютер комбайна и послать его сажать урожай.

Что может произойти с полем?

Сайт agrostory.com

Растения могут болеть (на нашем или соседнем полях). Могут случиться град, подмерзания, подтопления, засуха.

За своим огородом можно уследить визуально, для европейских фермеров в силу небольших размеров и количества полей — эти технологии не очень актуальны. А вот в условной России или Аргентине регулярно объезжать поля не выйдет.

Итак, приложение указало на участок поля, где плохая урожайность, и приложило отчёт.

Что делать фермеру? Он едет на поле, смотрит, фотографирует. И отправляет фотографии консультантам по сельскому хозяйству. Сейчас фермеру не требуется знать всё самому — по всему миру существуют агентства, предоставляющие консультационные услуги. Что-то вроде ветеринаров, только для растений. И вместе с консультантом фермер лечит поле: вносит удобрения, что-то пересеивает…

Зоны урожайности

Альтернативным способом оценки состояния поля является загрузка данных непосредственно с уборочного комбайна. При сборе урожая идёт трекинг каждую секунду с привязкой по GPS о том, сколько килограмм собрано. Комбинируя данные об урожайности с архивными спутниковыми снимками, мы получаем, что на одном участке поля всегда всё хорошо растёт, а на другом — плохо. Можно снизить норму (всё равно ничего не вырастет) или увеличить (и вырастить больше). Этот процесс позволяет уточнить зоны урожайности. Зная их, можно собирать с гектара больше. Всё бы хорошо, но в разных регионах разные почвы, климат, посевные культуры. Нужно больше данных! Добавляем анализ рельефа местности. С его помощью можно оценить, например, зоны подтопления, вымывания грунта. Фактически можно искать скопления гумуса (перегноя). На таких скоплениях крайне эффективно сажать.

Погода

Даже машина не может выполнять определённые действия в непогоду. Хотя мы и отказались от «кожаных мешков» – опрыскивать, например, при ветре нельзя. Дождь, ветер, температура – их комбинации сообщают, когда можно делать разные технические операции.

Предсказывая погоду, можно делать таймлайн для техники на день или несколько, находя подходящие окошки.

С помощью, например, Агросигнала или OneSoil можно подготовить карты внесения удобрений и пестицидов. Как только карта загружена в бортовой компьютер, комбайн начинает работать сам. Современные трактора уже оснащены автопилотом, классические белорусские оснащаются «подрулькой». Руль заменяется, на крышу ставится высокоточный RTK-GPS. Собственно всё, теперь трактор может ездить по маршруту сам.

Теплички

Кадр из к/ф Джентельмены

Указанное решение не работает, если растения выращиваются под крышей. В принципе, можно предположить, что не все культуры могут быть выращены в любой точке земного шара в грунте под открытым небом. А вот в теплице могут.

Рассмотрим на примерах стартапов Fermata и iFarm, которые занимаются мониторингом растений в теплицах. С помощью камер и датчиков модельки ИИ оценивают, как растения себя чувствуют и помогают фермерам принимать решения.

Но датчики в теплицах ставились и раньше. В данном случае главной фишкой является визуальный анализ данных. То есть поиск больных растений, насекомых, инфекций, слежение за ростом культур. Статистика такова, что в процессе посадки, выращивания, ухода за посевами теряется до 40% урожая. Урожай теряется от того, что растения заболели и пришлось их всех уничтожить. Еще 40% теряется при сборе урожая, хранении и транспортировке. Болезни нужно купировать в зачаточном состоянии — но за состоянием растений сейчас следят люди. А как выглядит теплица сейчас?

Вертикальная ферма “РусЭко". Сайт integral-russia.ru

Примерно так выглядит стандартная вертикальная теплица высотой порядка 5 метров. Высота обусловлена требованиями на возможность работать людям. Однако при автоматическом сборе можно уходить вверх и на 10, и на 12 метров. Теплицы растут вверх — так площадь эффективнее используется. Это могут быть стеллажи один над другим, или просто вытягивание растений от пола до потолка. А человек на верхние участки всё же реже обращает внимание. Глазами за всем этим не уследить.

Если теплица автоматизирована, то в ней может быть реализован замкнутый воздушный цикла без притока атмосферного воздуха, что препятствует проникновению инфекции и вредителей и избавляет от необходимости применения пестицидов. А ещё расходуется меньше воды, потому что нет проветривания, и влага никуда не уходит. Может, даже всё построено на аэропонике!

Конечно, растения перекрывают друг друга, но для мониторинга достаточно быстро находить проблемы в кластерах посадок, а затем уже с помощью зума и перемещений роботов смотреть, что происходит с отдельными растениями и посылать сообщения агрономам.

Но подождите. Я могу купить помидорки на рынке, какие пятиметровые теплицы с Сomputer Vision? И вы правы. Это вопрос маржинальности. Обычно вкладываются в то, с чего большая доходность, причём здесь и сейчас. Это будут не помидорки, а, скажем, зелень ресторанного типа. Салатик должен быть всегда в идеальной форме.

Или, например, стоимость клубники катастрофически зависит не только от её вкуса и аромата, но и от размера ягоды, цвета семечек — если они бесцветные, ягода падает в цене. А если они жёлтые, то это будет дорогая ягода.

Данные

Реальные данные по помидоркам. Сайт sadimogorod.com

Особую ценность представляют данные, которые собираются с миру по нитке. Так, множество кэгловских соревнований предоставляют данные, например:

• Plant Pathology 2021
• Plant Pathology 2020
• New Plant Diseases Dataset
• PlantVillage Dataset

А также справочники болезней, фотографии, сделанные самостоятельно в теплицах и выкаченные из интернета. Однако все эти корпуса данных необходимо валидировать у профессиональных агрономов. И потом заново валидировать, собирать консилиумы – потому что взгляд был субъективный.

А что с датчиками?

Измеряется влажность, температура, CO₂, освещённость, спектр света, давление, поток воздуха (чтобы убедиться, что с вентиляцией всё в порядке).

Растения могут болеть, потому что есть какая-то внешняя инфекция: грибок, вирус, которые занесли люди или насекомое. Или насекомое может есть само растение. Или дело может быть в том, что плохо ухаживают – холодно или слишком тепло, недостаточно питательных веществ.

А теперь информации для тех, кто всё ждал, когда же тут будет про ИИ, машинное обучение и нейросети! Да, собственно, всё прогнозирование и строится на ИИ.

Искусственные нейросеточки

Если есть климатические и визуальные данные, можно тренировать модель прогнозировать урожай. Чем больше датчиков, тем точнее модель работает.

Пайплайн Fermata выглядит так: имеются последовательные нейронные сети:

• предобрабатывающие картинки и эмбеденги,
• обрабатывающие эмбединги и показания датчиков, делающие предсказания.

Детали, конечно, не уточняются, но тут можно было бы предположить архитектуру с несколькими головами нейросети, которые производят классификацию болезней и регрессию урожайности.

Картинка моя

Результаты анализов, найденные аномалии – регулярные сводки приходят фермеру в дашборд. Это и web-страница, и push-уведомления и приложение на телефоне – как пользователь сам настроит.

Оно вообще нужно?

Есть показатели климата, которые и так измеряются датчиками в теплицах. Без всякого ИИ. И есть параметры роста растений, которые в текущих реалиях измеряются людьми вручную. В том числе количество листьев, их размер, вес плода.

Выведены схемы нормального роста растений, а у фермера есть план выращивания определённого количества килограмм к нужной дате.

Весь временной промежуток роста необходимо быть уверенным, что план соблюдается. Если развитие растений не соответствует схеме, применяются схемы лечения от тех самых консультантов, про которых я рассказывал выше.

В этот момент и выстреливают технологи визуального анализа.

Человек не может на каждой веточке посчитать количество листьев. С помощью Computer Vision можно более точно рассказать, что происходят в разных зонах теплицы и какие решения следует применять.

Может ли CV заменить лабораторию?

Сайт agromage.com

Дело в том, что фермер может производить не сами помидорки, которые на виду, а некоторый конечный продукт. Например, некоторое вещество для производства косметического крема. И фермеру необходимо максимизировать количество этого вещества. Но напрямую это сделать нельзя. Как понять, сколько продукта ожидается через время, и сколько в растении его сейчас?

Чтобы это понять, растение срезается, сдаётся в лабораторию, где бесчеловечно перемалывается и всячески анализируется.

Fermata проверяет гипотезу о том, можно ли этот процесс заменить, анализируя визуально изображение в нескольких спектрах (инфракрасный, ультрафиолетовый), комбинируя это с климатическими данными. Да, анализ может быть менее точным, чем в лаборатории, зато мониторинг идёт в режиме реального времени. Таким образом, лабораторные исследования можно делать существенно реже.

Мечты-мечты

Сайт proektant.kz

В целом, упомянутые выше технологии, позволяют выращивать растения где угодно. При этом агрегируется актуальная информация о том, какие культуры, в каком количестве и на какой территории растут. Добавляя сюда IoT на этапах хранения, транспортировки и обработки, открываются возможности к дальнейшей автоматизации уже высокоуровневых процессов. начиная с того, чтобы вовремя подвезти на склады семена, удобрения и технику и заканчивая цифровизацией бизнес-процессов. Такие изменения могут кардинально повлиять на прибыль и конкурентоспособность продукции и компании в целом. При этом, чем больше датчиков, сенсоров и полевых контроллеров подключено к единой сети, тем умнее становится система и круче её способность предоставить больше полезной информации для пользователя.

Если пофантазировать, то с массовым внедрением можно рассчитывать производство пищи и её логистику так, чтобы она была минимальна по себестоимости и в достаточном количестве для всего населения Земли.

В этом направлении работают такие компании, как ExactFarming, АНТ.

В заключение

Куда будет дальше двигаться технологизация сектора?

Во-первых, будет уменьшаться количество людей в аграрном секторе. Точнее, оно будет уменьшаться там, где достаточно дорогая рабочая сила. Так, в Европе месяц работы смотрителей теплиц, т.н. gardeners, с учётом налогов составляет примерно 5 тысяч евро. Там выгодно уменьшать количество низкоквалифицированного труда.

Вопрос этичности замещения людей машинами, на мой взгляд, не стоит. Это тяжёлый и неблагодарный труд – ползать между растениями, согнувшись в три погибели, и считать листики. Есть даже польза – уменьшение ошибок от человеческого фактора.

Во-вторых, должно произойти подключение всё большего количества фермеров к аналогичным сервисам, правда на данный момент у многих всё ещё существует психологический барьер.

Стартап приходит к фермеру и говорит, что вот, смотрите, искусственный интеллект, который сделает так, что ваши помидорки будут расти лучше, а в ответ – непонимание и недоверие.

Сейчас к фермерам нужен особый подход, скажем, вначале подключать сеть знакомых датчиков температуры и влажности, входить в доверие, избегать произношения страшных слов, типа искусственный интеллект и пр… Такой особый, трепетный подход, практически к каждому такому фермеру, несколько тормозит внедрение.

В-третьих, ещё один тренд – автономные машины: от комбайнов до дронов.

Например, можно было бы заменить комбайны на дроны в задачах опрыскивания химикатами. Банально, больше не нужно будет давить растения! Но дрон, который не сносит ветром и который сможет долго находиться в полёте – это дорогая, тяжёлая машина, которая должна заправляться дизельным топливом, поэтому и стоить она будет соответствующе. Конечно, можно использовать дешёвые дроны, но их постоянно сдувает, они ломаются, теряются. Нужен технологический прорыв! Но разрабатывать Hardware – не слои в нейросети стакать.

Вот такая история получилась про ИИ и помидорки! А вы что думаете по этому поводу?