농업을 둘러싼 환경은 기후 변화로 인한 이상 기후의 빈발, 세계 인구의 증가, 국제 정세의 변화, 소비자 요구의 다양화 등을 배경으로 매일 변화하고 있다. 일본의 농업에서는 농업 종사자의 고령화와 인력 부족이 계속되고 있으며, 연료·비료 가격의 급등 등도 겹쳐 상황은 더욱 심각해지고 있다.

 

기간적 농업 종사자의 인구는 2015년 약 176만 명에서 2020년에는 약 136만 명으로 5년간 40만 명 감소한 반면, 평균 연령은 67.7세로 높은 수준을 유지하고 있어 여전히 심각한 상황이 지속되고 있다. 게다가 농업은 날씨나 시장 상황 등의 변화에 크게 영향을 받으며, 이를 사전에 예측하는 것은 일반적으로 어렵다. 따라서 경험이나 직감에 의존한 경영이 되기 쉬운 것이 현실이며, 이 점이 담당자나 새로운 농업 종사자에 대한 높은 진입 장벽이 되고 있다.

 

이러한 문제에 대처하기 위해 국가는 정보통신기술(ICT)이나 인공지능(AI)을 활용해 농업 생산 기술의 고도화를 목표로 하는 ‘스마트 농업’에 관한 연구를 지원하고 있다. 또한 올해 6월에는 ‘스마트 농업 기술 활용 촉진법’이 제정·공포되어 디지털 기술을 활용한 데이터 구동형 농업으로 전환이 추진되고 있다. 특히 로봇 기술은 농작업의 작업 시간·노동력 절감 실현에 기여할 수 있는 기술로 연구 개발의 중점 과제로 자리잡고 있다.

 

한편, 식물의 성장에는 유전자가 크게 관여한다는 것은 잘 알려져 있다. 그러나 유전자형(생물 개체의 유전적 특징의 구성)이 동일하더라도 식물의 형태적 형질(형상, 색깔, 크기, 수 등. 이하 간단히 ‘형질’로 약칭)은 재배 환경이나 방법 등의 환경 요인에 따라 다양하게 변화한다. 식물의 형질이 환경에 어떻게 반응하는지를 계측하고 정량화하는 기술이나 연구를 ‘식물 피노타이핑(Phenotyping)’이라고 부른다. 식물 형질의 계측은 그동안 인력에 의해 이루어졌으며, 매우 많은 시간과 비용이 소요됐다. 최근에는 컴퓨터 기술, ICT, AI 등의 눈부신 발전을 배경으로, 식물의 형질 계측을 고속으로 망라적으로 하기 위한 고속 식물 피노타이핑에 관한 연구 및 개발이 세계적으로 활발히 진행되고 있다.

 

이 글에서는 데이터 구동형 농업의 실천, 보급 및 확대에 필수적인 기술로 주목받고 있는 식물 피노타이핑에 관해 세계의 연구 동향 및 필자 등이 수행하고 있는 연구 사례 등을 소개하고자 한다.

 

세계의 식물 피노타이핑 연구의 동향

 

데이터 구동형 농업의 실천에는 식물의 생리 생태 특성을 파악하고, 이를 바탕으로 한 재배 관리 기술의 선택이 중요하다. 이를 뒷받침하는 흥미로운 데이터가 Costa 등에 의해 보고됐다. 그림 1에는 Costa 등이 SCOPUS 데이터베이스 및 다른 연구자의 통계 데이터를 이용해 정리한 식물 피노타이핑, 정밀 농업, 유전체학, 단백질체학 등에 관한 연구 논문의 발표 빈도 비교 결과를 나타냈다. 이 결과로부터 유전체학 및 단백질체학 관련 논문 발표 빈도와 비교해 식물 피노타이핑 관련 논문의 증가가 두드러진다는 것을 알 수 있다.

 

 

또한 식물 피노타이핑 연구 논문의 증가에 따라 정밀 농업(데이터 구동형 농업도 여기에 포함된다고 생각된다)에 관한 논문 발표도 증가하고 있다는 것으로 파악할 수 있다. 즉, 식물의 생리 생태 특성과 그 환경 반응성의 해명은 육종이나 농업 생산 기술의 개선 등의 기술 개발에 크게 기여할 수 있다는 것을 의미한다. 더불어 환경 조절이 가능한 시설 원예의 고도화에는 매우 유효하고 중요한 연구라고 할 수 있다.

 

현재 식물 피노타이핑에 관해서는 계측 시스템 및 해석 방법 등의 연구 개발을 시작으로, 그 응용 연구도 활발히 진행되고 있다. 구체적으로는 옥외 농원에서 식물 생육 전용 계측 시스템을 이용하는 것(예를 들면 LemnaTec사의 Field Scanalyzer)이다. 이 외에도 무인 비행기(Unmanned Aerial Vehicle, UAV)나 풍선 등을 이용하는 것, 트랙터 등의 농작업 차량을 이용하는 것이나 사람이 휴대하면서 계측을 하는 것 등 다양한 시스템이 개발되고 있다. 계측·수집된 식물 형질 정보는 육종·품질 개량의 고속화나 재배 관리 기술의 개선·개발 등에 응용되고 있다.

 

한편, 획득한 이미지 정보의 해석 기법에 대해서도 2000년 이후 다양한 기법이 제안되고 있다. 해석 대상의 이미지 종류도 RGB(가시) 이미지, 하이퍼-멀티 스펙트럼 이미지, 열 적외 이미지, 근적외 이미지, RGB-D(가시-심도) 이미지, 3차원 점군 이미지, CT(컴퓨터 단층 촬영법) 이미지, MRI(자기 공명 이미지) 이미지 등 다양한 형태가 있다. 특히 최근에는 2차원 이미지 해석뿐만 아니라 3차원 이미지에 의한 해석도 증가하고 있다. 따라서 기존의 이미지 처리나 기계학습의 이용뿐만 아니라, 심층학습이나 생성 AI 등의 새로운 기술의 응용도 추진되고 있다.

 

고속 식물 피노타이핑

 

식물 피노타이핑 연구에서는 식물 형질을 고속으로 망라적으로 계측하고 추출하는 기술 개발이 요구된다. 필자 등도 소형 로봇을 이용한 식물 생육 이미지 계측 시스템 개발에 더하여, 다양한 식물의 생육 상태를 평가하기 위한 특징량 추출 기술 개발을 진행하고 있다. 이하에서는 그 일부를 소개하겠다.

 

그림 2에는 저자 등이 개발한 식물 피노타이핑 로봇의 구성을 나타냈다. 이 로봇은 소형 컴퓨터(Raspberry Pi, Arduino UNO), 모터 드라이버(Cytron), DC 모터(Crouzet), 리니어 슬라이더, PTZ 카메라(Sunba 601, ONVIF 프로토콜에 의한 Pan, Tilt, Zoom 제어 가능)로 구성된다. 사용한 전자 부품은 온라인 스토어에서도 쉽게 구할 수 있어 제작비는 자체 제작할 경우 저렴하게 유지할 수 있다.

 

 

이 로봇은 적외선 LED가 장착된 RGB 카메라(ELP)를 이용해 레일 측면에 배치된 AR 마커(ArUco)를 인식함으로써 이미지 촬영 위치를 정확하게 파악할 수 있게 되어 있다. 또한 AR 마커에는 각 촬영 위치의 카메라 제어 정보(카메라 각도, 높이, 줌 레벨, 이동 유무 등)도 포함되어 있으며, 각 위치의 촬영 방법을 임의로 설정할 수 있게 되어 있다. 더 나아가, 촬영 위치·조건의 추가 및 변경은 마커의 추가·삭제만으로 간단히 할 수 있는 사양으로 되어 있다.

 

해당 로봇에는 RGB 카메라 외에도 RGB-D 카메라(가시 이미지와 거리 이미지의 촬영이 가능), 3차원 LiDAR(3차원 점군 데이터의 획득이 가능), 스펙트럼 카메라(분광 이미지의 획득이 가능) 등 다양한 카메라와 센서를 탑재할 수 있는 설계로 되어 있다. 또한 기온, 습도, 일사량, 이산화탄소 농도 등을 측정하는 기상 센서도 탑재할 수 있게 되어 있으며, 식물의 생육 상태 계측과 동시에 농원 환경 정보를 획득하는 것도 가능하다.

 

 

그림 3에 위의 로봇으로 촬영한 오이 식물 이미지에 대한 물체 검출 모델(YOLOv7를 사용)의 적용 결과를 나타냈다. 이 결과로부터 성장점, 꽃, 과실 등이 대체로 정확하게 검출되고 있다는 것을 알 수 있다. PTZ 카메라를 사용하고 있기 때문에 이미지 해상도가 낮아 검출 정도가 떨어진 경우에도 카메라 각도나 줌 레벨을 조정해 이미지 품질을 향상시킴으로써 검출 정도를 개선할 수 있도록 되어 있다. 그림 4에 오이 식물의 특징량 검출 정도를 평가하기 위한 혼동 행렬을 나타냈다. 미숙 과실에 대해서는 줄기나 잎자루 등 일부 배경으로 잘못 인식되어 정도가 낮아지는 경향이 확인됐으나, 다른 특징량에 대해서는 대체로 양호한 결과가 얻어졌다.

 

 

그림 5에 오이 식물의 3차원 모델 재구성의 한 예를 나타냈다. 3차원 모델은 계측 로봇을 이용해 다양한 위치에서 촬영한 일련의 오이 식물 이미지를 3D Gaussian Splatting에 의해 재구성한 것이다. 구체적으로는 먼저 COLMAP이라는 이미지 처리 라이브러리를 이용해 입력 이미지(참값)에 대해 SfM(Structure from Motion)을 적용해 카메라 정보(위치, 방향 등)와 3차원 점군 데이터를 획득한다. 다음으로 이들 데이터를 초기값으로 기계학습을 이용해 입력 이미지와의 차이가 적어지도록 점군 데이터를 수정함으로써 고정도의 3차원 모델을 재구성하고 있다. 이 3차원 모델에는 심도 정보가 포함되어 있어 대상 식물체의 뒤에 있는 물체를 제거하고 대상 식물의 잎면 정보만을 비교적 쉽게 추출할 수 있다.

 

 

피노타이핑 기술 개발을 위한 가상공간의 활용

 

일반적으로 이미지 정보를 이용한 식물 피노타이핑에는 많은 식물 생육 이미지의 수집이 필요하며, 이를 위해 여러 개의 카메라, 드론, 로봇 등의 장비가 이용된다. 그러나 식물의 성장은 시시각각 변화하며, 그 정도도 재배 환경이나 영양 상태에 따라 다르기 때문에 식물의 성장을 적절히 촬영하기 위해서는 다양한 시행착오가 요구된다.

 

한편, 최근의 디지털 이미지 처리 기술의 비약적인 발전으로 인해 현실 공간에 있는 물체를 그 질감이나 구조를 유지한 채 가상공간 내에 재현할 수 있게 됐다. 예를 들면 Unreal Engine(Epic Games, Inc.)이라는 게임 엔진을 이용해 재현된 디지털 도시 공간은 현실 공간의 구조물을 세부에 이르기까지 충실히 재현할 수 있으며, 현실 공간과 가상공간의 차이를 구별할 수 없을 정도로 디지털 이미지 처리 기술의 수준이 향상됐다.

 

이러한 기술을 활용해 원예 시설 내의 식물이나 설비를 재현할 수 있게 된다면, 이미지 정보에 기반한 식물 피노타이핑 기술 개발을 가상공간 내에서 하는 것도 충분히 가능할 것이라고 생각한다. 그림 6은 Unreal Engine 5를 이용해 재현한 원예 시설의 한 예이다. 현 시점에서는 식물이나 설비의 3차원 모델은 단순한 형상으로 표현되어 있지만, 이들은 가상공간 내에서 3차원 모델로 인식될 수 있는 상태이다. 따라서 가상공간 내에 배치한 카메라 레일을 따라 가상 카메라를 이동시키면서 이미지 촬영을 수행함으로써 실제 촬영과 동일한 방법으로 시설 내에서 이미지 촬영이 가능하다.

 

 

그림 7은 촬영한 이미지를 NeRF(Neural Radiance Fields)를 이용해 3차원 재구성한 결과를 나타내고 있다. NeRF는 앞에서 말한 3D Gaussian Splatting과 마찬가지로 2차원 이미지에서 3차원 모델을 재구성하는 기술로, 재구성 시에 심층학습을 이용하는 점이 특징이다. 이 결과로부터 알 수 있듯이, 원래 이미지의 촬영이 부적절한 경우에는 3차원 모델의 재구성이 정확하게 이루어지지 않는 모습을 볼 수 있다. 이처럼 가상공간을 이용하면, 촬영 기기의 설치나 이동 방법 등을 사전에 다양한 조건에서 평가할 수 있어 계측 기술의 개발이나 고도화에 도움이 될 것이라고 생각된다.

 

 

그림 8에 식물 피노타이핑 로봇 개발에 있어 가상공간의 활용 예를 나타냈다. 이 그림은 Gazebo라는 ROS(Robot Operating System) 대응 로봇 시뮬레이터를 이용해 로봇의 주행 실험이나 물체 검출 모델의 평가를 하고 있는 모습을 보여주고 있다. 가상공간 내에서 로봇의 설계나 평가가 가능해지면, 극복해야 할 과제를 조기에 발견할 수 있을 것으로 기대되며 실제 제작에 소요되는 시간과 비용의 절감을 기대할 수 있다.

 

 

또한 기구 해석이나 수치 유체 해석 등의 계산역학적 기법을 병용함으로써 현실에 더 가까운 환경을 가정해 로봇의 거동을 평가하는 것도 가능해진다. 이러한 디지털 트윈 기술은 로봇 개발이나 식물 피노타이핑 고도화에 필수적인 기술이며, 농업 분야에 이용하는 것도 앞으로 더욱 진행될 것으로 예상된다.

 

데이터 구동형 시설 원예에 응용

 

지금까지 설명해 온 식물 피노타이핑으로 얻은 정보의 활용 방법에 대해서도 생각해 보자. 시설 원예에서는 시설 내의 환경 조정을 위해 여러 환경 제어장치가 도입되어 있다. 이들의 동작 조건은 날씨나 식물의 생육 상태에 맞춰 적절히 설정해 두어야 한다. 이 작업은 대부분의 경우 농업 종사자에 의해 수작업으로 이루어진다. 예를 들면 관수의 양은 식물의 상태에 따라 다르기 때문에 설정의 변경이 자주 이루어진다. 따라서 여러 원예 시설을 소유하고 있는 경우에는 매우 번거롭고 복잡한 작업이 된다.

 

필자 등은 이러한 환경이나 식물의 생육 상태의 변화에 맞춰 장치의 동작 조건을 적절히 설정할 수 있는 환경 제어 시스템의 개발을 연구하고 있다. 그림 9는 식물 생육 상태 관측 노드(네트워크 내의 개별 장치의 의미)를 도입한 복합 환경 제어 시스템의 개념도를 나타내고 있다. 해당 시스템은 일본산 오픈 소스 플랫폼인 UECS(Ubiquitous Environment Control System)에 기반해 구축되어 있다. 식물 생육 상태 관측 노드에서 얻어진 식물 생육 지표는 UECS-CCM(Common Correspondence Message)을 이용해 시설 내의 네트워크를 통해 각 노드에 정기적으로 배포된다. 환경 제어 노드의 설정 파라미터가 식물 생육 지표에 따라 자동 조정되도록 하면, 식물의 생육 상태에 적합한 환경 제어가 가능해진다. 이 기술은 재배 관리 작업의 시간과 노동 절감 및 인력 절감에 기여할 것으로 생각된다.

 

 

맺음말

 

이 글에서는 식물 육종 및 데이터 구동형 농업의 실천, 보급, 확대를 목적으로 식물 피노타이핑의 중요성과 가능성에 대해 필자 등의 연구 사례와 함께 소개했다. 이들 내용은 식물 피노타이핑 연구의 극히 일부에 불과하지만, 독자 여러분이 이해하는 데 도움이 되기를 바란다.