AR-bril vertelt of gerbera geoogst kan worden

Vorig jaar ging het project Augmented Horticulture van start. Gedurende vier jaar ontwikkelt WUR met een consortium van enkele tuinbouwtoeleveranciers vier showcases. Elke showcase bestaat uit een serie onderliggende softwaremodules. Zo wordt nu gewerkt aan het herkennen van QR-codes met een AR-bril, zodat de bril uit een database relevante informatie over een specifieke plant kan ophalen. Deze module zal in de zomer van 2020 demonstreerbaar zijn.

AR-bril traint oogstpersoneel, herkent stress...

Deze module is een onderdeel van de eerste showcase: het door een AR-bril laten tellen van het aantal meeldraden in de bloem van een gerbera. Doel van deze toepassing is nieuw oogstpersoneel trainen in het herkennen van oogstrijpe bloemen. In de tweede showcase herkent een AR-bril de mate van stress van planten in een kas. Dit wordt gemeten door infrarood-sensoren, en door de bril omgezet in relevante informatie welke in kleur over het beeld van het gewas in de bril geprojecteerd kan worden.

bepaalt positie en zet spraak om naar notities

In de derde showcase gaat het om positiebepaling in de kas: niet alleen van de persoon met de bril, maar ook van zijn of haar kijkrichting. De AR-bril weet dan dus naar welke plek de drager kijkt, en daarmee automatisch voor welke plant informatie getoond moet worden. De herkenning van een QR-code is dan niet meer noodzakelijk. In de vierde showcase kan de bril spraak omzetten naar tekst. Dit is ideaal voor bijvoorbeeld scouts of voor veredelaars: die hoeven dan niet met pen en papier hun bevindingen op te schrijven, maar kunnen tegen de bril praten.

HoloLens 2 van Microsoft

In het project wordt de HoloLens 2 van Microsoft gebruikt: dit is momenteel de meest krachtige AR-bril. Tijdens het project kijken onderzoekers ook naar toepassing van gewasgroeimodellen die productie voorspellen en de koppeling met fenotype-databases.

Het project Augmented Horticulture wordt gefinancierd door de Topsector Tuinbouw & Uitgangsmaterialen en het consortium bestaande uit Syngenta Seeds, Wageningen University & Research, Florensis, LetsGrow.com, Itelligence, Mprise Agriware en KPN.

Augmented reality voor de tuinbouw, beeldverwerking

De hololens 2 is uitgerust met een camera. Het beeld wordt naar een computer gestuurd. Vision algoritmes op deze computer kunnen dan de bloemen in het beeld detecteren en tellen. De resulterende waarde wordt teruggestuurd naar de hololens en weergegeven als een overlay voor de gebruiker.

Deze methode werkt voor veel verschillende computervisie-algoritmen, van rijpheid tot ziektedetectie, en zou een waardevol instrument kunnen worden om nieuwe technici op te leiden.

Hololens, helpt bij het reguleren van het klimaat in de kas

Kassen worden steeds geavanceerder met sensoren die constant het klimaat van de binnenkant van de kas meten. Het kennen van deze waarden kan een teler helpen bij het diagnosticeren van problemen in opbrengst en ziekte.

De Hololens biedt een handsfree manier om snel toegang te krijgen tot deze gegevens. In ons testcompartiment hebben we 16 draadloze temperatuur- en vochtigheidssensoren geplaatst om het microklimaat in de kas te monitoren. Terwijl de gebruiker door het compartiment loopt, creëert de Hololens een 3D-kaart van de omgeving. Ook kan de Hololens de locatie van de sensoren in deze kaart opslaan.

Augmented Reality voor tuinbouw, annotatie en NDVI

We hebben de Hololens 2 geselecteerd als AR platform voor onze verkenningen in augmented reality voor de tuinbouw, vanwege sensoren en camera's.

Data spelen een belangrijke rol in de veredeling en teelt van gewassen

Traditionele methoden van annotatie omvatten het gebruik van een tablet of notebook om plantkenmerken te scoren. De HoloLens kan helpen door deze taak handenvrij en automatisch te laten verlopen via spraak-naar-tekst algoritmen. In de kas wordt een QR code geplaatst, deze code vertelt de HoloLens welke plant wordt onderzocht. Na het scannen van de code worden de laatste geannoteerde waarden opgehaald uit de cloud database en getoond aan de gebruiker. De gebruiker kan nu werken en de nieuwe waarden invoeren door gewoon te spreken. De waarden veranderen Realtime zoals ze zijn opgeslagen in de cloud database.

Plantenstress meten met de Hololens

Plantenstress is ook een belangrijke indicator voor de gezondheid van gewassen. Afwijkingen, van onbalans in de voeding, tot schimmels en herbivoren, tot onbalans in het klimaat, hebben invloed op de stress van de planten. De Normalized Difference Vegetation Index, kortweg NDVI, kan worden gebruikt om dit te detecteren. NDVI combineert het rode kanaal van een kleurenbeeld met een infrarood beeld om stress bij planten te detecteren voordat het met het blote oog zichtbaar is.

Deze beelden kunnen worden opgeslagen en opnieuw worden samengesteld tot een NDVI-film uit de kas. Een volgende stap voor deze aanpak zou zijn om het te combineren met deep learning om op de HoloLens gebieden met een lagere NDVI in real time weer te geven aan de gebruiker.