KI für die sprachgesteuerte Zusammenarbeit im Gewächshaus
In den Gewächshäusern der Zukunft werden Menschen vermehrt mit Roboter arbeiten. Damit diese Vision Wirklichkeit wird, forscht ein Team um Prof. Dr. Maren Bennewitz von der Universität Bonn gemeinsam mit Partnern aus Taiwan auf Basis von Künstlicher Intelligenz an den Grundlagen. Im Projekt „Learning Expert-Guided Crop Intervention through Human-in-the-Loop LLM Robotics“ – kurz AgriLoop – erforschen die Gruppen aus beiden Ländern, wie Gewächshausroboter künftig durch natürlichsprachliche Interaktion enger mit landwirtschaftlichen Fachleuten zusammenarbeiten können. Das Vorhaben wird auf deutscher Seite durch das Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) mit einer Fördersumme von 463.000 Euro für die Bonner Forschung unterstützt. AgriLoop ist ein Partnerprojekt des Exzellenzclusters PhenoRob und im Transdisziplinären Forschungsbereich Sustainable Futures angesiedelt.
Die moderne Gewächshausproduktion steht vor großen Herausforderungen: Fachkräftemangel, wachsende betriebliche Komplexität und der Bedarf an nachhaltigeren Anbaumethoden erhöhen den Druck auf Produzierenden. Zwar können robotische Systeme bereits heute Monitoring- und Eingriffsmaßnahmen unterstützen, doch bislang fehlt ihnen häufig die Fähigkeit, domänenspezifisches Wissen von Pflanzen-Fachleuten strukturiert aufzunehmen und in konkrete Handlungen zu übersetzen.
Mit Kollege Roboter wie mit einem Menschen sprechen
Hier setzt AgriLoop an. Das Projekt entwickelt ein integriertes Human-in-the-Loop-System, das KI-Modelle wie Sprachmodelle, Bild-Sprach-Modelle und Vision-Language-Action-Modelle mit physisch eingebetteter Robotik und 3D-Wahrnehmung von Pflanzenbeständen kombiniert. Fachleute sollen künftig über ein intuitives Interface in natürlicher Sprache Fragen über den Pflanzenzustand stellen, Anweisungen geben und das Verhalten von Gewächshausrobotern gezielt steuern können. Das System verknüpft diese Interaktionen direkt mit rekonstruierten 3D-Gewächshausszenen und übersetzt sie in sichere, ausführbare Roboteraktionen.
Das Vorhaben ist als eng verzahnte deutsch-taiwanesische Kooperation angelegt. Die deutsche Seite bringt Roboterplattformen, Verfahren zur 3D-Wahrnehmung und -Rekonstruktion, reale Gewächshausumgebungen sowie pflanzenbauliche Expertise ein. Die taiwanesischen Partner entwickeln zentrale Komponenten für multimodale Sprachverarbeitung, Dialogsysteme, Command Grounding und das Lernen aus dem Feedback der Fachleute. Die Förderung durch das BMFTR unterstützt damit den Aufbau internationaler Forschungspartnerschaften und den Transfer innovativer KI- und Robotikmethoden in anwendungsnahe Zukunftsfelder wie die intelligente Landwirtschaft.
Ambitionierte Ziele
Am Ende des Projekts soll ein anschaulicher Demonstrator zeigen, wie ein Gewächshausroboter verständlich erklärt werden und gezielt gesteuert werden kann. Dafür entwickeln die Forschenden neue Verfahren, mit denen der Roboter seine Umgebung im Gewächshaus räumlich erfassen und mit gesprochenen oder geschriebenen Anweisungen von Fachleuten verknüpfen kann. So sollen Hinweise wie „Untersuche diese Pflanze genauer“ oder „Entferne dieses Blatt“ künftig in sichere Roboterbewegungen übersetzt werden können.
Außerdem entstehen besonders effiziente KI-Modelle, die direkt auf Roboterplattformen eingesetzt werden können, ohne ständig auf große Rechenzentren angewiesen zu sein. Die im Projekt gesammelten Daten aus der Kommunikation zwischen Menschen und Robotern sollen der Forschung helfen, Agrarrobotiksysteme weiter zu verbessern. Die Ergebnisse können damit sowohl neue wissenschaftliche Erkenntnisse liefern als auch langfristig praktische Anwendungen für eine intelligentere und nachhaltigere Landwirtschaft in Deutschland und Taiwan ermöglichen.
In Bonn werden Prof. Bennewitz und ihr Doktorand Rohit Menon an dem Projekt arbeiten. Außerdem wird eine weitere Doktorandenstelle aus dem Projekt finanziert werden.
Kontakt für die Medien:
Prof. Dr. Maren Bennewitz
E-Mail: maren@cs.uni-bonn.de
Vier Fragen an Maren Bennewitz
Warum verstehen Roboter solche Anweisungen bislang nicht?
Prof. Bennewitz: Menschen verbinden Sprache ganz selbstverständlich mit ihrer Umgebung und mit Erfahrungswissen. Wenn eine Fachkraft sagt: „Entferne dieses Blatt“, erkennt ein Person sofort, welche Pflanze und welches Blatt gemeint sind, und weiß außerdem, wie sie dabei vorgehen muss, ohne die Pflanze zu beschädigen. Für einen Roboter ist das deutlich schwieriger. Er muss die Sprache interpretieren, das richtige Objekt in seiner Umgebung identifizieren, dessen Position räumlich erfassen und daraus eine passende Bewegung ableiten. Bisher arbeiten diese Fähigkeiten – also multimodale KI-Modelle, räumliche 3D-Wahrnehmung und die physische Robotersteuerung – meist isoliert voneinander. Genau hier setzt AgriLoop an und möchte sie zu einem durchgängigen System verbinden.
Wie soll AgriLoop das Problem lösen?
Der Roboter erfasst seine Umgebung mit Kameras und Sensoren, um daraus ein räumliches Modell der Pflanzen im Gewächshaus zu erstellen. Gleichzeitig verarbeitet das System die sprachlichen Anweisungen der Fachleute über ein intuitives Interface. Moderne KI-Modelle – wie Sprach- und Vision-Language-Modelle – führen diese Informationsquellen zusammen: Sie gleichen ab, was gesagt wurde und auf welches konkrete Detail im 3D-Gewächshaus sich die Anweisung bezieht. Aus dieser Verknüpfung soll schließlich eine konkrete und sichere Roboterhandlung entstehen. So könnte aus dem Satz „Untersuche diese Pflanze genauer“ beispielsweise eine gezielte Bewegung des Roboters zu einer bestimmten Pflanze werden.
Warum braucht es den Menschen weiterhin?
Gerade bei der Arbeit mit Pflanzen lässt sich nicht jede Entscheidung im Voraus programmieren. Fachleute verfügen über Erfahrungswissen, das oft von der konkreten Situation abhängt: Wie gesund wirkt eine Pflanze? Welches Blatt sollte entfernt werden? Wo ist besondere Vorsicht nötig? AgriLoop verfolgt deshalb einen „Human-in-the-Loop“-Ansatz. Der Mensch gibt Hinweise, korrigiert den Roboter und bewertet seine Entscheidungen. Der Roboter soll dieses Feedback nutzen, um seine Handlungen besser an die tatsächlichen Anforderungen im Gewächshaus anzupassen. Ziel ist also nicht, menschliches Fachwissen zu ersetzen, sondern es für robotische Systeme nutzbar zu machen.
Was könnte das konkret verändern?
Langfristig könnten solche Systeme Fachkräfte bei zeitaufwendigen oder wiederkehrenden Arbeiten unterstützen – etwa bei der Kontrolle von Pflanzen oder bei gezielten Pflegemaßnahmen. Das wäre besonders dort interessant, wo Arbeitskräfte fehlen oder große Pflanzenbestände regelmäßig überprüft werden müssen. Zugleich könnten präzisere Eingriffe dazu beitragen, Ressourcen gezielter einzusetzen. Bis dahin ist allerdings noch Forschungsarbeit nötig: AgriLoop entwickelt zunächst die Grundlagen und will mit einem Demonstrator zeigen, dass die Zusammenarbeit zwischen Mensch und Roboter auf diese Weise grundsätzlich funktionieren kann.
