Fahrerlose Transportsysteme (FTS) sind ein industrienahes Beispiel für die Verwendung von mobilen Robotern. Sie bieten im Vergleich mit konventionellen Transportlösungen von innerbetrieblichen Materialflüssen, z. B. Verwendung von bemannten Gabelstaplern, einige markante Vorteile: geringere Unfallraten, geringerer Verschleiß durch Fehlbedienung und kostenneutraler Einsatz zu jeder Zeit (Wochenenden, Feiertage, Nachtschicht usw.) [1].

Während FTS früher zentral konzipiert wurden, d. h. alle Fahrerlosen Transportfahrzeuge (FTF) ihre Befehle über eine zentrale Leitsteuerung erhalten haben, werden moderne Systeme dezentraler gestaltet. Eine Dezentralisierung der Leitsteuerung kann z. B. durch die manuelle Beauftragung und Steuerung eines FTF durch einen Mitarbeiter umgesetzt werden (Bild 1). Um das zu ermöglichen, ist eine geeignete Mensch-Maschine-Interaktion (MMI) zwingende Voraussetzung [2, 3].

Multimodale Interaktion mit Fahrerlosen Transportfahrzeugen

Analog zu Robotern, die z. B. in der Produktion eingesetzt werden, zählt eine qualitativ unzureichende MMI zu den Schwächen eines FTS. Die Gestaltung derartiger Systeme fokussiert auf den Funktionsumfang, sodass die Benutzerfreundlichkeit vernachlässigt wird [4]. Dadurch sinkt die Akzeptanz bei den Mitarbeitern, und die Integration wird gehemmt. Eine hohe Akzeptanz und Benutzerfreundlichkeit wird bei einer MMI durch eine möglichst intuitive und natürliche Interaktion erzielt [2]. Diese MMI kann über mehrere Modalitäten, wie z. B. Sprache, Gesten und Haptik, umgesetzt werden.

Um die unzureichende Akzeptanz und Benutzerfreundlichkeit einer aktuellen MMI zu überwinden, wird am Institut für Integrierte Produktion Hannover (IPH) innerhalb des Forschungsvorhabens MobiMMI¹⁾ ein neuartiges Assistenzsystem zur multimodalen MMI entwickelt. Das Konzept des Forschungsvorhabens basiert auf einem Assistenzsystem, einer sprachbasierten Beauftragung, einer blickbasierten Adressierung und einer gestenbasierten Steuerung von FTF [5, 6].

Im vorliegenden Beitrag werden die prinzipielle Funktionsweise und die Validierung der gestenbasierten Steuerung erläutert. Mit „gestenbasierter Steuerung“ ist in diesem Kontext die Steuerung eines FTF mithilfe von Handgesten gemeint. Ein Mitarbeiter führt z. B. eine Handgeste zum Lenken aus. Diese Handgeste wird vom Assistenzsystem erfasst, ausgewertet und als Befehl an ein FTF übermittelt.

Gestenbasierte Steuerung beim FTS-Einsatz

Eine gestenbasierte Steuerung kann in verschiedenen Situationen Anwendung finden bzw. die bestehenden Prozesse ergänzen oder effizienter gestalten. Nachfolgend werden diese Situationen anhand von zwei beispielhaften Anwendungsfällen dargestellt. Basis hierfür sind eine Europoolpalette (Europalette) als Förderhilfsmittel und ein Gabelhub-FTF als Fahrzeug. Die Fahrzeuge bewegen sich auf virtuellen Leitlinien (z. B. Lasernavigation) oder physischen Leitlinien (z. B. optische Markierungen auf dem Boden). Bei beiden Navigationsarten wird im Voraus ein Aktionsbereich, der von den Fahrzeugen befahren werden kann, definiert. Mit diesen Annahmen ergibt sich ein Szenario, aus dem sich ein Großteil der industriellen Anwendungsfälle abbilden lässt.

Abweichend von den geschilderten Anwendungsfällen, wurde in der Validierung statt einem Gabelhub-FTF ein Unterfahr-FTF verwendet, um den Versuchsaufwand gering zu halten. Die Anforderungen aus den Anwendungsfällen lassen sich aber uneingeschränkt auf einen Fall mit Gabelhub-FTF übertragen.

Erster Anwendungsfall: Hindernis auf der Strecke

Der erste Anwendungsfall ist im Bild 2 skizziert. Ein Gabelhub-FTF (blau) folgt zur Erledigung eines Transportauftrags einer physischen oder virtuellen Leitlinie (rot, durchgezogen). Der Aktionsbereich (grau) ist entlang der roten, durchgezogenen Leitlinie angeordnet, sodass kleinere Abweichungen von der idealen Strecke möglich sind. Auf der Strecke befindet sich ein Hindernis, wie z. B. fehlerhaft abgestellte Transportgüter, andere Fahrzeuge oder Maschinen.

Im Normalfall halten FTF an, wenn Hindernisse ihren Weg blockieren. Einige Fahrzeuge sind theoretisch in der Lage, automatisiert auszuweichen. In der Praxis zeigt sich aber, dass das automatisierte Ausweichen auf spezifische Situationen mit z. B. sehr breiten Wegen und kleinen zu umfahrenden Hindernissen limitiert ist. Damit bleibt folglich eine Vielzahl an Situationen übrig, die nur mit der gestenbasierten Steuerung gelöst werden können.

Mit einer gestenbasierten Steuerung kann ein Mitarbeiter die Kontrolle über das Fahrzeug, das vor dem Hindernis angehalten hat, übernehmen. Anschließend wird das Fahrzeug mithilfe von Handgesten um das Hindernis navigiert (rote, gestrichelte Linie). Für das Umfahren des Hindernisses kann dabei der Aktionsbereich verlassen werden, sodass keine Limitierung auf den Aktionsbereich des Fahrzeugs besteht. Nach Umfahren des Hindernisses muss das Fahrzeug lediglich wieder im Aktionsbereich hinterlassen und für den anschließenden automatisierten Betrieb an die Leitsteuerung übergeben werden.

Zweiter Anwendungsfall: Fehlerhaft abgestelltes Förderhilfsmittel

Im Bild 3 ist der zweite Anwendungsfall schematisch dargestellt. Ein Gabelhub-FTF soll eine Europalette (Förderhilfsmittel) aufnehmen. Die Europalette wurde aufgrund von Zeitmangel oder Unwissen außerhalb des Aktionsbereichs des FTS abgelegt, sodass sie durch ein Fahrzeug im automatisierten Betrieb nicht aufgenommen werden kann.

FTF sind nur befähigt, in einem vorher definierten Raum zu agieren. Aus diesem Grund müssen die Europalette und das sich darauf befindliche Transportgut durch zusätzliche Fördertechnik, wie z. B. einen Hubwagen oder einen bemannten Schubmaststapler, aufgenommen werden. Ein nicht fachmännisches Verschieben ohne Fördertechnik kann nur in Fällen mit leichtem Transportgut funktionieren und birgt außerdem erhebliche Sicherheitsrisiken. Zusätzliche Fördertechnik ist darüber hinaus nicht immer verfügbar und muss ggf. erst umständlich an den Einsatzort gebracht werden.

Mithilfe der gestenbasierten Steuerung kann ein Mitarbeiter vor Ort und effizient auf das fehlerhaft abgelegte Förderhilfsmittel reagieren. Dafür übernimmt er die Kontrolle über ein beliebiges Fahrzeug, das sich in der Nähe befindet, und steuert es manuell zur Europalette. Für die gestenbasierte Steuerung ist es nicht erforderlich, dass sich die Europalette im Aktionsbereich des FTS befindet. Daher kann der Aktionsbereich verlassen und die Europalette aufgenommen werden. Anschließend wird das Fahrzeug wieder in den Aktionsbereich des FTS manövriert und dort in den gewöhnlichen, automatisierten Betrieb entlassen. Bei der Verwendung der gestenbasierten Steuerung ist kein aufwendiges Heranschaffen von zusätzlicher Fördertechnik notwendig, und es bestehen keine unnötigen Sicherheitsrisiken.

Virtuelle AR-Steuerelemente

Zur Umsetzung der gestenbasierten Steuerung dient die Datenbrille HoloLens von Microsoft als Hardware-Grundlage und Mensch-Maschine-Schnittstelle. Diese Datenbrille erfasst die ausgeführten Handgesten eines Mitarbeiters, interpretiert und übermittelt sie an eine Leitsteuerung. Auf diese Weise werden Mitarbeiter dazu befähigt, FTF dezentral und über eine natürliche MMI zu steuern.

Eine hohe Benutzerfreundlichkeit und eine damit einhergehende hohe Akzeptanz bei den Mitarbeitern können erreicht werden, wenn die Mitarbeiter zu jeder Zeit eine verzögerungsfreie Rückmeldung zu den mit Handgesten ausgeführten Befehlen erhalten [7]. Da die HoloLens verwendet wurde, konnte Augmented Reality (AR) genutzt werden, um immersive, virtuelle Steuerelemente einzublenden (Bild 4). Richtung und Geschwindigkeit werden über einen Steuerknüppel (grün) und ein Fadenkreuz (weiß) eingestellt. Dabei werden die Richtung durch den Winkel und die Geschwindigkeit durch die Entfernung vom Ursprung des Fadenkreuzes bestimmt. Bedient wird der Steuerknüppel über die in der HoloLens bereits integrierte Halten-Geste. Darüber hinaus sind virtuelle Knöpfe zur Steuerung des Lastaufnahmemittels enthalten, die das Aufnehmen und Abstellen von Förderhilfsmitteln ermöglichen. Die Steuerelemente sind in einem halbdurchsichtigen Fenster angeordnet und in ihrer Größe an die Wünsche des Mitarbeiters anpassbar. Sie können für eine ergonomische Verwendung dynamisch im realen Raum platziert werden.

Auf diese Weise wird einem Mitarbeiter eine gestenbasierte Steuerung zur Verfügung gestellt, die eine verzögerungsfreie, immersive Rückmeldung gewährleistet und dynamisch an die ergonomischen und individuellen Bedürfnisse des Mitarbeiters angepasst werden kann.

Validierung der gestenbasierten Steuerung

Für die Validierung der gestenbasierten Steuerung wurden 12 Probanden ausgewählt, die jeweils zweimal eine Teststrecke absolvieren mussten. Die Gruppe der Probanden setzte sich aus (angehenden) Akademikern mit technischem Hintergrund (Alter: 23 bis 31 Jahre) zusammen, die über wenig oder keine Erfahrung mit FTS und AR verfügten. Jeder Proband wurde vor dem ersten Absolvieren der Teststrecke schriftlich und mündlich über den Verlauf des Tests aufgeklärt. Darüber hinaus nutzten die Probanden die Möglichkeit, sich mit der Interaktion von virtuellen AR-Elementen insgesamt vertraut zu machen.

Die zu absolvierende Teststrecke ist im Bild 5 schematisch dargestellt. Sie besteht aus folgenden vier Abschnitten:

1. Abschnitt: Rechtskurve und Lastaufnahme an einer Übergabestation

2. Abschnitt: Rechtskurve, Linkskurve und Lastabgabe an einer Übergabestation

3. Abschnitt: Zurücksetzen und Wenden

4. Abschnitt: Kurvenfahrt zwischen zwei Hindernissen.

Die Probanden konnten sich beim Absolvieren der Teststrecke auf dem Versuchsfeld frei bewegen, um bei Bedarf eine bessere Perspektive für das Navigieren des Fahrzeugs einzunehmen. Wie oben beschrieben, konnten in diesem Kontext die Steuerelemente dynamisch mitbewegt werden, um eine möglichst ergonomische Handhabung zu gewährleisten.

Neben der Art der Rückmeldung, der Ergonomie und der Präzision wurde auch die Intuitivität der gestenbasierten Steuerung bewertet. Da die Intuitivität einen entscheidenden Einfluss auf die Akzeptanz bei den Mitarbeitern hat, wird sie in diesem Beitrag näher erläutert. Die Intuitivität kann u. a. dadurch gemessen werden, wie schnell sich ungeübte Mitarbeiter an die Anwendung der gestenbasierten Steuerung gewöhnen. Im Bild 6 sind Box-Plots für die Dauer der Absolvierung der Teststrecke bei der ersten (rot) und bei der zweiten Testfahrt (blau) im Vergleich zu einer idealen Testfahrt dargestellt. In einem Box-Plot liegen 50 % der Daten innerhalb der Box. Der horizontale Strich innerhalb der Box bildet den jeweiligen Median ab. Die vertikalen, aus der Box ausgehenden Striche stellen die restlichen Daten dar und werden durch den Minimal- bzw. Maximalwert beschlossen. Ausreißer sind durch ein +gekennzeichnet. Die ideale Testfahrt dient als Referenzwert und wurde von einem sehr erfahrenen Anwender ausgeführt.

In allen Abschnitten ist eine signifikante Abnahme der Dauer bereits bei der zweiten Testfahrt zu erkennen. Besonders deutlich wird die Abnahme der Dauer im Abschnitt 1 mit rd. 37 % und im Abschnitt 2 mit rd. 22 %. Diese deutliche Abnahme der Zeit bereits beim Absolvieren der zweiten Testfahrt ist ein Indikator für eine schnelle Gewöhnung der Mitarbeiter an die gestenbasierte Steuerung und damit für eine hohe Intuitivität.

Darüber hinaus besteht in den Abschnitten 1 und 2 die größte Differenz zwischen dem Median der Probanden und der benötigten Zeit für die ideale Testfahrt. Daraus lässt sich schließen, dass sie die schwierigsten Abschnitte für die Steuerung der Fahrzeuge sind und damit das größte Verbesserungspotenzial enthalten. Diese Schlussfolgerung wird durch die Art der Aufgaben in den Abschnitten 1 und 2 bekräftigt, da sie eine Lastaufnahme bzw. Lastabgabe in einer Übergabestation enthalten. Das Befahren der Übergabestationen erfordert analog zur Aufnahme von Europaletten aufgrund der meist knappen Dimensionierung eine besonders hohe Steuerungspräzision.

Resümee

Um eine effizientere und ergonomischere MMI zu generieren, wird vom IPH innerhalb des Forschungsvorhabens MobiMMI ein multimodales Assistenzsystem zur MMI entwickelt, das möglichst intuitiv sein und deswegen eine hohe Akzeptanz bei den Mitarbeitern gewährleisten soll. Ein Modul von MobiMMI ist die gestenbasierte Steuerung von FTF. Die gestenbasierte Steuerung interpretiert Handgesten eines Mitarbeiters, um diese zu Steuerbefehlen für Fahrzeuge umzuwandeln. Eine hohe Mitarbeiterakzeptanz soll durch die Verwendung von verzögerungsfreien, virtuellen AR-Steuerelementen erzielt werden. Bei der zweifachen Absolvierung einer Teststrecke konnten die gestenbasierte Steuerung validiert und die schnelle Eingewöhnung von unerfahrenen Mitarbeitern bzw. eine hohe Intuitivität nachgewiesen werden.