In the future, workers and robots will work together more and more closely. For this reason, we at Festo have been looking intensively into systems that could, for example, relieve people of monotonous or dangerous activities and at the same time pose no risk. Artificial intelligence plays a central role here.

Modular assistance system

In cooperation with ETH Zurich, the BionicMobileAssistant was developed, which consists of three subsystems: a mobile robot, an electric robot arm and the BionicSoftHand 2.0. The pneumatic gripper is inspired by the human hand and is a further development of the BionicSoftHand from 2019.

DynaArm: dynamic robot arm with high power density

With the DynaArm, an electric robot arm, fast and dynamic movements are possible. This is ensured by its lightweight design with highly integrated drive modules weighing only one kilogram. In these so-called DynaDrives, the motor, gear unit, motor control electronics and sensors are installed in a very small space. In addition, the arm has a high power density which, with 1 kW at 60 Nm drive torque, far exceeds that of conventional industrial robots.

Thanks to model-based force control and control algorithms to compensate for dynamic effects, the arm can react well to external influences and thus interact very sensitively with its environment. It is controlled by the ballbot via an EtherCAT communication bus. Thanks to its modular design, the DynaArm can be quickly put into operation and easily maintained.

Ballbot: mobile robot application with special drive

The ballbot is based on a sophisticated drive concept: it balances on a ball driven by three omniwheels. This allows the BionicMobileAssistant to manoeuvre in any direction. The robot only touches the ground at one point at a time and can therefore navigate through narrow passages. In order to maintain its balance, it must move continuously. The planning and coordination of the movements are carried out using planning and control algorithms that are stored on a powerful computer in the body of the ballbot.

The stability of the robot is realized purely dynamically - in case of external influences, the ballbot can quickly set the ball in rotation and thus keep its balance. Using an inertial measuring unit and position encoders on the wheels, it records its movements and the relative inclination of the system. Based on this data, an optimisation program calculates how the robot and arm must move to bring the hand into the target position and stabilise the robot at the same time.

Die Finger der pneumatischen Roboterhand bestehen aus flexiblen Balgstrukturen mit Luftkammern, umhüllt von einem festen und zugleich nachgiebigen Textilgestrick. Dadurch ist die Hand leicht, anpassungsfähig und sensibel, aber dennoch in der Lage, starke Kräfte auszuüben. Auch die Ansteuerung der pneumatischen Finger erfolgt wie bei der BionicSoftHand aus dem Jahr 2019 über eine kompakte Ventilinsel mit Piezoventilen, die direkt an der Hand angebracht ist.

Sensibler Greifer mit Fingerspitzengefühl

Die Hand trägt einen Handschuh mit taktilen Kraftsensoren an den Fingerkuppen, der Handfläche und den Außenseiten der Roboterhand. So kann sie fühlen, wie hart das Greifgut ist und wie gut es in der Hand liegt, und ihre Greifkraft – genau wie wir Menschen – an den jeweiligen Gegenstand anpassen. Zusätzlich sitzt am Inneren des Handgelenks eine Tiefenkamera zur visuellen Objekterfassung.

Objekterkennung mittels neuronalen Netzes

Mit Hilfe der Kamerabilder kann die Roboterhand verschiedene Gegenstände erkennen und greifen, selbst wenn diese teilweise verdeckt sind. Nach entsprechendem Training kann die Hand anhand der erfassten Daten die Objekte außerdem beurteilen und so beispielsweise gute von schlechten unterscheiden. Die Informationen verarbeitet das neuronale Netz, das im Vorfeld mit Hilfe von Data Augmentation trainiert wurde.

Umfangreiche Datensätze durch Data Augmentation

Um bestmögliche Ergebnisse zu erreichen, benötigt das neuronale Netz viele Informationen, anhand derer es sich orientieren kann. Das heißt: Je mehr Trainingsbilder ihm zur Verfügung stehen, desto zuverlässiger wird es. Da dies in der Regel zeitaufwändig ist, bietet sich eine automatische Vermehrung der Datenbasis an.

Dieses Verfahren wird als Data Augmentation bezeichnet. Durch marginale Abänderungen weniger Ausgangsbilder – beispielsweise mit unterschiedlichen Hintergründen, Lichtverhältnissen oder Blickwinkeln – und deren Vervielfältigung erhält das System einen umfangreichen Datensatz, mit dem es selbstständig arbeiten kann.

Mobiler Einsatz an wechselnden Orten

Seine gesamte Energieversorgung hat das System an Bord: Die Batterie für Arm und Roboter sitzt im Körper. Die Druckluftkartusche für die pneumatische Hand ist im Oberarm verbaut. Damit ist der Roboter nicht nur mobil, sondern er kann sich auch autark bewegen.

Die auf dem Leitrechner hinterlegten Algorithmen steuern auch die autonomen Bewegungen des Systems. Sie planen mit Blick in die Zukunft, wie sich der Arm und der Ball bewegen müssen, um gewisse Zielpunkte zu erreichen und dabei die Balance zu halten. Mit Hilfe von zwei Kameras orientiert sich der Roboter dabei selbstständig im Raum: Eine Kamera sucht nach vordefinierten Fixpunkten in der Umgebung, um sich absolut zu positionieren, während eine zweite Kamera die Deckenstruktur zur Abschätzung der Bewegung nutzt.

Seine Mobilität und die autarke Energieversorgung ermöglichen dem BionicMobileAssistant einen flexiblen Einsatz für unterschiedliche Aufgaben an wechselnden Orten – ganz im Sinne einer sich ständig wandelnden Fertigung.

Vielseitige Anwendungsmöglichkeiten

Prädestiniert wäre das System für die Anwendung als direkter Assistent des Menschen, zum Beispiel als Serviceroboter, als helfende Hand in der Montage oder zur Unterstützung von Werkern bei ergonomisch belastenden oder eintönigen Arbeiten. Möglich wäre auch ein Einsatz in Umgebungen, in denen Menschen nicht arbeiten können, etwa aufgrund von Gefahren oder beschränkter Zugänglichkeit.

Hand in Hand mit dem Menschen

Dank des modularen Konzepts lässt sich die BionicSoftHand 2.0 auch rasch an andere Roboterarme montieren und in Betrieb nehmen. Kombiniert mit dem BionicCobot oder dem BionicSoftArm bildet der Greifer beispielsweise ein komplett pneumatisches Robotersystem, das aufgrund seiner inhärenten Nachgiebigkeit Hand in Hand mit dem Menschen zusammenarbeiten kann.


Dieses Projekt ist Teil des Bionic Learning Network – wo Natur auf Technik trifft


Gemeinsam mit Instituten, Hochschulen und Partnern erforschen wir biologische Prinzipien, um innovative Ideen und Lösungen für unser Kerngeschäft in der Automatisierungstechnik und der technischen Bildung zu entwickeln. Erfahren Sie mehr über das Bionic Learning Network oder entdecken Sie weitere spannende Themen rund um Festo in unserem Blog.

Zum Blog