Das Ziel des Projektes ActIPret ist die Entwicklung einer kognitiven Bildverarbeitungsmethodologie und eines entsprechenden Systems, das Aktionen einer Person, die Objekte handhabt, interpretieren und verstehen kann. Der Schwerpunkt liegt auf der aktiven Beobachtung und Interpretation der Aktionen, auf dem Unterteilen der Bildsequenzen in die zugrundeliegenden elementaren Tätigkeiten und auf der Extraktion der relevanten Aktionen und ihrer funktionellen Zusammenhänge. Das System ist aktiv in dem Sinne, da es selbständig geeignete Blickrichtungen sucht, Wissen verwendet um die Interpretationen einzuschränken und während der Beobachtung Kollisionen vermeidet. Von besonderer Bedeutung ist die Erlangung von robusten und zuverlässigen Ergebnissen durch den Einsatz von situationsbedingten Zusammenhängen und dem Wissen aus Modellen. Die robuste Wahrnehmung und Interpretation der Szenen ist die Schlüsseltechnik um die relevante Information zu gewinnen und um die beobachtete Aktion eines Experten in einer geeigneten Repräsentation (z.B., mittels Zugriff auf den Aktionsnahmen) und mit einem komfortablen Werkzeug (z.B. mit Virtual oder Augmented Reality Methoden) für einen Auszubildenden wiederzugeben.
Mit der abschließenden Begutachtung am 19. Okt. 2004 konnte das Projekt ActIPret zur Interpretation von Aktivitäten einer Person mit Objekten erfolgreich beendet werden. Die Gutachter Prof. Kostas Daniilidis (University of Pennsylvania) und Prof. Jan-Olof Eklundh (KTH, Stockholm) sowie die zuständige Kommissarin der EU Kommission Cécile Huet waren einhellig mit den erzielten Forschungsergebnissen zufrieden.
„We were very impressed by the final results, both in terms of the integration as well as the individual parts. We really praise the life demo and integration, as opposed to other projects that on wider scope end up in indefinite processing. We learned a lot about the science of vision by integrating individual components very successfully. We are really extremely happy, amazing that you did so much in three years.“
Das Projekt vereinte 5 Forschungsinstitute um automatisch zu interpretieren wann Menschen ein Objekt nehmen oder einen Knopf drücken. Dazu wurden Methoden der Bildverarbeitung verwendet um der Handbewegung zu folgen und Handgesten als auch Armgesten zu erkennen, die Gegenstände zu finden, zu erkennen und zu verfolgen, die räumlichen und zeitlichen Zusammenhänge zu analysieren und schließlich zu verwenden, um aus den Bilddaten eine verbale Abstraktion der Tätigkeit zu erhalten.
Die wichtigsten wissenschaftlichen Erkenntnisse sind:
Um die Teile des Schiffsrumpfes zu verschweißen und die Qualität der Schweißnaht zu prüfen, muss ein sechsbeiniger Roboter in den Schiffsrumpf navigiert werden. Da das Modell des Schiffes vorhanden ist, kann die CAD- Information verwendet werden, um den Roboter mittels eines Bildverarbeitungssystems zu ermöglichen. Die Bildverarbeitung erkennt Merkmale wie Linien, Ellipsen, Eckpunkte oder Regionen und aus der Verknüpfung mit dem CAD-Modell kann die Position und Orientierung des Roboters im Schiff laufend berechnet werden. Ein Stereo-Kamera-Kopf und eine rückwärts schauende Kamera sorgen dafür, dass der Roboter in allen Positionen genügend Merkmale in der Umgebung sehen kann. Als zukünftiger Schritt sollen die Daten zusätzlich verwendet werden, um die aktuellen Maße des Schiffes den idealen Maßen der Konstruktion gegenüberzustellen. Das Projekt hat 5 Partner aus Europa und einen kostenmäßigen Umfang von 1125 kECU, von denen die EU 750 kEURO als Förderung aufbringt.
Für weitere Informationen, bitte besuchen Sie die englischsprachige Webseite.
Das Ziel des Projektes FlexPaint ist der Aufbau eines Systems zur vollautomatisierten Lackierung aller Teile einer Lackierstraße. Dies gilt vor allem für Lackierstraßen mit Losgröße eins. Das heißt, dass ohne Wissen über die Art und die exakte Lage der Teile diese lackiert werden sollen. Das Projekt wird eine Lösung basierend auf Range-Sensoren und einer automatischen Bahnberechnung erarbeiten. Die technischen Probleme werden von den akademischen Partnern des Projektes gelöst. Diese haben bereits den ersten Prototyp entwickelt und getestet.
Alle diese Schritte erfolgen vollautomatisch und das Einschreiten eines Bedieners ist nicht notwendig. Alle eintreffenden Teile können vermessen und lackiert werden. Das System arbeitet in Echtzeit. D.h., die Zykluszeit wurde so gewählt, dass die Sensorzelle direkt vor der Lackierzelle plaziert werden kann und die Geschwindigkeit des Förderbandes nicht verlangsamt werden muß.
Model-based object tracking has become an important means to perform robot navigation and visual servoing tasks. Until today it is still difficult to define robustness parameters which allow the direct comparison of tracking approaches and that provide objective measures of progress achieved with respect to robustness. Particularly, extensive algorithm testing is an obstacle because of the difficulty to extract ground truth. In this paper, we propose a methodology based on the evaluation of a video database which contains real-world image sequences with well-defined movements of modeled objects. It is suggested to set up and extend this database as a benchmark. Moreover, tests of the performance evaluation of the tracking system V4R (Vision for Robotics) are presented.
First image preview | Sequence description | Sequence zipped
Gray cube moving backwards left | gray_cube1.zip
Gray cube moving backwards left | gray_cube2.zip
Color cube moving backwards left | color_cube3.zip
Color cube moving backwards left | color_cube4.zip
Color cube moving towards right | color_cube5.zip
Color cube moving towards right | color_cube6.zip
Magazine box moving backwards left | magazine_box7.zip
Magazine box moving backwards left | magazine_box8.zip
Magazine box moving towards right | magazine_box9.zip
Magazine box moving towards right | magazine_box10.zip
Toy copter moving backwards left | toy_copter11.zip
Toy copter moving backwards right | toy_copter12.zip
Toy copter moving backwards right | toy_copter13.zip
* This work has been supported by the EU-Project ActIPret under grant IST-2001-32184.
Das Trainings-Optimierungs-System eignet sich für:
Automatisches Erfassen der Ballflugbahn mit PC-gesteuertem Zweikamerasystem Bestimmung der Ballposition auf 5cm genau und Bestimmung der Schußschärfe auf ± 1 % der Ballgeschwindigkeit.