26.07.2001
ActIPret

Interpreting and Understanding Activities of Expert Operators for Teaching and Education

Das Ziel des Projektes ActIPret ist die Entwicklung einer kognitiven Bildverarbeitungsmethodologie und eines entsprechenden Systems, das Aktionen einer Person, die Objekte handhabt, interpretieren und verstehen kann. Der Schwerpunkt liegt auf der aktiven Beobachtung und Interpretation der Aktionen, auf dem Unterteilen der Bildsequenzen in die zugrundeliegenden elementaren Tätigkeiten und auf der Extraktion der relevanten Aktionen und ihrer funktionellen Zusammenhänge. Das System ist aktiv in dem Sinne, da es selbständig geeignete Blickrichtungen sucht, Wissen verwendet um die Interpretationen einzuschränken und während der Beobachtung Kollisionen vermeidet. Von besonderer Bedeutung ist die Erlangung von robusten und zuverlässigen Ergebnissen durch den Einsatz von situationsbedingten Zusammenhängen und dem Wissen aus Modellen. Die robuste Wahrnehmung und Interpretation der Szenen ist die Schlüsseltechnik um die relevante Information zu gewinnen und um die beobachtete Aktion eines Experten in einer geeigneten Repräsentation (z.B., mittels Zugriff auf den Aktionsnahmen) und mit einem komfortablen Werkzeug (z.B. mit Virtual oder Augmented Reality Methoden) für einen Auszubildenden wiederzugeben.

Mit der abschließenden Begutachtung am 19. Okt. 2004 konnte das Projekt ActIPret zur Interpretation von Aktivitäten einer Person mit Objekten erfolgreich beendet werden. Die Gutachter Prof. Kostas Daniilidis (University of Pennsylvania) und Prof. Jan-Olof Eklundh (KTH, Stockholm) sowie die zuständige Kommissarin der EU Kommission Cécile Huet waren einhellig mit den erzielten Forschungsergebnissen zufrieden.
„We were very impressed by the final results, both in terms of the integration as well as the individual parts. We really praise the life demo and integration, as opposed to other projects that on wider scope end up in indefinite processing. We learned a lot about the science of vision by integrating individual components very successfully. We are really extremely happy, amazing that you did so much in three years.“

Das Projekt vereinte 5 Forschungsinstitute um automatisch zu interpretieren wann Menschen ein Objekt nehmen oder einen Knopf drücken. Dazu wurden Methoden der Bildverarbeitung verwendet um der Handbewegung zu folgen und Handgesten als auch Armgesten zu erkennen, die Gegenstände zu finden, zu erkennen und zu verfolgen, die räumlichen und zeitlichen Zusammenhänge zu analysieren und schließlich zu verwenden, um aus den Bilddaten eine verbale Abstraktion der Tätigkeit zu erhalten.

Die wichtigsten wissenschaftlichen Erkenntnisse sind:

• Aktivitäten konnten von Beispielen gelernt werden. Damit wird eine Umsetzung von Signal zu Symbol erreicht.
• Umgekehrt kann durch die Verwendung von Symbolen die Verarbeitung stark fokussiert werden und somit eine semantische Interpretation erzielt werden.
• Das Problem Symbole mit Daten zu versehen konnte auf diese Art erstmals von beiden Richtungen untersucht werden.
• Robustheit von mehrere Komponenten (Hand/Objektverfolgung und Erkennung) in beliebiger Umgebung konnte durch die Hilfe von multiplen Merkmalen erreicht werden.
• Das Werkzeug zur Integration von 10 Komponenten wird bereits in einem anderen Projekt und bei Diplomarbeiten eingesetzt.

  26.07.2000
RobVision

Die Steuerung eines sechsbeinigen Roboter in einen Schiffsrumpf

Um die Teile des Schiffsrumpfes zu verschweißen und die Qualität der Schweißnaht zu prüfen, muss ein sechsbeiniger Roboter in den Schiffsrumpf navigiert werden. Da das Modell des Schiffes vorhanden ist, kann die CAD- Information verwendet werden, um den Roboter mittels eines Bildverarbeitungssystems zu ermöglichen. Die Bildverarbeitung erkennt Merkmale wie Linien, Ellipsen, Eckpunkte oder Regionen und aus der Verknüpfung mit dem CAD-Modell kann die Position und Orientierung des Roboters im Schiff laufend berechnet werden. Ein Stereo-Kamera-Kopf und eine rückwärts schauende Kamera sorgen dafür, dass der Roboter in allen Positionen genügend Merkmale in der Umgebung sehen kann. Als zukünftiger Schritt sollen die Daten zusätzlich verwendet werden, um die aktuellen Maße des Schiffes den idealen Maßen der Konstruktion gegenüberzustellen. Das Projekt hat 5 Partner aus Europa und einen kostenmäßigen Umfang von 1125 kECU, von denen die EU 750 kEURO als Förderung aufbringt.

Für weitere Informationen, bitte besuchen Sie die englischsprachige Webseite.

  26.07.2000
FlexPaint

Das Ziel des Projektes FlexPaint ist der Aufbau eines Systems zur vollautomatisierten Lackierung aller Teile einer Lackierstraße. Dies gilt vor allem für Lackierstraßen mit Losgröße eins. Das heißt, dass ohne Wissen über die Art und die exakte Lage der Teile diese lackiert werden sollen. Das Projekt wird eine Lösung basierend auf Range-Sensoren und einer automatischen Bahnberechnung erarbeiten. Die technischen Probleme werden von den akademischen Partnern des Projektes gelöst. Diese haben bereits den ersten Prototyp entwickelt und getestet.

• Die Teile werden mit einem oder mehreren Range-Sensoren erfaßt.
• Aus den Punktwolken wird die Geometrie der Teile berechnet.
• Aus den Geometrievermessungen wird eine Roboterbahn für die Lackierung berechnet.
• Aus dieser Bahn wird das Programm für den Roboter erstellt.

Alle diese Schritte erfolgen vollautomatisch und das Einschreiten eines Bedieners ist nicht notwendig. Alle eintreffenden Teile können vermessen und lackiert werden. Das System arbeitet in Echtzeit. D.h., die Zykluszeit wurde so gewählt, dass die Sensorzelle direkt vor der Lackierzelle plaziert werden kann und die Geschwindigkeit des Förderbandes nicht verlangsamt werden muß.

  12.06.2000
Tracking Evaluation

A Methodology for Performance Evaluation of Model-based Tracking*

Model-based object tracking has become an important means to perform robot navigation and visual servoing tasks. Until today it is still difficult to define robustness parameters which allow the direct comparison of tracking approaches and that provide objective measures of progress achieved with respect to robustness. Particularly, extensive algorithm testing is an obstacle because of the difficulty to extract ground truth. In this paper, we propose a methodology based on the evaluation of a video database which contains real-world image sequences with well-defined movements of modeled objects. It is suggested to set up and extend this database as a benchmark. Moreover, tests of the performance evaluation of the tracking system V4R (Vision for Robotics) are presented.

Video database of real-world image sequences

First image preview | Sequence description | Sequence zipped

 Gray cube moving backwards left | gray_cube1.zip

 Gray cube moving backwards left | gray_cube2.zip

 Color cube moving backwards left | color_cube3.zip

 Color cube moving backwards left | color_cube4.zip

 Color cube moving towards right | color_cube5.zip

 Color cube moving towards right | color_cube6.zip

 Magazine box moving backwards left | magazine_box7.zip

 Magazine box moving backwards left | magazine_box8.zip

 Magazine box moving towards right | magazine_box9.zip

 Magazine box moving towards right | magazine_box10.zip

 Toy copter moving backwards left | toy_copter11.zip

 Toy copter moving backwards right | toy_copter12.zip

 Toy copter moving backwards right | toy_copter13.zip

* This work has been supported by the EU-Project ActIPret under grant IST-2001-32184.

  12.06.2000
TOS

Trainings Optimierungs System

• Ballverfolgung
• Stereo-Bildverarbeitung
• statistische Auswertung

Beschreibung

Das Trainings-Optimierungs-System eignet sich für:

Automatisches Erfassen der Ballflugbahn mit PC-gesteuertem Zweikamerasystem Bestimmung der Ballposition auf 5cm genau und Bestimmung der Schußschärfe auf ± 1 % der Ballgeschwindigkeit.