ActIPret

Interpreting and Understanding Activities of Expert Operators for Teaching and Education

Das Ziel des Projektes ActIPret ist die Entwicklung einer kognitiven Bildverarbeitungsmethodologie und eines entsprechenden Systems, das Aktionen einer Person, die Objekte handhabt, interpretieren und verstehen kann. Der Schwerpunkt liegt auf der aktiven Beobachtung und Interpretation der Aktionen, auf dem Unterteilen der Bildsequenzen in die zugrundeliegenden elementaren Tätigkeiten und auf der Extraktion der relevanten Aktionen und ihrer funktionellen Zusammenhänge. Das System ist aktiv in dem Sinne, da es selbständig geeignete Blickrichtungen sucht, Wissen verwendet um die Interpretationen einzuschränken und während der Beobachtung Kollisionen vermeidet. Von besonderer Bedeutung ist die Erlangung von robusten und zuverlässigen Ergebnissen durch den Einsatz von situationsbedingten Zusammenhängen und dem Wissen aus Modellen. Die robuste Wahrnehmung und Interpretation der Szenen ist die Schlüsseltechnik um die relevante Information zu gewinnen und um die beobachtete Aktion eines Experten in einer geeigneten Repräsentation (z.B., mittels Zugriff auf den Aktionsnahmen) und mit einem komfortablen Werkzeug (z.B. mit Virtual oder Augmented Reality Methoden) für einen Auszubildenden wiederzugeben.

Mit der abschließenden Begutachtung am 19. Okt. 2004 konnte das Projekt ActIPret zur Interpretation von Aktivitäten einer Person mit Objekten erfolgreich beendet werden. Die Gutachter Prof. Kostas Daniilidis (University of Pennsylvania) und Prof. Jan-Olof Eklundh (KTH, Stockholm) sowie die zuständige Kommissarin der EU Kommission Cécile Huet waren einhellig mit den erzielten Forschungsergebnissen zufrieden.
“We were very impressed by the final results, both in terms of the integration as well as the individual parts. We really praise the life demo and integration, as opposed to other projects that on wider scope end up in indefinite processing. We learned a lot about the science of vision by integrating individual components very successfully. We are really extremely happy, amazing that you did so much in three years.”

Das Projekt vereinte 5 Forschungsinstitute um automatisch zu interpretieren wann Menschen ein Objekt nehmen oder einen Knopf drücken. Dazu wurden Methoden der Bildverarbeitung verwendet um der Handbewegung zu folgen und Handgesten als auch Armgesten zu erkennen, die Gegenstände zu finden, zu erkennen und zu verfolgen, die räumlichen und zeitlichen Zusammenhänge zu analysieren und schließlich zu verwenden, um aus den Bilddaten eine verbale Abstraktion der Tätigkeit zu erhalten.

Die wichtigsten wissenschaftlichen Erkenntnisse sind:

• Aktivitäten konnten von Beispielen gelernt werden. Damit wird eine Umsetzung von Signal zu Symbol erreicht.
• Umgekehrt kann durch die Verwendung von Symbolen die Verarbeitung stark fokussiert werden und somit eine semantische Interpretation erzielt werden.
• Das Problem Symbole mit Daten zu versehen konnte auf diese Art erstmals von beiden Richtungen untersucht werden.
• Robustheit von mehrere Komponenten (Hand/Objektverfolgung und Erkennung) in beliebiger Umgebung konnte durch die Hilfe von multiplen Merkmalen erreicht werden.
• Das Werkzeug zur Integration von 10 Komponenten wird bereits in einem anderen Projekt und bei Diplomarbeiten eingesetzt.