SMART MULTICODAL GRAPHICS SEARCH: SMULGRAS

Im Laufe der letzten Jahre lässt sich getrieben durch höhere Netzwerkbandbreiten und die Verbreitung leistungsstarker mobiler Endgeräte ein rasantes Wachstum weltweiter Bild- und Videobestände verzeichnen. Im Zuge dieser Entwicklungen ist u.a. das Forschungsfeld der inhaltsbasierten Bild- und Videosuche entstanden, mit der Zielsetzung, ähnlichkeitsbasiert Bilder bzw. Videos in großen Datenbanken zu lokalisieren. Anwendungsfelder dieser Technologie reichen von der mobilen Suche nach Produkten und der Verwertung umfangreicher Bildarchive bis hin zur Aufspürung von Urheberrechtsverletzungen (vgl. Google’s C ontent ID) oder von illegalem Bildmaterial wie Kinderpornographie. Gleichzeitig erfährt die 3DModellierung/Rekonstruktion und Echtzeit3DDarstellung von Objekten mit neuen APIs wie WebGL und Anwendungsbereichen wie 3DDruck immer weitere Verbreitung und hat nun, neben klassischen Anwendungsfeldern in Computeranimation und CAD, auch den ConsumerBereich erreicht. Ähnlich wie bei der Bildsuche ist hier das Retrieval von geeigneten 3DModellen und deren Austausch und Integration über verschiedene Anwendungsplattformen hinweg von großem Interesse. Eine offene Fragestellung besteht dabei jedoch vor allem in der Verknüpfung der Modalitäten “Bild” und “3DModell”: Kann zu einem gegebenen Foto oder Screenshot aus einer Menge von 3DModellen automatisiert jenes gefunden werden, das dem Anfragebild zugrunde liegt? Und lassen sich umgekehrt Bilddatenbanken oder das Internet mit einem 3DAnfragemodell nach jenen Bildern durchsuchen, die aus dem Modell entstanden sind? Eine solche multicodale Suche, also eine Suche per Bild / 3DModell nach 3DModell / Bild, soll daher Gegenstand des Vorhabens SMULGRAS sein. Sie bietet gegenüber einer rein bildbasierten Suche (deren Bilder sich etwa aufgrund unterschiedlicher Perspektiven, Texturierung und/oder Beleuchtung z.T. deutlich unterscheiden) u.a. das Potential einer höheren Genauigkeit.
SMULGRAS vereinigt interdisziplinäre Expertise in den Bereichen interaktive 3DComputergrafik im Web (Prof. Dr. Y. Jung, Hochschule Fulda) und inhaltsbasierte Bildsuche (Prof. Dr. A. Ulges, Hochschule RheinMain), und stellt in Zusammenarbeit mit den beiden Partnern aus der angewandten Forschung sowie dem Anwendungspartner I ntelligentGraphics GmbH einen direkten Anwendungsbezug her. Darüber hinaus eröffnet sich über das Thema multicodale Suche eine Reihe innovativer Anwendungsmöglichkeiten im Kontext des TrendThemas “Industrie 4.0”, von der passgenauen, bildbasierten Suche in Produktkatalogen bis hin zur Aufspürung von ProduktPiraterie. Hier soll SMULGRAS auch den Grundstein für ein weiterführendes Forschungsvorhaben in Zusammenarbeit mit den Partnern Fraunhofer IGD und DFKI legen.

Projektleiter: Verbundvorhaben Prof. Dr. Adrian Ulges (Hochschule RheinMain) mit Prof. Dr. Yvonne Jung (Hochschule Fulda)