SceneNet - Mobile Crowd Sourcing Video Scene Reconstruction

Logo SceneNet

Bearbeiter: Peter Maaß, Amir Egozi
Projektförderung: Europäische Union, Future Emerging Technologies FET-Open
Projektträger: European Commission (EC)
Partner: Pierre Vandergheynst, EPFL, Schweiz; SagivTech Ltd., Israel; Steinbeis Innovationszentrum SCiLS, Steinbeis Innovation gGmbH; Oliver Panzer, European Research Services GmbH
Laufzeit: 01.02.2013 - 31.01.2016

Seit einigen Jahren kommen Konzerte, Sportereignisse oder Familienfeiern kaum mehr ohne das Filmen der Szenen mit Smartphones aus. Diese Videos zeigen nur einen kleinen Blickwinkel des Szenarios und sind oft von geringer Qualität. Das Projekt SceneNet zielte darauf ab, audio-visuelle Aufnahmen eines öffentlichen Ereignisses in eine Videosequenz von höchster Qualität zu übertragen. In diesem Video kann dann ein Event aus verschiedensten Blickwinkeln interaktiv begutachtet werden.

Zu den Hauptaufgaben der AG Technomathematik gehörten hierbei die Entwicklung von neuartigen Präprozessierungsmethoden für die Daten auf den verwendeten Servern inklusive räumlicher Kalibrierung und Registrierung sowie Synchronisation (zeitlich, audio).

Für das SceneNet-Projekt konnten prominente Mitglieder für das Advisory Board gewonnen werden, die das Projekt tatkräftig unterstützen: der israelische Singer-Songwriter und Gitarrist Izhar Ashdot, Malte Blumenthal (Vizepräsident E-Commerce der CTS-Eventim AG), Prof. Dr. Hans-Georg Stark (Hochschule Aschaffenburg) sowie Prof. Dr. Franziska Böhm (Universität Münster).

Nach dem großen Erfolg des Audio-Visual-Gestalt-Workshops im September 2014 in Bremen wurde im Rahmen des SceneNet-Projektes der zweite AVG-Workshop im Oktober 2015 organisiert, diesmal in Lissabon, Portugal. Beide Workshops befassten sich mit der Frage, wie zahlreiche audio-visuelle Quellen genutzt werden können, um ein verbessertes Erlebnis einer bestimmten Szene zu erhalten, das mit anderen geteilt werden kann. In Lissabon wurden zahlreiche Aspekte zu diesem Thema diskutiert, wie beispielsweise Erhebung und Synchronisation von Daten, 3D/4D-Datenrekonstruktion und Visualisierungsaspekte. Hauptredner waren Prof. Pedro Assunçao (Politechnisches Institut Leiria, Portugal), Dr. Nuno Correia (Neue Universität Lissabon, Portugal) sowie Prof. Hans-Georg Stark (Hochschule Aschaffenburg). Neben dem SceneNet-Konsortium nahmen die Vertretungen von sechs weiteren EU-geförderten Projekten teil. Dazu zählten c-Space, HANDiCAMS, Harvest4D, PHENICX, FOKUS K3D und ICoSOLE. Da diese auch bei dem ersten Workshop in Bremen vertreten waren, wurde den Teilnehmerinnen und Teilnehmern des Workshops in Lissabon gleichzeitig ein guter Einblick in die zwischenzeitigen Fortschritte und Entwicklungen dieser EU-Projekte gewährt.

Am Ende des Projektes wurde SceneNet von Gutachter*innen und Europäischer Kommission gleichermaßen als „exzellent“ bewertet. Bei dem Abschlusstreffen, das im März 2016 in Bremen stattfand, wurde eine beeindruckende Live-Demo sowie eine konzeptuelle Website präsentiert.