Digitale visuelle Medieninhalte entwickeln sich weltweit zu einem dominierenden Medientypus und sind ein zukünftiges Schlüsselmedium für die Digitalisierung. So nutzen zum Beispiel ein Drittel aller Internetnutzer das Videoportal YouTube, auf dem derzeit täglich ca. 5 Milliarden Videos angesehen und ca. 300 Stunden Videomaterial pro Minute hochgeladen 1 werden. Größtenteils handelt es sich um User-Generated Contents (UGC), die mit immer höherer zeitlicher und räumlicher Auflösung aufgenommen werden. Ihre Nutzung findet dabei in einem Geräteökosystem statt – Videos z.B. werden auf Smartphones aufgenommen, auf Tablets bearbeitet, am Desktop professionell nachbearbeitet und über Software-as-a-Service-Systeme hochgeladen und verteilt. Die Fortschritte sowohl bei der digitalen Kameratechnologie und der Sensorik als auch bei der nachgelagerten Analyse und Prozessierung ermöglichen absehbar z.B. Stereoaufnahmen in Verbindung mit daraus abgeleiteten Tiefeninformationen oder klassifizierte Bildinhalte durch Computer Vision und maschinelles Lernen. Im Folgenden bezeichnen wir mit dem Begriff “erweiterte visuelle Medieninhalte” (Abb. 1) digitale Bild und Videodaten, die neben Farbinformationen auch geometrische und semantische Attribute besitzen, z.B. 3DTiefeninformation, Bewegungsinformation (optischer Fluss), Verhaltensinformation oder Objektklassifikation.
Bisherige Verfahren und Techniken in den Bereichen Visual Computing und Smart Graphics stehen hier vor vielfältigen Herausforderungen: Wie können diese Verfahren und Techniken 3D-Geometrie und Bildsemantik, die über entsprechende Hardware bzw. durch mittlerweile anwendungsreife maschinelle Lernverfahren herleitbar sind, nutzen und durch Anwendungen in Wert setzen? Kamera und Sensortechnologien benötigen zwingen entsprechende Software, um Wertschöpfung in vollem Umfang zu ermöglichen. Welche generischen Visual-Computing und Smart-Graphics-Bausteine lassen sich identifizieren, mit denen Anwendungen modular konstruiert und die Komplexität der Softwareentwicklung signifikant verringert werden kann? Ohne komponentenbasierte Softwareentwicklung entstehen enorme Aufwände bzgl. Time-to-Market, Personalressourcen, Testing und Expertenwissen (z.B. zu Neural Networks, 3D-GPU-Pipelines, OS und Hardware-Diversität).
Ziel des Vorhabens ist es, das Software-Framework mdViPro zu erforschen und zu entwickeln, mit dem effizient, modular und interoperabel Visual-Computing und Smart-Graphics-Lösungen für erweiterte visuelle Medieninhalte in einem Geräteökosystem realisiert werden können.
Digital Masterpieces GmbH
August-Bebel-Str. 26-53
14482 Potsdam
Hasso-Plattner-Institut für Digital Engineering gGmbH
Fachgebiet Computergrafische Systeme
Prof.-Dr.-Helmert-Str. 2-3
14482 Potsdam
graphicsmedia.net gGmbH
Trippstadter Str. 122
67663 Kaiserslautern
Gefördert duch das BMBF (Förderkennzeichen 01IS18092).
Projektträger:
Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR), DLR Projektträger
PT-FW
Rosa-Luxemburg-Straße 2
10178 Berlin.
Ansprechpartner:
Sebastian Pasewaldt
Digital Masterpieces GmbH
E-Mail: mail@digitalmasterpieces.com
Max Reimann
Hasso-Plattner-Institut für Digital Engineering gGmbH
E-Mail: max.reimann@hpi.de