Master-Projekt: „Ich sehe was, was du nicht siehst”

Inhalt

Wintersemester 2018/19 & Sommersemester 2019

Betreuer: Felix Putze, Celeste Mason, Dennis Küster, Cognitive  Systems Lab 

Kurzbeschreibung: Ein intelligentes System soll in die Lage versetzt werden, „Ich sehe was, was du nicht siehst“ mit einem Menschen zu spielen. Aus der Beobachtung des Menschen und der Szene soll das System dabei immer schwierigere Objekte möglichst zuverlässig erkennen und beschreiben. Hierfür können zahlreiche vorhandene Sensoren miteinander kombiniert werden. 

Bei dem klassischen Kinderspiel „Ich sehe was, was du nicht siehst“ sucht sich ein Spieler heimlich ein Objekt in einer Szene aus und beschreibt dieses, z.B. anhand der Farbe, Form oder Funkton. Ein anderer Spieler versucht, das Objekt zu erraten. In diesem Projekt soll ein intelligentes System für die Rolle des Ratenden entwickelt werden.

Dazu soll das System eine Reihe von Sensoren und Datenverarbeitungskomponenten nutzen, um relevante Informatonen zu extrahieren und zu aggregieren. Mitels Methoden der künstlichen Intelligenz und des maschinellen Lernens analysiert das System zunächst die vom Spieler gegebene Beschreibung sowie ihre/seine Blickbewegungen bezogen auf sichtbare Objekte innerhalb der Szene. Diese Informatonen werden kombiniert, um wahrscheinliche Zielobjekte zu identizieren. Über eine Benutzerschnitstelle kommuniziert das System dann seine Hypothesen an den menschlichen Spieler.

In der Grundausbaustufe des Systems sollen folgende Funktonen umgesetzt werden:

• Verarbeitung textuell eingegebener Aussagen über das ausgewählte Objekt und deren Verknüpfung mit einer semantschen Datenbank 
• Nutzung existerender neuronaler Netzarchitekturen zur Identikaton von Objekten aus Kamerabildern der Szene
• Interpretaton der Blickbewegungen und Fixatonen des Spielers, aufgezeichnet mitels eines mobilen Eyetrackers
• Verknüpfung der Komponenten über eine fexible Middleware und Implementerung des Spielablaufs in einer graischen Oberfäche

Weitere Details finden Sie im Master-Projektbeschreibungsdokument (pdf) unten