Mobile Empfehlungssysteme mit integriertem Eye-Tracking

  • Subject:Mobile Empfehlungssysteme mit integriertem Eye-Tracking
  • Type:Bachelorarbeit, Masterarbeit
  • Date:sofort
  • Supervisor:

    Dr. Jella Pfeiffer

  • Im Alltag empfinden wir Entscheidungssituationen häufig als (zu) komplex, wenn unsere Kapazitäten zur Informationsverarbeitung überschritten werden, wenn wir wichtige Informationen nicht wahrnehmen (können) oder wenn diese Informationen nicht verfügbar sind. In einem Projekt entwickeln wird deshalb einen Prototyp eines mobilen interaktiven Informationssystems zur Entscheidungs¬unterstützung in Form einer aufmerksamen intelligenten Brille. Die Brille soll die Augenbewegungen des Trägers verfolgen, sich dynamisch an die Bedürfnisse des Trägers anpassen und Entscheidungs¬prozesse im Dialog mit dem Träger unterstützen.

    Neu dabei ist, dass die intelligente Brille die Umgebung mittels einer Szenenkamera und die Augenbewegungen des Trägers mittels Eyetracking in Echtzeit verfolgen soll. Die ermittelte visuelle Aufmerksamkeit soll genutzt werden, um Rückschlüsse auf kognitive Prozesse während des Entscheidungs¬prozesses zu ziehen, um dann mittels eines zu entwickelnden Empfehlungs¬algorithmus Handlungsempfehlungen zu bestimmen. Ein interaktiver, multimodaler Mensch-Maschine-Dialog soll die Bestimmung der vom System benötigten Informationen und die Vermittlung der vom Träger benötigten Informationen erleichtern. 

                                             

    Als konkreter Anwendungsfall soll eine Entscheidungsunterstützung für den stationären Handel dienen. Hier sind Menschen auf Grund der Fülle an Produktinformationen mit sehr komplexen Entscheidungssituationen konfrontiert oder müssen sich in speziellen Situationen, beispielsweise bei verordneten Ernährungsplänen, plötzlich neu orientieren. Eine intelligente Brille könnte den Betroffenen helfen, indem sie die Komplexität der einzelnen Entscheidungs¬situationen reduziert.

     

     

    Ziele der unterschiedlichen Arbeiten

    Im Rahmen des Projektes vergeben wir mehrere Abschlussarbeiten. Mögliche Fragestellungen, die die unterschiedlichen Arbeiten beantworten sollen sind:

    1)    Entwicklung eines virtuellen Supermarktregals und Durchführung eines Experiments in der virtuellen Realität (vergeben)

    Diese Arbeit wird in Kooperation mit der Universität Bielefeld (CITEC) und der Universität von Süd-Dänemark durchgeführt. Im CITEC haben wir eine Cave (Cave Automatic Virtual Environment) zur Verfügung. Ziel ist es, ein Supermarktregal in der virtuellen Umgebung zu implementieren und dann im Cave Einkaufsverhalten vorm Supermarktregal zu untersuchen. Dabei sollen die Blickbewegungen der Einkäufer aufgezeichnet und Blickbewegungsmuster (z.B. Anzahl der betrachteten Produkte, welche Informationen werden dann angeschaut) zum Lernen über Benutzerpräferenzen verwendet werden.
    Kenntnisse, die von Vorteil sind:

    • Interesse an Computergrafik (Produkte müssen eingescannt werden, realitätsgetreu in der virtuellen Umgebung modelliert werden)
    • Interesse an Eye-Tracking und Durchführung von Experimenten
    • Erfahrung mit Datenauswertung (Statistikkenntnisse, Kenntnisse in R/STATA)

     

    2)    Klassifikationsalgorithmen zur Unterscheidung unterschiedlicher Einkaufssituationen anhand von Blickdaten (vergeben)

    Anhand von vorliegenden mobilen Eyetracking-Daten aus einem Experiment im Supermarkt, sollen unterschiedliche Klassifikationsalgorithmen vergleichen werden, um anhand der Blickbewegungen schon früh in der Entscheidungssituation (Einkauf vorm Supermarktregal) die Einkaufssituation zu klassifizieren. Ein Benchmark mit einer logistischen Regression liegt vor. 
    Kenntnisse, die notwendig sind:

    • Machine Learning / Klassifikationsalgorithmen, z.B. Decision Trees.
    • Programmierkenntnisse, auch um Datenaufarbeitung zu erleichtern (z.B. Matlab oder Mathematica)

     

    3)    On-the-fly Bilderkennung der betrachteten Produkte

    Beim mobilen Eye-Tracking müssen die Videos über die Blickbewegungen der Probanden momentan noch nach der Aufnahme manuell annotiert werden, d.h. Menschen müssen für jede Fixation zuweisen, welches Objekt und welcher Inhalt gerade betrachtet wird (z.B. Produkt, Preisinformation, Markenlogo). Dieser Prozess soll automatisiert werden.

    Kenntnisse, die notwendig sind:

    • Computer Vision
    • Programmierkenntnisse

     

    4)    Fragebogenstudie zu Informationsbedürfnissen und Benutzer-Anforderungen mit Hilfe von realen Mock-Ups

    Ziel der Arbeit ist es herauszufinden, welche Anforderungen zukünftige Nutzer an das System haben, d.h. welche Art von Informationen und Funktionalitäten sie sich wünschen. Mit Hilfe von Mock-Up Videos soll das geplante System mit Beispielfeatures präsentiert werden und darauf basierend die Anforderungen der Benutzer bestimmt werden.

    Kenntnisse, die hilfreich sind:

    • Erfahrung im Design von Fragebögen und evtl. auch Präferenzmessung (z.B. Conjoint)
    • Videoverarbeitung und Grafikkenntnisse zum Erstellen der Mock-Ups