Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

SensorBrowser

Verteidigung Diplomarbeit
by

Jan Bobeth

on 4 November 2009

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of SensorBrowser

Sensor-gesteuertes (Web-)Browsing
auf mobilen Endgeräten Verteidigung Diplomarbeit
28.10.2009 Fakultät Informatik
Institut für Systemarchitektur
Professur für Rechnernetze Jan Bobeth
Motivation Hintergrund Konzeption Prototyp Evaluation Gliederung: Sensor-gesteuerte
Interaktion Verwandte Arbeiten Setzt die Metapher real reagierender physischer Objekte um [CKMs07]
Dreidimensionaler Interaktionsraum Statisch Dynamisch Eine Geste ist jede physische Bewegung, die ein System mit Hilfe von Sensoren registrieren kann, ohne zusätzliche Eingabegeräte, wie Maus oder Stift, zu benötigen [Saf08]. Gestenerkennung Gesten Hohe Beliebtheit bei Spielekonsolen
Außerhalb des Spielesektors kaum Sensor-gesteuerte UI
Notwendige Hardware in vielen mobilen Endgeräten vorhanden

Anwendungen durch Eigenbewegungen des mobilen Endgeräts steuern?
Übertragung der Nutzungsfreude möglich? Zunehmende Leistungsfähigkeit mobiler Endgeräte Portierung vieler Desktop-Anwendungen 1992 1998 2003 2008 Unterschiedliche Nutzungsbedingungen Sensor-gesteuerte UI haben großes Potential
[DB08] Einschränkte Ein- und Ausgabemöglichkeiten Deutschliche Unterschiede bei Internetnutzung zwischen stationären PCs und mobilen Endgeräten Anwendungsbeispiel: Webbrowser Komplexe
Suchprozesse
Gezielte und kontextabhängige Informationssuche Hohe Anzahl Websites Explorieren Natürliches Interagieren durch direkte Manipulation
Flexibele Anwendbarkeit auf alle Funktionen
Einhändige Interaktion
Skalierbarkeit
Spaßfaktor Kippbewegungen Schiebebewegungen definiert über
Lage im Raum definiert
über die Zeit Static Peephole Interaction Dynamic Peephole Interaction PhotoBrowser [CKMs07] Peephole Calendar [Yee03] Peephole Map [MYN08] Portrait/Landscape [HPHS05] Shake Tap Eigene Throw Vielen Dank für die Aufmerksamkeit! Erweiterung eines mobilen Webbrowsers um Sensor-gesteuertes UI Herausforderungen:

Zuverlässigkeit



Akkulaufzeit
Rechenleistung

Bessere Erkennung eigener Gesten
Unterscheidung gewollter und ungewollter Gesten Navigation Interaktion System Browser mit
Präsentationstechniken Minimap [RPKV06]
(S60 Browser) Two-Level-Zoom
Skalierung der Textfeldbreite
Einblendung der Webseite zur Orientierung Fishnet [BLH04] Desktop-Browser mit Fisheye über komplette Breite Speed-Dependent-Automatic-Zooming [EMs04] Scrollgeschwindigkeit in Abhängigkeit vom Kippwinkel
Automatischer Zoom in Abhängigkeit der Geschwindigkeit Sensor-basierte Steuerung
von Präsentationstechniken Scrollable UI Zoomable UI Positional Scrolling Speed-Dependent-Automatic-Zooming Kippbewegung für die Navigation
Scrollgeschwindigkeit in Abhängigkeit vom Kippwinkel
Automatischer Zoom in Abhängigkeit der Geschwindigkeit
Verschiedene Variationen
(Flipper, OrthoZoom) Fisheye Statische Gesten für die Navigation
Dynamische Geste zur Initialisierung

Effiziente Möglichkeit zur Navigation
Problematisch auf kleinen Displays
Bei Nutzern unbeliebt Kombinierte Übersicht- und Detailansicht Statische Gesten für die Navigation
Automatische Initialisierung

Erweiterung von Positional Scrolling um Kontextinformationen Two-Level-Zoom Eine dynamische Geste zum Aufrufen

Erweiterung von Positional Scrolling
Effiziente Möglichkeit zum Details betrachten und Überblick schaffen Stufenloser Zoom Statische Gesten zur Navigation
Zoom wird neben Scrolloperationen gleichbrechtigte Präsentationstechnik Statische Gesten für die Navigation (2D)

Grundlegende Technik für Scrolloperationen
Häufig untersucht und eingesetzt Funktionale Anforderungen Ermittlung der Nutzerintention Scroll- und Zoomoperationen für Webseiten werden auf statische Gesten abgebildet

Integration vorgestellter Präsentationstechniken

Statische Gesten auch für Navigation durch Links, Suchergebnisse und Menüs

Umschaltmöglichkeit zwischen Kipp- und Schiebenavigation Aufrufen typischer Browserfunktionen mittels dynamischer Gesten
(Vorherige Seite, Nächste Seite, Neu Laden,
Laden abbrechen, Tab öffnen, Tab schließen,
Lesezeichen öffnen, Zur letzten Ansicht)

Two-Level-Zoom ausführen

Fisheye initialisieren

Eigene Gesten definieren und Gesten löschen

Zuordnung von Gesten zu Funktionalität anpassen Anpassung der Textfeldbreite an die Displaybreite

Automatisches Setzen des Fokus

Überprüfung der Ähnlichkeit mit vorhandenen Gesten bei Aufnahme einer eigenen Geste

Stete Rückmeldung in visueller, haptischer und/oder auditiver Form Ziel: Voraussetzung: Funktionierende Gestenerkennung in Echtzeit (Erkennungsrate mindestens 80%)
Erweiterbarkeit des Browsers Architekturentwurf Geschichtetes Architekturmodell mit Event-basierter Kommunikation zwischen den einzelnen Bausteinen Funktionstüchtiger Prototyp für aktuelles mobiles Endgerät, der die Prinzipien der Konzeption veranschaulicht Ziel: Voraussetzung: Gerät mit inertialen Sensoren
Schnellen Internetzugang
Leistungsfähiges SDK Implementierte Funktionen Vorführung Navigation
Positional Scrolling und mehrstufiger Zoom
Umschaltung zwischen Kipp- und Schiebenavigation

Interaktion (Gestenerkennung durch Bibliothek wiigee.org [SPHB08])
Dynamische Gesten für Aufruf von Browserfunktionen
(Vorherige Seite, Nächste Seite, Adressleiste öffnen)
Eigene Gesten definieren und Gesten löschen
Zuordnung von Gesten zu Funktionalitäten anpassen

System
Anpassung von Textfeldbreite
Visuelle Rückmeldung bei Erkennung dynamischer Geste Kritische Betrachtung Nutzerevaluation Vorgehen:
Vergleich der Erkennungsraten mit Werten von Wiigee (Verwendung der gleichen Gesten)
Erkennungsraten für intuitivere Gesten

Erkenntnisse:
Viele Einflussfaktoren, also:
Möglichst sehr unterschiedliche Gesten definieren,
diese auf verschiedenen Ebenen ausführen,
deren Ausgangslagen leicht modifizieren,
verschiedene Geschwindigkeiten nutzen. Erkenntnisse:
Ermittlung von Translationen mit vorhandenen inertialen Sensoren wegen Rauschen nicht möglich
(Fehlender externer Bezugspunkt)

Lösungsmöglichkeiten:
Nutzung mehrerer und besserer Beschleunigungssensoren
Kamera-basierte Lösung ABlenkung durch Umgebung
EIne Hand
nicht visuelle interaktion
Zugriff auf Kontextinformationen Inertiales Tracking

Beschleunigungssensoren (Magnetometer, Gyroskope)

Erdanziehungskraft ist einziges externes Referenzsystem

UWave [LWZWV09]
Wiigee [SPHB08]

Für Erkennung beider Gestentypen gut geeignet (Translationen schwierig) Optisches Tracking

Kamera


Erkennung von Licht- und Hintergrund- verhätnissen abhängig

TinyMotion [WZC06]
3D-Tracking [MYN08]

Für Erkennung statischer Gesten gut geeignet

Hardware


Probleme



Verfahren


Fazit Gestenerkennung Dynamisch Statisch Schiebebewegungen Kippbewegungen (HTC Dream) Erkenntnisse:
Zufriedenstellende Funktionsweise horizontaler und vertikaler Scrolloperationen (Schwellwerte bei 5°)
Höherer Schwellenwert (25°) für Rotation um z-Achse nötig, um Überlagerung von Scroll und Zoom zu vermeiden

Kein stufenloser Zoom verfügbar, nur feste Schritte (ZoomIn() oder ZoomOut())
Zoomkontrolle nur über Häufigeit des Aufrufs möglich

Lösungsmöglichkeiten:
Nutzung von zusätzlichen Gyroskopen Ziel:
Ermittlung der ersten Eindrücke zu dem System

Vorgehen:
Usability-Test (Durchführung vorgegebener Aktionen mit Think-Aloud-Protokoll)
Standardisierter Fragebogen zu Assoziationen

Probanden:
6 Mitarbeiter der T-Systems MMS davon drei weiblich, 22-36 Jahre, technikaffin, ohne Erfahrung mit Gestensteuerung

Erkenntnisse: "Die Möglichkeit eigene Gesten für die Funktionen zu definieren, ist sehr cool!" "Das Scrollen klappt schon super." "Die Bedienung ist gewöhnungsbedürftig, aber macht viel Spaß." "Oh nein, ich will jetzt nicht zoomen." "Das Konzept ist gut, aber die Massentauglichkeit muss erst noch beweisen werden." [BLH04] Baudisch, Patrick, Bongshin Lee und Libby Hanna: Fishnet, a fish- eye web browser with search term popouts: a comparative evaluation with overview and linear view. In: AVI ’04: Proceedings of the working confe- rence on Advanced visual interfaces, Seiten 133–140, New York, NY, USA, 2004. ACM.
[CKMs07] Cho, Sung-Jung, Yeun-Bae Kim und Roderick Murray-smith: Multi-Context Photo Browsing on mobile devices based on Tilt Dynamics. In: MobileHCI 2007: Proceedings of the 9th international conference on Human computer interaction with mobile devices and services, Seiten 190– 197, New York, NY, USA, 2007. ACM Press.
[EMs04] Eslambolchilar, Parisa und Roderick Murray-smith: Tilt-based Automatic Zooming and Scaling in Mobile Devices - a State-space Implementation. In: MobileHCI 2004: Proceedings of the 6th international conference on Human computer interaction with mobile devices and services, Seiten 120–131, Berlin, Heidelberg, 2004. Springer.
[HPHS05] Hinckley, Ken, Jeff Pierce, Eric Horvitz und Mike Sinclair: Foreground and background interaction with sensor-enhanced mobile devices. ACM Trans. Comput.-Hum. Interact., 12(1):31–52, 2005.
[LWZWV09] Liu, Jiayang, Zhen Wang, Lin Zhong, Jehan Wickramasuriya und Venu Vasudevan: uWave: Accelerometer-based Personalized Gesture Recognition and Its Applications. In: Pervasive Computing, Seiten 1–9, 2009.
[MYN08] Mooser, Jonathan, Suya You und Ulrich Neumann: Large document, small screen: a camera driven scroll and zoom control for mobile devices. In: SI3D ’08: Proceedings of the 2008 symposium on Interactive 3D graphics and games, Seiten 27–34, New York, NY, USA, 2008. ACM.
[Pop07] Poppinga, Benjamin: Beschleunigungsbasierte 3D-Gestenerkennung mit dem Wii-Controller. Diplomarbeit, Carl von Ossietzky Universität Oldenburg, Department für Informatik, Abteilung für Medieninformatik und Multimedia-Systeme, 2007.
[RPKV06] Roto, V., A. Popescu, A. Koivisto und E. Vartiainen: Minimap - A Web Page Visualization Method for Mobile Phones. In: CHI 2006: Extended abstracts on Human factors in computing systems [Cit06], Seiten 35–44.
[Saf08] Saffer, Dan: Designing gestural interfaces - touchscreens and interactive devices. O’Reilly, Beijing, 1st ed. Auflage, 2008.
[SPHB08] Schlömer, Thomas, Benjamin Poppinga, Niels Henze und Susanne Boll: Gesture recognition with a Wii controller. In: TEI ’08: Proceedings of the 2nd international conference on Tangible and embedded interaction, Seiten 11–14, New York, NY, USA, 2008.
[WZC06] Wang, Jingtao, Shumin Zhai und John Canny: Camera Phone Based Motion Sensing: Interaction Techniques, Applications and Performance Study. In: UIST 2006: Proceedings of the 19th ACM Symposium on User Interface Software and Technology, Seiten 101–110, New York, NY, USA, 2006. ACM Press.
[Yee03] Yee, Ka-Ping: Peephole Displays: Pen Interaction on Spatially Aware Handheld Computers. In: CHI ’03: Proceedings of the SIGCHI conference on Human factors in computing systems, Seiten 1–8, New York, NY, USA, 2003. ACM Press. Referenzen Bilder
http://members.shaw.ca/guis2/wm6/solitaire.png
http://members.shaw.ca/guis2/wm6/excelmobile.png
http://www.mobileincanada.com/images/store/htc-touch-diamond.jpg
http://www.resimler.tv/data/media/345/Nokia-7650.jpg
http://www.hangman.de/pictures/handys/e10d.jpg
http://www.samhallas.co.uk/van_toorenburg/transportables/dantronik_detail.jpg
http://farm1.static.flickr.com/151/381384905_acdb665365.jpg
http://netryder.osnn.net/pdc05/pictures/day2/images/Solitaire.PNG
http://quangcaosanpham.com/images/picture/big_32511_32_dell.jpg
http://farm3.static.flickr.com/2191/2059353149_a55ddcce99.jpg
http://www.ratelinx.com/wp-content/themes/ratelinx/images/man_computer_working.jpg
http://www.gesturetekmobile.com/images/gesturetek-tilt-rock-and-roll-lrg.jpg
http://asia.cnet.com/i/r/2007/crave/hh/63001241/shake_pair_b.jpg
http://masalasite.com/wp-content/uploads/2008/10/hold_1024x768.jpg
http://www.maclife.com/files/u55/o2-iphone-uk_0.gif
http://idleparis.co.uk/wp-content/uploads/2009/04/android.jpg
Full transcript