Skip to end of metadata
Go to start of metadata

Titel

AR-LabGlasses

Studenten

Filippo Pitrella, Michael Schefer

Betreuer

Prof. Dr. Markus Stolze

Abstract

Eines der Probleme die bei der Bedienung von Laborgeräten auftreten können, ist, dass durch die Berührung mit den Händen oder Handschuhen, Stoffe auf das Gerät übertragen werden können. Besonders bei der Arbeit mit pharmakologischen und toxischen Substanzen kann dies problematisch sein, weil das Gerät kontaminiert werden könnte. Ein weiteres Problem ist, dass der Blick des Laboranten für das Ablesen von Messwerten ständig zwischen der Anzeige und dem Arbeitsbereich hin- und her wandert, was sich negativ auf die Konzentration auswirkt.

Zu Evaluierungszwecken wird im Rahmen dieser Studienarbeit die Android Applikation AR-LabGlasses entwickelt, mit dem Ziel die oben genannten Probleme zu lösen. Die Applikation ermöglicht es dem Benutzer ein Laborgerät mittels offline basierter Sprachsteuerung zu bedienen. Alle relevanten Daten werden ihm auf einem Display, direkt vor dem Auge angezeigt. Als Zielplattform gilt grundsätzlich die Datenbrille M100 der Firma Vuzix. Die Applikation kann aber auch auf jedem anderen Android Gerät ab Version 4.0.4, welches über eine Kamera und Bluetooth verfügt, verwendet werden. Die Spracherkennung basiert auf der Pocketsphinx 0.8 Library der Carnegie Mellon University. Die Datenübertragung zwischen Datenbrille und Laborgerät erfolgt über Bluetooth (Serial Port Profile). Der Verbindungsaufbau, wird durch das Scannen eines QR-Codes initiiert.

Die entstandene Applikation erfüllt unter idealen Bedingungen die gestellten Anforderungen. Die Erkennung von QR-Codes funktioniert hervorragend. Allerdings schwankt die Erkennungsrate der Sprachbefehle stark zwischen verschiedenen Anwendern und Umgebungen. Zum einen liegt das daran, dass aus Sicht der Spracherkennung, generell nur die ausgesprochene Information wichtig ist. Alles andere wie allfällige Dialekte, unterschiedliche Stimmen und Lautfolgen und die akustische Umgebung sind Störungen die, die zu erkennenden Sprachsignale anders aussehen lassen, selbst dann, wenn mehrmals das gleiche gesagt wird. Diese grundsätzlichen Schwierigkeiten sind in dieser Studienarbeit zusätzlich noch durch eine reduzierte Audio-Abtastrate des Endgeräts, verstärkt worden. Ausserdem muss ein kleines Acoustic Model und Dictionary verwendet werden, um den Footprint auf der Brille niedrig zu halten. Um diesen Einschränkungen ein wenig entgegenzuwirken, ist eine kontextbasierte Erkennung eingebaut worden.

Auch hat sich gezeigt, dass die Ergonomie der verwendeten Datenbrille M100 nicht ideal ist. Die Position der Brille ist nicht stabil genug und muss von Zeit zu Zeit korrigiert werden. Das Display ist nicht durchsichtig und verdeckt einen Teil der Sichtfelds des Benutzers. Zusätzlich ist der ständige Fokuswechsel zwischen Display und Hintergrund auf Dauer ermüdend.

Des Weiteren ist festgestellt worden, dass auch bei sprachgesteuerten Systemen, eine visuelle Unterstützung sehr hilfreich ist. Dies kann beispielsweise durch Darstellung von Sprachbefehlen als Buttons erreicht werden, oder durch direktes Erkennungsfeedback in Textform, damit der Benutzer sofort sieht, ob er richtig verstanden wurde.

Tests haben ergeben, dass Aufgrund der mangelnden Spracherkennung, ein Einsatz in der Industrie nicht sinnvoll ist. Die anderen Komponenten der Applikation funktionieren allerdings sehr gut, wodurch eine Lösung welche die Erkennungsproblematik verringert, z.B. durch Einsatz einer online basierten Spracherkennung, potentiell besser einsetzbar wäre.

  • No labels