cancom

RE’FLEKT Labs: Sensor-Fusion-Tracking für Augmented Reality

Unsere Smart­phones bieten noch viele unge­nutzte Möglich­keiten – insbe­son­dere für Augmented Reality. Wer ahnt schon was Iner­ti­al­sen­soren, Gyro­skop und Acce­le­ro­meter alles können?  Der Sensor-Fusion-Ansatz von Felix Löhr beschreibt, wie unter­schied­liche Tracking-Verfahren fusio­niert werden können. Der Nutzen daraus soll ein perfor­mantes und stabiles Tracking-System sein, das zu jeder Zeit eine stabile Pose­be­stimmng auf mobilen Geräten erlaubt.

Das Tracking – also die initiale Erken­nung eines Objekts und dessen Bewe­gungs­er­fas­sung im Raum – ist das Herz­stück eines Augmented-Reality-Systems. Objekte können Marker, Bilder oder auch reale drei­di­men­sio­nale Gegen­stände sein. Entschei­dend für ein über­zeu­gendes Tracking ist, dass Objekte schnell erkannt werden und das Tracking bei jeder Bewe­gung stabil bleibt.

Wesentliche Tracking-Verfahren im Überblick

Für Sensor Fusion sind die opti­schen Tracking-Verfahren inter­es­sant. Mecha­ni­sches Tracking, beispiels­weise mit einem Robo­terarm, wurde bei der hier darg­stellten Sensor­kom­bi­na­tion nicht berück­sich­tigt. Opti­sches Tracking kann im Wesent­li­chen auf drei Arten erfolgen:

  • 2D-Marker-basiert
  • Multi-Marker-basiert
  • Markerlos

Beim 2D-Marker wird am Objekt ein Bit-Code-Marker  (Muster schwarz-weiß) ange­bracht. Damit kann ein AR-Ssystem die Posi­tion des Objekts fest­stellen – aufgrund der Größe und Perspek­tive des Markers. Kommen mehrere Marker zusammen, deren Abstände zuein­ander bekannt sind, spricht man von Multi-Marker-basiertem Tracking.

Die “Königs­dis­zi­plin” der Tracking-Systeme ist das marker­lose Verfahren. Hierbei kommen keine Marker zum Einsatz. Zur Erken­nung kommen Bilder (Image-Tracking) oder reale Objekte (3D-Tracking) zum Einsatz. Das AR-System erkennt beispiels­weise die natür­liche Struktur des Bildes oder die Beschaf­fen­heit und Form des Objekts – ganz einfach beschrieben.

Sensoren machen den Unterschied

Manche Sensoren kennt kaum ein Smart-Device-Nutzer. Andere sind frus­triert, dass sie nicht mitspielen dürfen. Die Kamera kann Bilder und Videos aufnehmen. Damit nicht genug. Es lassen sich auch Gesichter erkennen und gezielt zur Steue­rung des Geräts nutzen. Samsung beispiels­weise bietet das bereits für verschie­dene Gesten, wie Scrollen im Lese­modus oder Screen­shots anfertigen.

Das Gyro­skop kennt jeder, der eine der zahl­rei­chen Wasserwaagen-Apps nutzt. Durch Messung der Lage­ver­än­de­rungen kann die Orien­tie­rung des Mobil­ge­räts bestimmt werden. Gemeint ist damit, ob sich das Gerät im Porträt oder im Landscape-Modus befindet, bzw. in welcher Lage es auf dem Tisch liegt. Bei der Nintendo Wii regis­triert das Gyro­skop als “Motion Plus” die Dreh­be­we­gungen der Hand.

Geht es um Beschleu­ni­gung, dann kommt der Acce­le­ro­meter ins Spiel. Die Schüttel-Gesten beispiels­weise, um Funk­tionen auszu­lösen. Hieraus lässt sich erkennen, in welche Rich­tung das Smart Device bewegt wird. So lassen sich Renn­spiele durch die Neigung und Rota­tion der Hände steuern (Abb. unten). Auch dies geschieht mit Acce­le­ro­meter und Gyroskop.

Racing Simulation Controller

Damit der Anwender die korrekte geogra­phi­sche Orien­tie­rung erhält, sorgt der magne­ti­sche Kompass. Nur mit dem Kompass als Sensor weiß die App, wo Norden ist. Zur Stand­ort­be­stim­mung nutzt das Mobile Device die GPS-Funktion. Zusammen mit dem Kompass entsteht eine zuver­läs­sige Navi­ga­tion. In Fällen, in denen kein GPS-Signal verfügbar ist, kann auch das WLAN eine Posi­ti­ons­be­stim­mung vornehmen. Durch Trian­gu­la­tion anhand verschie­dener WLAN-Punkte bestimmt das Gerät seinen unge­fähren Standort.

Mit GPS und Gyro­skop entsteht eine weitere Tracking­va­ri­ante: die Location-based Services. Der Nutzer erhält Infor­ma­tionen aufgrund seines Stand­orts und der Blick­rich­tung seines Smart Devices.

Herausforderungen beim Tracking für Augmented Reality

In der Ideal­welt erfolgt die Erken­nung schnell. Sobald der Nutzer sein Device auf Marker oder Objekt richtet, werden die Augmented-Reality-Inhalte einge­blendet. Die Kamera scannt den Marker oder ein 3D-Objekt während die Soft­ware nach gespei­cherten Mustern sucht. Ein Beispiel der opti­schen Markie­rungen beim Tracking zeigt das Muster in der Abbil­dung unten. Je besser das Tracking ist, desto weniger müssen sich Anwender um die korrekte Ausrich­tung der Kamera kümmern. Ist das Objekt oder Bild initia­li­siert, so ist für ein effek­tives Arbeiten und die User Expe­ri­ence bedeu­tend, dass das Tracking stabil ist. Also bei Bewe­gungen des Nutzers mit seinem iPad nicht die Verbin­dung verliert.

Tracking

Der Sensor-Fusion-Ansatz

In vielen Anwen­dungs­fällen ist es erfor­der­lich Sensoren zu kombi­nieren, um gewünschte Funk­tionen zu errei­chen. Gyro­skop und Acce­le­ro­meter oder GPS und Kompass als Beispiel. Felix Löhr unter­suchte für Sensor Fusion, ob der kombi­nierte Einsatz zu besseren Tracking­ver­fahren führt. “Der Ansatz ist, dass wenig genutzte Sensoren im Smart­phone oder Tablet das opti­sche Tracking verbes­sern und bei Insta­bi­li­täten kurz­fristig über­brü­cken”, beschreibt der Infor­ma­tiker die Sensor-Fusionierung. Setzt beispiels­weise das opti­sche Tracking aus, dann sieht Löhr den vorüber­ge­henden Ausgleich durch einen anderen Sensor als die Lösung an.

Sensor Fusion nutzt gezielt die schlum­mernden Poten­ziale der Sensoren. So lässt sich durch Filte­rung der Daten von Acce­le­ro­meter und Gyro­skop eine Aussage zur Posi­ti­ons­be­stim­mung treffen und mit den Daten des opti­schen Trackings verglei­chen. Der Nutzer merkt hiervon nichts – außer einer stabi­leren Perfor­mance der Anwen­dung. Für die Über­prü­fung des Zusam­men­spiels verschie­dener Sensoren hat Löhr eigens ein Marker- und Sensor-Tracking-System entwi­ckelt. Dieses Verfahren nutzt ein Beispiel-Tracking als Basis und vergleicht dies mit den Ergeb­nissen aus der Fusion. Der Vorteil besteht unter anderem in einer exakten Bestim­mung, an welcher Stelle das Tracking abge­rissen ist. Ein weiterer wich­tiger Aspekt des Refe­renz­system besteht darin, dass die Daten nicht jedes Mal von Neuem aufge­zeichnet werden müssen. Da die Mess­daten starkes Rauschen enthalten, nutzte Felix Löhr ein Kalman-Filter. Damit fand auch die Kombi­na­tion der Sensoren statt.

Nutzen für die Praxis

Wer AR nutzt, der weiss: Wenn die Erken­nung nicht funk­tio­niert, ist die Frus­tra­tion groß. Die Menschen, die AR einsetzen, wollen die Vorteile erleben. Dabei stört es, wenn die erste Initia­li­sie­rung zu lange dauert oder das Tracking perma­nent abbricht. Die Anwender möchten sich auch nicht mit der opti­malen Posi­tion des Geräts befassen oder tech­ni­sche Hinter­gründe lernen, sondern einfach den Content abrufen. Hier spielt der Sensor-Fusion-Ansatz von Felix Löhr seine Vorteile aus. Sensor Fusion gleicht die Schwä­chen der einzelnen Sensoren aus, ergänzt die vorhan­denen Infor­ma­tionen und vernetzt sie zu einem besseren Gesamtergebnis. 

Ausblick

Die Sensoren in den Smart Devices sind Cent-Artikel und entspre­chend war bisher auch ihre Qualität. Auf die Frage, ob die heute verbauten Sensoren für AR ausrei­chend sind, sagt der Infor­ma­tiker Felix Löhr: “Leider legen die Hersteller keinen Wert auf die Sensoren, weil bei Apple, Samsung und Co. Augmented Reality nicht im Fokus steht. Es sind aber gerade die Sensoren, welche für das Tracking und die AR-Anwendung erfor­der­lich sind”. Wir können davon ausgehen, dass die Sensoren künftig stärker einge­setzt und besser kombi­niert werden. Es besteht auch Hoff­nung, dass sich die Qualität der Sensoren verbes­sern wird.

Weiterführende Links

RE’FLEKT Labs: Was ist Augmented Reality?

Bild­quellen

Redmondmag

PARP Rese­arch Group

One thought on “RE’FLEKT Labs: Sensor-Fusion-Tracking für Augmented Reality”

Leave a Reply

Your email address will not be published. Required fields are marked *