Unter Erweiterte Realität (englisch augmented reality) versteht man die rechnergestützte Überlagerung, das heißt Erweiterung der Realität mit virtueller Information in Echtzeit. Diese Information kann alle menschlichen Sinnesmodalitäten ansprechen. Häufig wird jedoch mit erweiterter Realität nur die visuelle Darstellung von Informationen gemeint. Zum Einsatz kommen Techniken der virtuellen Realität.
Definition und Abgrenzung
Im „Realitäts-Virtualitäts-Kontinuum“ (nach Paul Milgram et al. (1994)) sind die erweiterte Realität (augmented reality, AR) und erweiterte Virtualität (augmented virtuality) Teil der sogenannten gemischten Realität (mixed reality). Während der Begriff Augmented Virtuality kaum von der Fachwelt benutzt wird, werden Augmented Reality und Mixed Reality meist synonym verwendet. Im Gegensatz zur virtuellen Realität, bei welcher der Benutzer komplett in einer virtuellen Welt eintaucht, steht bei der erweiterten Realität die Darstellung zusätzlicher Informationen im Vordergrund. Für die visuelle Modalität führt dies zu wesentlich härteren Anforderungen an die Positionsbestimmung (Tracking) und Kalibrierung.
Unter einem AR-System (kurz ARS) versteht man das System der technischen Bestandteile, die nötig sind, um eine Augmented-Reality-Anwendung aufzubauen: Kamera, Trackinggeräte, Unterstützungssoftware usw.
Die Literatur verwendet meist die Definition der erweiterten Realität von Azuma (Azuma, 1997):
- Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert).
- Interaktivität in Echtzeit
- Reale und virtuelle Objekte stehen 3-Dimensional zueinander in Bezug.
Die Nachteile dieser Definition sind, dass sie sich allein auf technische Merkmale stützt, und dass sie sich nur auf einen Teilaspekt, den AR abdeckt, beschränkt. Andere Arbeiten definieren AR als eine Ausweitung der Sinneswahrnehmung des Menschen durch Sensoren von Umgebungseigenschaften, die der Mensch selbst nicht wahrnehmen kann: Radar, Infrarot, Distanzbilder, usw.
Betrachtet man Definitionen zum Begriff Realität, stellt sich die Frage, ob Realität sich überhaupt erweitern lässt.
Anwendungen
Ein Beispiel für eine AR-Anwendung sind die in Echtzeit eingeblendeten virtuellen Marken bei Sportübertragungen: Verschiedene Entfernungen der Konkurrenten beim Ski-Springen, Weitwurf, usw. (Man beachte, dass dieses Beispiel oft keine Augmented-Reality-Anwendung nach der obigen Definition ist, da manchmal das interaktive Element fehlt.)
- Militär, Katastrophenmanagement, Hydrologie, Ökologie, Geologie (Darstellung und interaktive Analyse von Karten und Geländemerkmalen, z. B. zur Ausbeutung von Bodenschätzen)
- Darstellung nicht sichtbarer Elemente (z. B. werden einem Arzt Organe im "Inneren" des Patienten eingeblendet).
- Hilfestellung bei "komplexen" Aufgaben (z. B. werden für einen Mechaniker die Teile eines Gerätes "beschriftet", und er bekommt Arbeitsanweisungen)
- Konferenzen mit realen und virtuellen Teilnehmern
- Spiele (z. B. ARQuake)
- Wartung, Instandhaltung und Reparaturen
- Darstellung zerstörter historischer Gebäude
- Navigationsdarstellung (Darstellung von Navigationshinweisen in Abhängigkeit von der Verkehrslage in der Windschutzscheibe)
- Visualisierung von Architekturprojekten
- Virtuelle Objekte in Museen und Ausstellungen
- Flug- Fahr- und andere Simulatoren
Zukünftige Anwendungen:
- Erweiterung von PC-Betriebssystemoberflächen in die reale Umwelt: Programmfenster und Icons werden als virtuelle Geräte im realen Raum dargestellt und durch Blicke oder Zeigen mit dem Finger bedient.
- Darstellung virtueller Geräte aller Art, z.B. Ersatz herkömmlicher Bildschirme, Gerätebedienfelder, dazu völlig neue Gerätetypen.
- Mediale Anwendungen, wie pseudo-holografische virtuelle Bildschirme, virtuelle 'Holodecks', virtuelles Surround-Kino.
- Ersatz von Handy- und Navigatorbildschirmen und Einblendung der Informationen direkt in die Umwelt, z.B. von Leitlinien direkt auf die Fahrbahn, sowie Erweiterungen, wie z.B. 'Röntgenblick' zur Darstellung verdeckter Ziele.
- Darstellung virtueller Pflanzen, Tapeten, Ausblicke, Kunstwerke, Dekorationen, Beleuchtung usw. zur Verschönerung der alltäglichen Umwelt.
- Bei allgemeiner Verbreitung von AR-Systemen auch virtuelle Schaufenster, Plakate, Verkehrsschilder etc.
Probleme
- Performanz: Nachführung der Bilder bei Bewegungen
- Energieversorgung: Die momentan verfügbaren Akkus reichen noch nicht aus, um ARS längere Zeit zu versorgen.
- Sensor: Rauschen bei Bewegung, Drift, Abschattung des Trackingsystems (z. B. bei GPS, INS). Eine Kombination von z.B. GPS mit Trägheits- und optischer Navigation ist daher bei fortgeschrittenen Systemen üblich.
- Daten: Verfügbarkeit und hohe Komplexität der Daten
- Visualisierung: Um die Einbettung der virtuellen Szene in die reale Szene möglichst überzeugend zu leisten, sind Daten notwendig, die die Umgebung auch in ihrer Geometrie beschreiben. Darauf aufbauend können dann virtuelle Schnitte durch reale Objekte gezeichnet und die Verdeckung der virtuellen Objekte durch die realen Objekte berechnet werden. Diese Geometriedaten sind jedoch nicht immer verfügbar oder aktuell.
- Benutzerschnittstelle: Insbesondere bei mobilen Anwendungen, zum Beispiel für Außenanwendungen, ist die Eingabe von Information durch Tastatur und Menüsteuerung durch Maus umständlich. Blick-, Sprach- Finger(zeige-)steuerung usw. sind hier besser geeignet, z.B. mit Eye-Trackern oder Szenenaufnahme-Kameras.
- Ergonomie: Die bisherigen Systeme sind noch relativ schwer. Gegenwärtige Displaybrillen erfordern zudem eine starre Fixierung am Kopf, was den Einsatz in vielen Anwendungen sehr erschwert.
- Die vollständige Integration virtueller Objekte in reale Szenen erfordert das Ausblenden von Hintergrundteilen, damit die Objekte nicht durchsichtig erscheinen. Systeme, die die direkte Sicht vollständig durch Kamerabilder ersetzen (Eyetap) haben dieses Problem nicht, sind aber für sehr viele Anwendungen ungeeignet.
Siehe auch: Photogrammetrie
Augmented Reality Forschung im deutschsprachingen Raum
- GI Fachgruppe Virtuelle Realität und Augmented Reality
- Technische Universität München: Augmented Reality in Medizin und Industrie
- TU Graz ('Studierstube'; vorher TU Wien): Kollaborative Augmented Reality
- Bauhaus-Universität Weimar: Spatial Augmented Reality
- TU Berlin: Augmented Reality in der Medizin
Referenzen
- R. Azuma A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 6, 4 (August 1997), 355 - 385
- R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and B. MacIntyre. Recent advances in augmented reality. IEEE Computer Graphics and Applications, 21(6):34–47, Nov/Dec 2001.
- T. P. Caudell and D. W. Mizell.Augmented Reality: an application of heads-up display technology to manual manufacturing processes. In Proceedings of the Twenty-Fifth Hawaii International Conference on Systems Science, Kauai, Hawaii, 7th-10th Jan. 1992, Vol. 2, pp. 659-669.
- P. Milgram, H. Takemura, A. Utsumi, and F. Kishino. [Augmented Reality: A class of displays on the reality-virtuality continuum Augmented Reality: A class of displays on the reality-virtuality continuum]. SPIE Vol. 2351-34, "Proceedings of Telemanipulator and Telepresence Technologies" (1994).
Bücher
- Rolf R. Hainich, The End of Hardware - A Novel Approach to Augmented reality, Booksurge, 2nd Ed. Nov. 2006, 300 pages
- Michael Haller, Mark Billinghurst, Bruce Thomas, Emerging Technologies of Augmented Reality: Interfaces and Design, Idea Group Publishing, Nov 2006, 300 pages
- Oliver Bimber and Ramesh Raskar, Spatial Augmented Reality: Merging Real and Virtual Worlds, A K Peters, July 2005, 360 pages
- W. Barfield and T. Caudell, Eds. Fundamentals of Wearable Computers and Augmented Reality. Mahwah, NJ: Lawrence Erlbaum, 2001.
Konferenzen
- 1. International Workshop on Augmented Reality (IWAR'98), San Francisco, Nov. 1998.
- 2. International Workshop on Augmented Reality (IWAR'99), San Francisco, Okt. 1999.
- 1. International Symposium on Mixed Reality (ISMR'99), Yokohama, Japan, March 1999.
- 1. International Symposium on Augmented Reality (ISAR 2000), München, Okt. 2000.
- 2. International Symposium on Mixed Reality (ISMR'01), Yokohama, Japan, March 2001.
- 2. International Symposium on Augmented Reality (ISAR 2001), New York, Okt. 2001.
- 1. International Symposium on Mixed and Augmented Reality (ISMAR 2002), Darmstadt, Okt. 2002.
- 2. International Symposium on Mixed and Augmented Reality (ISMAR 2003), Tokyo, Okt. 2003.
- 3. International Symposium on Mixed and Augmented Reality (ISMAR 2004), Arlington, VA, Nov. 2004.
- 4. International Symposium on Mixed and Augmented Reality (ISMAR 2005), Vienna, Okt. 2005.
- 5. International Symposium on Mixed and Augmented Reality (ISMAR 2006) Santa Barbara, Okt. 2006.
- Augmented & Virtual Reality in der Produktentstehung, Heinz Nixdorf Instutut Paderborn, Sun, Okt. 22 to Wed, Oct 25 2006
- 6. International Symposium on Mixed and Augmented Reality (ISMAR 2007) Nara, Japan, Nov. 2007.
- 1. Workshop “Virtuelle Realität und Augmented Reality” der GI-Fachgruppe VR/AR, Chemnitz 2004
- 2. Workshop “Virtuelle Realität und Augmented Reality” der GI-Fachgruppe VR/AR, Aachen 2005
- 3. Workshop “Virtuelle Realität und Augmented Reality” der GI Fachgruppe VR/AR, Koblenz 2006