the integration of space
Dokumentation zur Bachelor-Thesis,
InfAr – Bauhaus-Universitaet Weimar
Bauhaus-Universität Weimar
Verfasser: Martin Breuer
Betreuer: Dr. Christian Bauriedel und Dipl. Productdesigner Michael Schuster
Drittbewerter: Prof. Dr.-Ing. Reinhard König und Dipl.-Ing. Kristian Faschingeder
Hier gibts den code des interfaces.
01 theoretischer Ansatz
Die Entwicklung von Computern hat in den letzten zwanzig Jahren unsere Gesellschaft grundlegend verändert. Sie dienen uns bei der Arbeit und im Alltag als Werkzeug und in der Freizeit als Unterhaltungsmedium. Gleichzeitig sind sie für uns das Gateway in eine andere Welt. Täglich kommunizieren und agieren wir im Internet und überschreiten somit die Grenzen des analogen Raumes. Der Trend zur bewussten Verlagerung eines Teiles des Lebens in das Internet ist anhaltend. Social Media gewinnt immer mehr an Bedeutung und so liegt die Frage nahe, wie werden spätere Generation leben wollen oder in wie weit muss Architektur sich verändern um den Lebensstil der „digital natives“ zu unterstützen.
Als Architekten sollten wir uns nicht nur auf die Erforschung des analogen Raumes konzentrieren. Wir sollten bedenken, dass der digitale Raum den analogen immer mehr beeinflusst. Das Aufstellen von medialen Empfangsgeräten in Wohnungen, Sendern auf den Dächern der Stadt, ja gar die Veränderung der Sprache und Denkweisen sind hierfür nur einige Beispiele.
Es ist von großer Bedeutung beide Welten nicht von einander zu trennen. Erst die Integration beider Räume ineinander durch die Verwendung von intuitiven und „unsichtbaren“ Interfaces und neuen Technologien ermöglicht ein freieres und einfacheres Bewegen in beiden Welten.
02 Vorarbeit
In diesem Sinne habe ich mein sechstes Semester mit der Idee begonnen, das toolkit eines Architekten zu erweitern und somit den kommenden Aufgaben gerecht zu machen. Es ging darum, das Architekturmodell durch das „mappen“ einer Projektion mit Informationen anzureichern. Das statische Modell dynamisch werden zu lassen. Das Modell sollte das Medium bleiben, sich aber selbst durch die Verwendung anderer Medien aufwerten. Diese „seemless“ Integration der digitalen in die analoge Welt soll nicht nur Architekten als Werkzeug dienen, sondern erforscht vor allem den Einsatz neuer Kleinstarchitekturen, aus denen sich in Zukunft die Gestalt der Architektur neu zusammensetzen wird.
Die erste Arbeit ist ein Interpretationsmodell von Buttstädt. Bei der Besichtigung vor Ort wurde via GPS die Route aufgezeichnet und an markanten Orten Bild- oder Tonaufnahmen gemacht. Die gesammelten Materialien wurden zusammen in einer Animation auf ein Modell projiziert. Das Modell selbst zeigt welche Gebäude der Route saniert und welche unsaniert waren.
Die zweite Arbeit reflektiert die geschichtliche Entwicklung eines Quartieres in Jena. In einer mit Bildern und Videos angereicherten Animation durchläuft das Modell verschiedene Stadien der Entwicklung vom 17. Jh. bis zur heutigen Zeit. Das Modell bleibt auch ohne Projektion lesbar. Die Höhe der Gebäude wird
durch die Zeit bestimmt. Layer für Layer überlagern sich drei Modelle von unterschiedlichen historischen Zeitpunkten.
Was mir bei den beiden Arbeiten allerdings fehlte war die Möglichkeit mit dem Modell zu interagieren. Die Animationen liefen in einer Endlosschleife, keine Möglichkeit in das Geschehen einzugreifen war gegeben. Der ursprüngliche Gedanke von einem dynamischen Medium war damit nur begrenzt realisiert. Das Modell müsste ohne zusätzliche Hardware, wie zum Beispiel einer Maus, bedienbar sein. Die Steuerung sollte so intuitiv wie möglich verlaufen.
03 the build
Nach einiger Überlegung welche Technologie mir es erlauben würde mit dem Modell direkt zu interagieren, entschloss ich mich für Toucherkennung mittels Infrarotlicht. Im Gegensatz zu kapazitiven Schaltungen, muss hier kein Bauteil auf dem Modell selbst befestigt werden, sodass die komplette Technik dahinter versteckt sein würde.
Es gibt mehrere Möglichkeiten für die Anordnung der Bauelemente. Die Variante mit den besten Ergebnissen bei der „blobdetection“ ist die „FTIR“, bei der die Infrarotstrahlung seitlich in eine Acrylglasplatte gestrahlt wird und sich in ihr unendlich reflektiert ohne die Platte zu verlassen. Berührt ein Finger nun die Oberfläche, verlässt nach dem Prinzip der Totalreflexion ein Teil der Strahlung die Acrylglasplatte, diese kann dann von einer präparierten Kamera aufgenommen werden. Leider kam diese Anordnung für mich nicht in Frage, da ansonsten jedes Gebäude einzeln hätte beleuchtet werden müssen. Die LEDs hätten also mitten im Modell gestanden und das Gesamtbild der Arbeit gestört.
Bei der „rear diffused illumination“ befinden sich die Infrarotlichtquellen hinter der Projektionsebene. Die Strahlung geht durch die Oberfläche des Modells und wird von Gegenständen oder Fingern bei berühren der Platte oder der Gebäude reflektiert und dann von der Kamera registriert. Trotz der hohen Strahlungsverluste des IR Lichts durch das zweimalige durchqueren der Acrylglasplatte hat diese Variante einige Vorteile. Die gesamte Technik, auch der Beamer findet in einer Box, die dem Modell als Sockel dient platz. Das Platzieren von transparenten Körpern auf der Oberfläche hat nur minimale Auswirkungen auf die blobdetection. Der Strahlungsverlust durch die höhere Materialstärke kann durch Justierung der Empfindlichkeit über eine Software kompensiert werden.
Die ersten Schritte bestanden darin das Prinzip der rear diffused illumination zu testen. In Mockups wurden Wirkungsweise und eventuelle Probleme erforscht.
Für die ersten Tests baute ich eine Box aus Pappkarton und Kappa. In ihr befand sich eine USB-Webcam, bei der das Objektiv mit einem belichteten Fotonegativ abgedeckt war um das sichtbare Spektrum des Lichts zu blocken. Des weiteren wurden sechs IR-LEDs in die Bodenplatte integriert. Den Abschluss bildete eine 2mm starke satinierte Acrylglasplatte.
Die ersten Tests liefen nicht wie erhofft. Die Software konnte kaum blobs feststellen. Ein kleineres Mockup mit mehr LEDs brachte mittelmäßigen Erfolg. Zwar konnten blobs gefunden werden, aber ihre Größe und Koordinaten waren sehr ungenau.
Die Webcam wurde dann gegen eine „WiiMote“ ausgetauscht. Der Test war eindeutig, der Controller brachte trotz niedrigerer Auflösung und geringerer Framerate ein wesentlich besseres Ergebnis. Schnell fand ich heraus, dass fast jede Kamera einen IR-Sperrfilter hat, welcher die gebrauchte Strahlung blockierte. Mit gut dosierter Gewalt bekam ich den Filter aus der Webcam. Die blobs waren nun selbst im ersten Mockup mit nur sechs LEDs klar und hell. Einige Tests mit auf die Oberfläche gestellten Acrylglaswürfeln hatten ein positives Resultat.
Nachdem ich die mögliche Größe der Projektionsfläche mit „SimProj“ ausgerechnet hatte, entstanden die Dimensionen der Box. Sie würde nun 80x80x80cm groß sein. Auch die Positionierung der Bauteile wurde aufgestellt. Eine Holzrahmen-Konstruktion für die stabile Befestigung der Wände sollte zusätzlich auch die Basis für die Befestigung der Bauelemente sein. Erste Renderings veranschaulichen frühe Ideen für das Interface.
Für die Beleuchtung der Box mit Infrarotstrahlung, bestellte ich mir sechs Platinen und lötete insgesamt 240 LEDs auf ihnen fest. Betrieben werden sollten sie durch ein PC Netzteil bei 12V Gleichstrom. Ich befestigte die Platinen an der Rahmenkonstruktion im 45° Winkel, sodass die Strahlen von der jeweiligen Seitenwand reflektiert werden und erst dann wesentlich diffuser auf die Oberfläche des Modells treffen. Um die Strahlung noch effektiver zu streuen, fächerte ich die Reihen von LEDs auf den Platinen nach außen auf.
Die transparente Acrylglasplatte hatte eine Stärke von 10mm und wurde zum Testen mit Transparentpapier überklebt. Die ganze Box wurde dann auf vier 5cm hohe Füße gestellt. Dadurch konnte mit Hilfe von vier 80mm Lüftern die Luftzu- und Abfuhr gewährleistet werden. Eine Halterung für das Weitwinkelobjektiv des Beamers fand in der Mitte der Box platz.
Die Wahl der Kamera fiel auf meine alte Sony DV Kamera, da sie sowohl eine Firewire Verbindung besaß, wie auch einen eingebauten „Nachtsichtmodus“ bei dem der IR Filter im Objektiv mechanisch entfernt wird. Das Ergebnis waren klare und sehr helle blobs und einwandfreies Tracking.
Allerdings gab es bei dem Setup drei kleinere Probleme. Der Blickwinkel der Kamera reichte nicht aus um die gewünschte Projektionsfläche zu erfassen. Hier war die Lösung die Montage eines Weitwinkelobjektivs. Zusätzlich bekam die Kamera noch einen IR Filter, der nur das infrarote Spektrum des Lichts in das Objektiv lassen würde. Das zweite Problem waren „Hotspots“ auf der Acrylglasplatte. Hier war die Helligkeit der IR-Strahlung so hoch, dass die Kamera an diesen Stellen keine Reflektionen wahrnehmen konnte und somit in den Bereichen das blobtracking nicht möglich war. Nach genauem hinsehen entdeckte ich, dass IR-Strahlung auch aus den Seiten der LEDs emittierte. Die Lösung waren hier kleine Blenden aus Kappa, die über den Platinen befestigt wurden.
Das letzte Problem war etwas schwieriger zu lösen. Durch den mittlerweile mehr als 50° geneigten Spiegel waren die Projektionswege zwischen der oberen und
der unteren Bildkante so unterschiedlich, dass sich jeweils nur eine der beiden Seiten scharf stellen ließ. Ein neu Arrangieren der Bauteile Beamer, Weitwinkel und Spiegel brachten den Durchbruch.
Die Box wurde dann Grundiert und mit schwarzer Farbe lackiert. Das Transparentpapier wich einer „LEE ND Frost 225“ Projektionsfolie, die mittels elektrostatischer Aufladung auf die Oberfläche aufgebracht, als Diffuser und als Projektionsebene fungieren sollte.
Die Gebäude des Modells sollten durch Acrylglaswürfel dargestellt werden. Die Mantelflächen der 3cm hohen Würfel wurden durch Abschleifen opak und strahlten nun durch das vom Beamer gesendete Licht wie von selbst.
04 Treiber / Software
Die erste Instanz auf der Softwareseite meines Modells ist das open source Programm CCV. Die von der Kamera registrierten hellen Punkte, welche durch das Berühren der Oberfläche entstehen, werden mittels verschiedener justierbarer Filter verstärkt und dann über CCV mit jeweils einer Nummer registriert. Nach einer Kalibrierung sendet die Software nun die IDs der getrackten Punkte inklusive x- und y-Koordinaten an den localhost auf Port 3333.
Ein nicht verifizierter Treiber für Windows 7 hört auf diesen Port und Fungiert als Maustreiber indem es die „TUIO“ Meldungen von CCV nimmt und in ein für Windows verständliches Format übersetzt. Nach Aktivieren der Multitouch-Optionen unter Windows und nach Starten des Treibers konnte nun die native Multitouch Bedienung von Windows 7 eingesetzt werden. Surfen, Fotos bearbeiten, selbst auf der virtuellen Tastatur schreiben funktionierte nun reibungslos.
05 Interface
Das Interface wurde komplett in HTML und CSS geschrieben. Die animierten Übergänge wurden mit JavaScript realisiert. Über einen Browser im Vollbild wird die Bedienoberfläche auf das Modell gebracht.
Jedes Haus besitzt eine Nummer und steht auf einem Quadrat, welches ein .jpg als Background im body der Seite ist. Jedes Quadrat hat eine mit der Nummer des Hauses übereinstimmende area map und verweist zur zugehörigen Seite.
Auf der Startseite sind alle Häuser weiß beleuchtet und am rechten Rand des Modells ist ein Menü zu sehen. Die Links lauten museum, university, cuisine und architecture. Jedes Gebäude ist in eine dieser vier Kategorien eingeteilt. Klickt man ein Link im Menü, so werden nur die Gebäude der entsprechenden Kategorie angezeigt, passend in den Farben des aktivierten Menüpunktes. Klickt man nun auf ein unbeleuchtetes Haus so kommt man zum Index zurück. Klickt man ein beleuchtetes Gebäude, ist man in der Adressansicht des Hauses. Das aktivierte Haus leuchtet Weiß und alle anderen Würfel leuchten in einem dunklen grau. Der Name und die Adresse des Bauwerks werden angezeigt, in einer anderen Ecke erscheinen Twittermeldungen mit passenden „hashtags“, das Menü am rechten Boxrand hat sich verändert.
Die Kategorien wurden gegen Links zu spezifischen Informationen ausgetauscht. Es gibt wikipedia, multimedia, maps und events. Jeder Link hat seine zugehörige Farbe. Klickt man zum Beispiel den Link multimedia, so leuchtet der aktivierte Würfel in dessen Farbe. Wo vorher die Adresse stand, befinden sich nun Bilder und Videos passend zum Objekt. Berührt man den aktivierten Würfel kommt man zurück zur Adressansicht, berührt man die grauen inaktiven Würfel, kommt man zu deren Adressansicht.
06 what works / what doesn’t
Das Modell mit Toucherkennung funktioniert im Generellen sehr gut. Das Interface ist schlicht, sehr ablesbar und einfach zu bedienen. Die dargestellten Informationen sind gut zu erkennen. Die Gebäude scheinen wie von selbst zu leuchten und die weichen Übergänge zwischen den Seiten machen die Darstellung, ohne dabei zu die Navigation zu verzögern, zu einer runden Sache.
Die Touchereignisse auf den Würfeln werden teilweise noch etwas zögerlich erkannt. Wenn man die Sensibilität von CCV erhöht bekommt man oft falsche blobs auf der Acrylglasplatte. Ich sehe mehrere Möglichkeiten dieses Problem in Zukunft zu lösen.
Der LEE-Filter könnte eventuell noch einmal ausgetauscht beziehungsweise anders angeordnet werden. Die Kamera könnte man durch eine Hochleistungskamera mit höherer Auflösung und höherer Lichtempfindlichkeit austauschen. Es gibt aber auch die Möglichkeit CCV mittels shadowmaps so anzupassen, dass nur in den Bereichen der Würfel eine höhere Empfindlichkeit herrscht.
Trotzdem das Interface funktioniert, könnte man darüber nachdenken ein neues mit einer vielfältigeren Programmiersprache zu bauen. Speziell denke ich da an Processing oder Python. Damit wäre es möglich noch komplexere Informationen in das Modell zu integrieren und andere Funktionen zu implementieren.
Auch das Modell könnte in Zukunft durch ein realistisches ersetzt werden. Ich könnte mir vorstellen, eine städtebauliche Situation abzubilden und diese dann zu analysieren und zu animieren.
Die Entwicklung eines Frameworks, dass das Aufgelegte Modell selbst, zum Beispiel via Markern erkennt und dann die passende Applikation startet wäre dann das „große Ziel“. Das Framework sollte es aber auch ermöglichen die für die verschiedenen Modelle benötigten Informationen intuitiv einzugeben.
07 😉
Die Bearbeitung dieses Projekts hat mir sehr viel Freude bereitet. Das Ergebnis ist aus einem langen Prozess entstanden, der vor allem das Hinterfragen der eigenen theoretischen Konstrukte erforderte.
Ich möchte an dieser Stelle der studentischen Initiative „Maschinenraum“ danken. In dem letzten Jahr habe ich vor allem dort die Grundlagen meiner technischen sowie theoretischen Fähigkeiten ausbauen und meine Kreativität ausleben können.
Vielen Dank auch an meine beiden Betreuer, Dr. Christian Bauriedel und Michael Schuster die es mir ermöglichten dieses Projekt als meine Bachelor-Thesis umzusetzen.
Besonderem Dank, gilt meiner Familie, die mich in vielfältiger Art und Weise bei dieser langen Reise unterstützte.
I am eye. I am a mechanical eye.
I, a machine, am showing you a world,
the likes of which only I can see.
– Dziga Vertov
08 buzzwords
digital natives
Die Generation von Menschen, die nach der Entwicklung von digitalen Technologien geboren wurden. Für sie ist der Umgang mit Technik und Netzwerken selbstverständlich.
mapping
Das Projizieren von Bildern auf verzerrte Oberflächen. Ein Computerprogramm wertet die vorher eingegebenen Objektdaten um und gibt ein verzerrtes Bild aus. Auf der Projektionsfläche erscheint das Bild dann wieder unverzerrt.
blobdetection
Das softwareseitige Erkennen von Punkten und Regionen mithilfe von Helligkeitsunterschieden.
FTIR
Frustrated Total Internal Reflection, auch Totalreflexion, elektromagnetische Strahlung wird an der Berührungsfläche zweier Medien mit unterschiedlicher optischen Dichte komplett reflektiert
WiiMote
Controller der Nintendo Wii Spielekonsole, ist mit einem Infrarotempfänger und Bewegungssensoren ausgestattet. Verbindung auch an PC via Bluetooth möglich.
SimProj
simples Programm zum berechnen von Reflexionen
siehe: http://benjamin.kuperberg.fr/lab/?p=4
CCV
Community Core Vision
siehe: http://ccv.nuigroup.com/
TUIO
offenes Framework, welches ein gemeinsames Protokoll und eine einheitliche API für multitouch Oberflächen bereit stellt
hashtags
erlaubt die Kategorisierung von twitter Nachrichten, „tweet tweet tweet #pentagon“, Pentagon ist im Beispiel mit einem hashtag versehen, sucht man nun nach tweets die etwas mit dem Pentagon zu tun haben, so findet man auch diesen
