<< * * *C L A U D I A * * * R O H R M O S E R * * *

KREISEN
INTERAKTIVE VIDEOINSTALLATION
PRÄSENTIERT AUF DER ICMC BARCELONA, SEPTEMBER 2005

KREISEN INTERACTIVE
DIE INSTALLATION AUF DER ICMC
INHALTLICHER AUFBAU
TECHNISCHE BESCHREIBUNG
FUNKTIONALITÄT
TEAM

ICMC
ICMC 2005 - Free Sound
What's ICMC?

KREISEN INTERACTIVE

“Kreisen” is a three-dimensional interactive audio-visual installation work which invites participants to explore under the subjective surface of the projected images to discover the hidden world underneath, and there, to awaken, guide, manipulate, compose, and transform the revealed elements of sound and images: mirroring the reality of one’s experience in a living world, such as his/her search for deep inner origin, root, and individuality. Four individuals of separate disciplines collaborated to realize this work: Kotoka Suzuki (music), Claudia Rohrmoser (video), Thomas Seelig (sound engineer), and Rainer Kohlberger (video engineer). A non-interactive Version of “Kreisen” (demo Video on DVD) was commissioned by DAAD in conjunction with TU-Berlin Electronic Studio for the Inventionen Festival in 2004. The interactive Version is presented on ICMC Barcelona, Sept. 2005

Verschiedene Screenshots von "Kreisen"

back

DIE INSTALLATION AUF DER ICMC

Video-Dokumentation der Installation

"Kreisen" wurde in Barcelona zum ersten Mal als interaktive Installation über die gesamte Dauer der ICMC eine Woche lang präsentiert. Die Konferenzteilnehmer nahmen die Möglichkeit rege wahr, mit den Bildern und Tönen zu interagieren. Auffällig war ein großes Interesse an der Technolgie hinter den "Kulissen". Künstlerisch machten wir die Erfahrung, daß die meisten Besucher, die experimentierfreudig und ein wenig gedulig waren, sich spielerisch durch die Arbeit navigieren konnten (--> Timing richtig geplant). Andere wiederum wirkten etwas ratlos und wollten genauere Verhaltensregeln beschrieben haben. Besonders günstig erwies sich der Nachahmungseffekt, der entstand, wenn sich mehrere Besucher im Raum befanden. Die Reaktionen waren durchwegs positiv, besonders erfreulich war, daß die Experten (PD-GEM Entwickler, Miller Puckette u.a., Max-Jitter- Entwickler etc...) sich interessiert an dieser "Anwendung" ihrer Technolgien zeigten.

mit freundlicher Unterstützung des

back

INHALTLICHER AUFBAU

Die Arbeit ist in 5 Teile unterteilt. Jedes dieser "Kapitel" schöpft aus einem eigenständigen ästhetischen Repertoire. Die visuelle Reaktion auf die Interaktion des Betrachters ist ebenfalls von Teil zu Teil unterschiedlich. Ziel ist es, eine flexible Navigatzion durch die Komposition zu ermöglichen, und den Betrachter auf die Suche nach verborgenen Elementen zu schicken. Durch den Dialog mit der Sound- und Bildwelt wird die Wahrnehmung intensiviert.

SCREENSAVER

Video
Ruhezustand. Einladung, zu berühren.

LEVEL 1

Video
Entstehung. Aus Kaulquappen vermehren sich lebendige Punkte, die den Besucher begleiten bis zur Reise aus dem Wasser heraus in Ebene2.
Interaktion: Partikelschwarm

LEVEL 2

Video
Above Horizon. Ein Tanz auf der Schwelle zwischen Oben und unten. Dazwischen Wasser.
Interaktion: "Scratching", Horizontale Linien

LEVEL 3

Video Die Kamera ist entfesselt. Aus einem Wolkenpanorama entwickelt sich ein Sturm. Interaktion: Entschleunigung, Erzeugung dreidimensionaler Linien

LEVEL 4

Video
Abstieg. Analog zu Level2 entwickelt orientiert sich die Szenerie wieder abwärts, Bis unter das Wasser.
Interaktion: "Scratching", Horizontale Linien

LEVEL 5

Video
The Beginning is the End is the beginning.....Ein dichtes Netz umkreist das dunkle Leben unter der Wasseroberfläche.
Interaktion: Erzeugung dreidimentionaler Netzsstruktur ("Gras"-3D Objekt)

back

TECHNISCHE BESCHREIBUNG

Die Installation besteht aus einer Rückprojektion von 4*3 m und einem kreisförmig aufgebauten 8 Kanal Sound System. Der Betrachter kann mit Handbewegungen an der Leinwand in den Verlauf der Komposition eingreifen.

Die Informationen dieser Bewegungen werden mittels visueller Sensoren (Schwarz weiß 2D Matrix, über 2 Kameras aufgenommen) analysiert und in die Echzeitsysteme Max MSP (für Ton) und PD/GEM (für Bild) eingespeist. Dort werden die Daten synchronisiert, auf Bild- und Tonmanipulationsparameter angewendet und an das jeweilige Ausgangsmedium in Echtzeit weitergeleitet. Die visuelle Information gliedert sich in zwei Ebenen:

• Vorproduzierte Loops bilden ein Set an Hintergründen, die je nach Interaktion unterschiedlich miteinander verknüpft werden könne, ähnlich wie man es aus interaktiven Filmen kennt. Dazu gibt es vorproduzierte Metamorphosen, die vom einen Zustand in den anderen überleiten.
• Echtzeit Grafik aus dem GEM System (3D Objekte, Partikelsysteme) werden als Masken oder bewegte Grafik im Videopatch mit den Hintergründen kombiniert. Diese Elemente werden ständig aus den Bewegungsdaten des Betrachters neu berechnet und geben so eine direkte visuelle Rückmeldung an den Benutzer (Er kann deren Geschwindigkeit, Lebensdauer, Erscheinungsform etc. verändern)

Die Ton-Ebene besteht ebenfalls aus einem komponierten Grundlayer, der mittels live manipulierbarer Samplesätze bereichert wird. Ein MAX patch gibt für jedes Sample die Grenzwerte der Parameterveränderung an, die je nach Interaktion vom Betrachter vorgenommen wird. 

Es ist möglich, bestimmte Sounds im Bild zu „finden“, und sie für den weiteren Verlauf zu aktivieren. Der Betrachter navigiert sich durch eine spiralförmige Grundstruktur, und kann die jeweiligen Zustände/Samplesets beliebig verlängern oder abkürzen. (siehe Skizze). Die Gesamtform folgt einer zyklischen Struktur.

Music:

back

FUNKTIONALITÄT

Video Input (externer Rechner)
- Modul für Trackingkontrolle
- Netzwerkanbindung via UDP (OpenSoundControl)
- 4 sog. "Padplayer", kann auch mehr sein
- 6 "Morphplayer", sollten her weniger werden (wg. Auslastungsproblem)

- Der Video-Input erhält das Signal von zwei Kameras, die oben und links neben dem Screen angebracht sind. Eingangsseitig wird das Bild auf 320*240 Pixel herabskaliert, wovon ein Streifen von 320*60 bzw. 240*60 Pixel für Motion Tracking benutzt wird. Der Algorithmus setzt auf einen Vorschlag von Timothy Place (taptools) auf und ist recht robust. Als Ergebnis erhält man x,y und z-Koordinaten, skaliert auf die Wertebereiche 0-4, 0-3 und 0-1.

- Für die Netzanbindung werden folgende Werte weitergereicht, krsn.Player erwartet Daten im gleichen Wertebereich.
Sendeformat:
Index des getrackten Punkts (immer 0, da nur ein Punkt aufgenommen wird, aber in der Zukunft geplant:
X-Koordinate
Y-Koordinate
Z-Koordinate
Insgesamt wird eine (Max-)Liste mit 4 Werten gebildet, die via "otudp" verschickt werden.

Soll das sensitive Recheck des 1. Morphplayern ferngesteuert werden, erwartet der Player folgendes:
Liste mit Koordinaten des Rechtecks: left, top, bottom, right. Wertebereich x: 0-4, y: 0-3
Dies gibt eine Liste mit 4 Elementen.

Die globale Kontrolle aus Motiontracking und Timer im pd-Part? entscheidet, wann welcher Pad-Player spielt. Jeder der Padplayer spielt den Grundsound für dendazu gehörenden Zustand des Systems.

Die globale Kontrolle schaltet auch die Steuerung der Morphplayer scharf. Jeder Morphplayer hat eine lokale Cueliste, in der die Reaktion auf das Tracking sowie die sensitiven Rechtecke festgelegt sind.
Jeder Morphplayer spielt zwei Soundfiles zur selben Zeit, wobei die Gewichtung durch die Position des Trackings innerhalb des "Sensitiven Rechtecks" gegeben ist. Die Gewichtung wird zusätzlich durch eine Mapping-Funktion gesteuert. Ein zweiter Abspielmodus triggert nur eine Bewegung, die dann automatisch innerhalb einer festgelegten Zeit loopt.

Die Timergesteuerte globale Cueliste ruft die lokalen Cues auf. Die Aktivitäder Benutzer steuert den globalen Zustand des Systems, der wiederum die lokalen Cues beeinflusst.

TRACKING:

PD PATCH:

MAX PATCH:

back

TEAM

back

ICMC

ICMC 2005 - Free Sound

Die International Computer Music Conference wird alle 2 Jahre abwechselnd in den USA und internationalen Städten abgehalten. 2005 fand die Konferenz in Barcelona unter dem Motto "Free Sound" statt.

What's ICMC?