VISUALSONIC.EU



The EGGS system

EGGS (Elementary Gestalts for Gesture Sonification) is a gesture sonification system, developed by Maurizio Goina and Pietro Polotti, School of Music and New Tecnologies, Conservatorio G. Tartini, Trieste, Italy. A crucial contribution as performer and user of the system is provided by Sarah Taylor.



Conference presentations:

---- Polotti, P.: 'HUMANITIES, ART AND SCIENCE IN THE CONTEXT OF INTERACTIVE SONIC SYSTEMS - SOME CONSIDERATIONS ON A CUMBERSOME RELATIONSHIP'. In Proceedings of the SMC 2011 - 8th Sound and Music Computing Conference, 06-09 July 2011, Padova - Italy.

Abstract:
The theme of this conference, "creativity rethinks science" involves a radical epistemological challenge with respect to a classical view of science and it is an extremely hot topic of speculation within the scientific community, at least for what concerns computer sciences. In this paper, we propose some considerations about the role that artistic research could have within science, where science is meant in the wide sense of knowledge, including, thus, humanities as a one of the partners together with natural sciences. After a more general discussion focused mainly on the field of Information and Communication Technology (ICT), we will restrict the scope to the case of sound art involving new technologies and sound design for Human Computer Interaction (HCI), namely Sonic Interaction Design (SID). In our discussion, the concepts of design have a particular relevance, since they provide a connection between fields traditionally far away one from the other such as natural sciences, art, engineering and humanities. In the last part of the paper, we provide some examples about what we mean by doing artistic research guided by a design practice. We envisage this as one of the possible ways to make a dialogue between artistic research and scientific research more feasible at a methodological level.

 

---- Polotti, P. and Goina, M.: 'EGGS in Action'. In Proceedings of the International Conference on New Interfaces for Musical Expression (NIME 2011). Oslo, Norway, 2011.

Abstract:
In this paper, we discuss the results obtained by means of the EGGS (Elementary Gestalts for Gesture Sonification) system in terms of artistic realizations. EGGS was introduced in a previous edition of this conference. The works presented include interactive installations in the form of public art and interactive onstage performances. In all of the works, the EGGS principles of simplicity based on the correspondence between elementary sonic and movement units, and of organicity between sound and gesture are applied. Indeed, we study both sound as a means for gesture representation and gesture as embodiment of sound. These principles constitute our guidelines for the investigation of the bidirectional relationship between sound and body expression with various strategies involving both educated and non-educated executors.

 

---- Polotti, P. and Goina, M.: 'Per una rappresentazione audiovisiva del gesto'. In Atti del XVIII Colloquio di Informatica Musicale (XVIII CIM). Torino-Cuneo, Italy, 2010.

Abstract:
In questo articolo vengono presentati alcuni risultati dell'indagine che stiamo conducendo sulla rappresentazione audiovisiva del gesto in chiave artistica. Ci concentreremo in particolare sul lavoro Visual Sonic Enaction (VSE), un'installazione interattiva in forma di public art che permette ai visitatori di scoprire ed esplorare l'espressività; del proprio gesto. A differenza di un normale sistema di pittura interattiva, VSE vuole essere uno stimolo a creare una rappresentazione audio-visiva dei propri movimenti fisici. Come di fronte a una sorta di "specchio" interattivo, ognuno può "guardare" ed "ascoltare" il proprio gesto. Il suono e l'immagine agiscono da feedback, stimolando e guidando il movimento in modo enattivo. I risultati audiovisivi generati dal pubblico durante una sessione dell'installazione VSE vengono registrati. Dopo l'evento, questa sorta di autoritratti multi-modali sono resi disponibili su internet in modo che chiunque possa dare una "occhiata audiovisiva" all'espressività; corporea delle persone che hanno sperimentato il sistema. Questo lavoro è una tra le diverse realizzazioni inerenti lo studio della rappresentazione audiovisiva del gesto sviluppate nel corso degli ultimi tre anni ed è parte di un progetto più ampio di carattere metodologico, mirante a definire nuove strategie di indagine artistica tramite l'adozione di tecniche e modalità operative tipiche del design.

 

---- Goina, M. and Polotti, P.: 'Elementary Gestalts for Gesture Sonification'. In Proceedings of 2008 Conference on New Interfaces for Musical Expression (NIME '08), A. Camurri, S. Serafin and G. Volpe (eds), pp. 150–153. Genova, Italy, 2008.

Abstract:
In this paper, we investigate the relationships between gesture and sound by means of an elementary gesture sonification. This work takes inspiration from Bauhaus’ ideals and Paul Klee’s investigation into forms and pictorial representation. In line with these ideas, the main aim of this work is to reduce gesture to a combination of a small number of elementary components (gestalts) used to control a corresponding small set of sounds. By means of a demonstrative tool, we introduce here a line of research that is at its initial stage. The envisaged goal of future developments is a novel system that could be a composing/improvising tool as well as an interface for interactive dance and performance.

 

---- Goina, M. and Polotti, P.: 'Principi elementari per una sonificazione del gesto'. in Atti del XVII Colloquio di Informatica Musicale (XVII CIM), D. Rocchesso, A. Orvieto, A. Vidolin, and M. G. Ballerano editors, pp. 47-52. Venezia, Italy, 2008.

Abstract:
In questo lavoro viene condotta un’indagine sulle relazioni tra gesto e suono per mezzo di una sonificazione elementare del gesto. L’ispirazione per questo lavoro viene dai principi del Bauhaus ed in particolare dalla ricerca di Paul Klee nel campo delle forme e della rappresentazione pittorica. In linea con queste idee, l’obbiettivo principale di questo lavoro è quello di ridurre il gesto alla combinazione di un numero essenziale di componenti elementari (gestalt) usati per controllare un insieme di suoni corrispondentemente piccolo. Sulla base di una realizzazione software dimostrativa introduciamo qui una linea di ricerca che è ancora in corso di sviluppo. L’obbiettivo futuro è quello di realizzare un nuovo sistema che sia uno strumento atto alla composizione e/o all’improvvisazione, come pure un’interfaccia per la danza interattiva.



© 2008-11 Maurizio Goina & Pietro Polotti