Realitat Virtual

Realitat Virtual

PR

Manofón

Manofón es una aplicación de realidad virtual que mezcla la creación y exploración sonora con la visual.

Maqueta de la

aplicación de RV

Francisco Durán Aparici

Aula 1

La interfaz física de Manofón está formada por tres elementos. El único con el que tiene contacto físico el usuario es un guante controlador.

El último componente de la interfaz física es una pareja de altavoces, ya que el sonido es un elemento clave en la experiencia de Manofón.

Giroscopio y acelerómetro

4 sensores capacitivos

El segundo elemento es un ordenador en el que Processing recoge e interpreta sonora y visualmente los datos que le manda Arduino.

La visualización puede mostrarse en la misma pantalla del ordenador, otra pantalla, una proyección...

Dedo libre

Arduino

Módulo Bluetooth

Batería

La interfaz lógica está formada por diferentes objetos virtuales. En el apartado visual, el objeto central se corresponde con la forma de onda del primer oscilador. Puede tener diferentes formas dependiendo del sonido que represente.

El sonido inicial de ambos osciladores no se verá afectado por ningún tipo de efecto, pero el usuario puede aplicar un filtro pasa bajos, un delay o un flanger.

Cuando no se aplique ningún efecto se mostrará una X, cuando se aplique el filtro pasa bajos se mostrará una B, una D para el delay, y una F para el flanger.

El rango de frecuencias del primer oscilador va desde un La 3 hasta un La 5 y el del segundo oscilador, por defecto, desde un La 1 hasta un La 3. Sin embargo, el segundo oscilador puede sonar en diferentes intervalos respecto de su nota inicial. La pantalla mostrara un 8 si la frecuencia es la inicial, un 3 si es una tercera mayor, un 4 si es una cuarta y un 5 si es una quinta.

Siempre sonarán dos osciladores simultáneamente. Las tres formas de onda del primer oscilador son las mostradas anteriormente y siempre van unidas a la forma del objeto central. Las formas de onda del segundo oscilador son: cuadrada, diente de sierra y pulso.

Sus indicaciones en pantalla son las siguientes:

Oscilador 1

Sinusoidal

Cuadrada

Triangular

Oscilador 2

Esfera

Onda sinusoidal

Cubo

Onda cuadrada

Pirámide

Onda triangular

Cuadrada

Sierra

Pulso

La frecuencia del sonido también se representa visualmente mediante los colores de los objetos virtuales. En la imagen se muestra el rango de colores que pueden tomar los objetos en relación a las frecuencias de los osciladores en su posición inicial.

Para finalizar la presentación se muestra un vídeo de ejemplo con el sketch preliminar de Processing funcionando.

La versión final de Manofón se controlaría con el guante que se ha explicado en esta presentación.

Como ayuda visual para el usuario, también se mostrará en pantalla un eje de coordenadas que se desplaza siguiendo el movimiento de la mano, y que indica la frecuencia y la amplitud respecto al mapeo de la anchura y altura de la pantalla.

En la imagen superior el eje indica un sonido grave y con baja amplitud, y en la imagen inferior un sonido agudo y con alta amplitud.

OSC 1

880 Hz

220 Hz

OSC 2

220 Hz

55 Hz

La frecuencia del sonido se controla cambiando el ángulo del guante en su eje X. Al señalar a la izquierda de la pantalla sonará un sonido grave, y al señalar a la izquierda un sonido agudo.

En la imagen se muestra la interfaz con una onda triangular en el primer oscilador, onda de pulso en el segundo oscilador, intervalo de 4ª y flanger.

La amplitud es media y la frecuencia se encuentra en la parte baja de primera octava.

En la imagen se muestra la interfaz con una onda triangular en el primer oscilador, onda de pulso en el segundo oscilador, intervalo de 4ª y flanger.

La amplitud es media y la frecuencia se encuentra en la parte media de la segunda octava.

En la imagen se muestra la interfaz con una onda cuadrada en el primer oscilador, onda de diente de sierra en el segundo oscilador, intervalo de 3ª y delay.

La amplitud es alta y la frecuencia se encuentra en la parte media-alta de la segunda octava.

En la imagen se muestra la interfaz con las opciones por defecto: onda sinusoidal en el primer oscilador, onda cuadrada en el segundo oscilador, intervalo de 8ª y sin efectos aplicados.

La amplitud es media-baja y la frecuencia se encuentra en la parte alta de la primera octava.

Al señalar en los ejes X e Y con el guante, el objeto que representa la forma de onda del oscilador uno gira sobre sí mismo en las mismas direcciones.

OSC 1

880 Hz

220 Hz

Si el eje en el que se mueve la mano es el Y cambiará la amplitud del sonido.

Cuanto más se acerque el eje de guía a la parte superior de la pantalla más alta será la amplitud del sonido, y cuanto más se acerque a la parte inferior más se acercará la amplitud a cero.

Inclinando la mano hacia uno u otro lado se modifica la intensidad de los efectos aplicados. Cuanto más hacia la derecha se gire la mano más frecuencias cortará el filtro pasa bajos, más largo será el delay, y más profundo el efecto del flanger. Si la mano se gira hacia la izquierda obtendremos el efecto contrario

OSC 2

55 Hz

220 Hz

Pulsando el sensor del dedo anular cambiará el efecto y la indicación que se muestra en la parte inferior derecha de la pantalla.

Pulsando el sensor del dedo corazón cambiará el sonido del segundo oscilador y la indicación que se muestra en la parte superior derecha de la pantalla.

Pulsando el sensor del dedo anular cambiará el intervalo del segundo oscilador y la indicación que se muestra en la parte inferior izquierda de la pantalla.

El dedo pulgar del guante está recortado para que podamos pulsar los difentes sensores capacitivos con él. Si pulsamos el sensor del dedo índice cambiaremos el estado del oscilador uno.

Con esta acción cambiará la el sonido del oscilador, la forma del objeto central y la indicación que se muestra en la parte superior izquierda de la pantalla.