Una de vectores

Uno de los retos que nos hemos propuesto es poder analizar poses de Judith a tiempo real con la kinect. La idea es analizar el esqueleto y encontrar poses en su movimiento que provocan acciones determinadas. Como estas poses se tienen que poder descubrir en cualquier parte del espacio y tienen que ser independientes de si está mirando al frente o girada, necesitábamos una magnitud que fuera relativa al esqueleto; la solución que hemos encontrado es medir los ángulos que forman las extremidades para tener una primera pose con 4 ángulos.

Necesitamos conocer los dos vectores v1 y v2 para poder calcular el ángulo que forman. Luego compararíamos los ángulos de los brazos izquierdo y derecho (aib y adb) y de las piernas (aip y adp) con las poses almacenadas con un cierto rango de error para cada ángulo; aún estamos en los inicios y no sabemos cómo funcionará.

La suerte es que Processing tiene implementada una función dentro de PVector que calcula los ángulos entre dos vectores. El único paso que necesitamos es llevar los vectores al origen (0,0,0). Os pongo un pequeño ejemplo de la función. Sabemos que van a surgir problemas pero por lo menos tenemos un camino. Si se os ocurre una opción mejor no dudéis en mandar un correo o poner un comentario: info@colectivomalab.org o malab@distopic.es

PVector v1 = new PVector(0, 400);
PVector v2 = new PVector(200, 80);
void setup(){
size (640,480);
strokeWeight(5);
}
void draw(){
background(125);
line(0,0,v1.x,v1.y);
line(0,0,v2.x,v2.y);
v2.x=mouseX; v2.y=mouseY; //mueve el ratón para cambiar el ángulo
float a = PVector.angleBetween(v1, v2);
println(degrees(a)); // Escribe el ángulo
}

////////////////////////////////////////

Pongo otro sketch de Processing que hace lo mismo pero en los cuatro cuadrantes.

PVector (ángulos) (descarga el archivo y cambia la extensión de .docx a .pde)

PVector puede trabajar con vectores en 3D aunque estos ejemplos sólo usen 2D.

ARDrone para Processing

En un café mañanero con el gran Marrufo ha surgido la idea de echar a volar un par de cacharros de estos: uno sobre la bailarina y otro sobre el público… la idea es dotarlos de inteligencia para que el primero siga a la bailarina (con los datos de la Kinect) y el segundo recorra los asientos del público. Ambos van emitiendo imágenes con la cámara vertical que tienen integrada…

… como idea promete. Aquí dejo el link de la librería, la página oficial de los bichos y  más abajo el doc para manejar la librería.

Página de Parrot ARDrone.

PDF documentación para la librería ARDroneForP5

I+R+D+d

[I]nvestigación + [R]emezcla + [D]esarrollo + [d]ifusión

Campos de investigación tecnológica para DISTOPIC:

* ARDUINO:

- CDtrónomos interactuando con Kinect (en desarrollo… vídeo próximamente).

- Motores de otros aparatos: impresoras, scaners, discos duros…

- Cortinas abatibles con motores.

- Barras de leds móviles con motores. Pediremos consejo al amigo Román Torre que ya lo ha hecho

* Vídeo-MAPPING:

- 3D: mapping sobre la escena. 

- 2D: mapping sobre fotografía. 

* KINECT:

- Vídeo-MAPPING sobre bailarina utilizando el mapa de profundidad de Kinect para hacer una máscara a tiempo real.

Ver también:

http://bellcode.wordpress.com/2011/09/15/kinect-masking/

http://openkinect.org/wiki/Imaging_Information

- Igual que el anterior pero utilizando los datos del esqueleto para ajustar la proyección a partes de su cuerpo.

- Grabación del esqueleto de la bailarina y reproducción un tiempo después de los movimientos con una figura tridimensional y con movimientos de cámara alrededor o varias cámaras virtuales.

- Reconocimiento de poses de la bailarina para disparar diferentes cosas. Un punto de inicio puede ser Kineticspace

En ejemplo de realidad aumentada con Kinect y VVVV:

* VÍDEO:

- Grabación de vídeo y manipulación a tiempo real: FXs de vídeo. Unos inspiradores ejemplos de PLAYMODES:

Y gráficos de los efectos que utilizan y una breve explicación aquí.

* AUDIO:

- Interacción con el público a partir del ruido que hacen (aplausos, gritos, etc).

* OTROS:

- Diseño de caracteres y símbolos para Rótulo LED de información continua.

Todo esto son ideas que han surgido en el proceso de la obra… no quiere decir que vayamos a desarrollarlas todas pero sí que las tenemos presentes e iremos investigando según vayamos trabajando. El propósito es colgar los resultados que vayamos obteniendo. En principio estamos trabajando con Arduino, Processing y VVVV.

Residencia en el I+CAS

Se acabó la residencia artística en el I+CAS en Sevilla. Volveremos el 2 de noviembre para preparar la presentación del trabajo en proceso que será el 4 y 5 de noviembre también en el I+CAS.

Hemos estado desde el 26 de septiembre al 4 de octubre y en el siguiente vídeo os enseñamos los avances en cuanto a detección de movimiento y a interacción; faltan muchas cosas pero estamos en ello.

Gracias a Paco Basallote porque las imágenes son increíbles; vídeo y fotografía son de él y la música de Manel.

CeDeTRÓNOME

Por fin tenemos ya ejemplos de lo que será la música hecha con las bandejas de CD.

El CeDeTRÓNOME es una idea de Pascual Rocher.

Hardware: Pascual Rocher

Software Arduino/Processing: Pascual Rocher y Guillermo Marrufo.

Música para DISTOPIC

Nueva idea para la música a partir de una propuesta de Guille Marrufo; él sugirió a György Ligeti y navegando por ahí apareció este sugerente vídeo.

Habría que construir uno o varios metrónomos con arduino y un pequeño motor que fueran autónomos y que pudieramos encender y apagar a distancia.

Serivirían a la idea de la obra ya que los metrónomos son para un músico una especie de Gran Hermano… y estéticamente son mu bonicos.

¡¡¡Investigaremos!!!

Varios proyectos con la Kinect

Interesante esta página. Ando tras la pista de la “automatic calibration”. Es fundamental en escena para no tener que poner la pose cada vez que se salga y se entre en escena.

http://www.ros.org/wiki/openni/Contests/ROS%203D

Vídeos Día 1 – Pruebas KINECT

Primer día de trabajo dedicado a probar la Kinect.

Este vídeo es una presentación del equipo.

En este segundo vídeo sobreimpresionamos una muñeca en 3D con los movimientos captados por la Kinect sobre el vídeo de Judith. Es útil para ver los puntos flojos de la detección en cuanto a poses y en qué puntos del espacio se pierde más.

[fatigue]