Último hito

Hola de nuevo, el jueves pasado tuvimos la última revisión del proyecto, antes de tener que examinarlo el miércoles 26, y para ella hemos preparado un pequeño video demostrativo sin audio en el que se puede ver la práctica ya casi totalmente terminada.
Como ya comentamos en entradas anteriores, el proyecto principal consiste en un jueguecillo en RA, en el que el sistema sigue el movimiento de las manos (siempre y cuando lleven guantes rojos), y sobre estas pinta una raqueta a cada jugador y permite jugar al pong.
En el vídeo podemos apreciar primero como el sistema ha de realizar un reconocimiento del usuario como ya se vió en su momento, y una vez que este se ha 'loggeado', se muestra un menú intermedio en el que se le permite al usuario tanto seleccionar si quiere jugar a nuestro pong o a las Damas, desarrollado por nuestros compañeros de la práctica CheckersBot, y una vez seleccionado el juego, lanza este. Finalmente, nosotros elegimos nuestro juego, y vemos como funciona este; además, podemos apreciar que mientras jugamos se nos muestra el marcador, y una vez que un jugador llega a 5 puntos, el juego se termina y se muestra en grande la puntuación final.

Después de este vídeo, hemos seguido retocando alguna cosilla para mejorar la inteactividad con el juego como es añadir un botón de salir al menú, una finalización correcta de los juegos, en la que al terminar se vuelve al menú, y ahora estamos tratando de meterle audio al programa para mejorar su interactividad, y por ahora no va demasiado mal la cosa, aunque hay que terminar de pulir algún punto...

Hasta la próxima! ;)

Juego de RA, primeros pasos

Hola, ya que digamos que hemos conseguido hacer funcionar de manera medianamente decente el facedetect para tomarnos las imágenes e incluso los programas de haatraining, createsamples y performance, nos hemos metido en serio con el juego de RA, bueno, al menos con la parte gráfica, ya que el núcleo del juego ya lo empezó hace tiempo mi compañero y empezó ha hablar de el en un post anterior...

Bueno, ahora metiéndonos más en faena, cuando empezamos a mirar como hacer el seguimiento de las manos para poder jugar al pong, primero pensamos en hacer un haartraining para poder localizar la mano, pero vistos todos los problemas que nos ha causado el crear nuestros modelos para el reconocimiento, y visto que obtener las imágenes positivas y negativas se podía complicar hasta la saciedad, decimos desechar esta idea, ya que también, descubrimos un método que nos permitía mostrar en una imagen en blanco y negro, una imagen de la cámara siendo el blanco el color de la piel, lo cual nos resultaría muy útil para localizar la mano, pero ya que 'jugaba' con los colores, pequeñas modificaciones de la luminosidad, que podían incluso venir dadas por el simple hecho de mover la mano, hacía que se perdiera la representación de la mano como blanco provocando graves fallos en el 'tracking' de esta....

Finalmente, navegando por la red, y con las ideas adquiridas de las pruebas anteriores, encontramos este código libre que hemos modificado para que en vez mover el ratón por la pantalla mientras mueves el objeto a seguir muestre en la posición adecuada una raqueta para jugar a nuestro pong, así como para que en vez de necesitar que el usuario seleccione con el ratón el objeto a seguir, que el propio usuario haga que el sistema le siga la mano al 'coger' la raqueta que se encuentra en una posición fija. Para ello, ya que el sistema simplemente se basa en reconocer colores, y define su seguimiento en función de su variación, hemos optado por usar unos guantes rojos para así lograr que el sistema pueda seguirlos con facilidad.

Por otro lado, para mejorar el sistema de seguimiento, decidimos optar por, en la zona de búsqueda, quitar todos los canales de los otros colores dejando solo el rojo, lo cual lo logramos con el siguiente método:

void cogeRojos( IplImage* src, IplImage* dst )
{
CvScalar s;
for( int i = 0; i <>height; i++ )
{
for( int j = 0; j <>width; j++)
{
s = cvGet2D( src, i, j ); // coge el valor del pixel (i,j)
s.val[0] = 0;
s.val[1] = 0;
cvSet2D( dst, i, j, s );
}
}
}

Cabe destacar que este método nos ha ayudado a lograr un mejor tracking, menos dependiente de la iluminación, pero aun así, sigue teniendo fallos, como que por ejemplo, si el fondo es blanco, da un falso positivo, ya que al quitar los canales B y G de un blanco, este se convierte en rojo, aunque ahora estamos buscando una posible solución.

Finalmente, cabe destacar que estamos aunando la parte física con la parte gráfica, por lo que en cuanto lo tengamos, subiremos un vídeo de ejemplo.