SISTEMA DE CAPTURA DE MOVIMIENTO PARA LA INTERACCIÓN EN ENTORNOS VIRTUALES ADAPTADOS A ESCENARIOS FÍSICOS

Autores/as

  • Juan David Orejuela Bolaños
  • José Manuel Carvajal Ramírez
  • Jhorck’s Anthony Cortés Eslava

Palabras clave:

room scaling, entorno virtual, open source, first person shooter, unity3D, Oculus Rift, arduino, sistema multimedia, captura de movimiento, realidad virtual, marcadores para la captura de movimiento, head mounted display

Resumen

Descripción:

A pesar de los grandes avances de la Realidad Virtual (RV) existen todavía cuestionamientos sobre cómo  hacer que  las experiencias virtuales  aprovechen el espacio físico finito en el que se implementan en relación  con las realidades que despliegan ante el  usuario. Tomando como referencia lo anterior y con el propósito de brindar un mayor grado de inmersión, se desarrolla un sistema de captura de movimiento llamado Mimo que permite hacer Room-Scaling para RV, reconociendo la posición del usuario dentro de un espacio físico y trasladándolo a un entorno virtual adaptado a las dimensiones de la habitación, para evitar que el usuario tenga accidentes por incoherencias entre el espacio físico y el virtual.  A diferencia de otras soluciones ya existentes, este sistema es escalable, pues cuenta con la posibilidad de expandir el espacio cubierto añadiendo más equipos; independiente del sistema para visualizar el entorno 3D, ya que se puede utilizar una CPU con Head Mounted Display o solamente smartphones; inmersivo, dado que el usuario podrá interactuar en el espacio virtual con controles que tienen un diseño físico adaptado a la experiencia; y accesible,  debido a que usa tecnologías Open Source que disminuyen los costos de fabricación del sistema.

Fecha de inicio: Febrero 20 del 2017.

Fecha de finalización: Septiembre 22 del 2017.

Alcance del proyecto:

Desarrollar en 8 meses un modelo funcional del sistema de captura de movimiento que permita hacer el tracking de la posición de un usuario y de un control para que la persona pueda interactuar con el entorno virtual, y que el resultado de dicho tracking pueda ser visualizado por el usuario a través de una pantalla a una velocidad entre 30 a 60 frames por segundo.

Resultados alcanzados:

El sistema que se tiene como resultado a manera general permite que haya un dispositivo (para este trabajo se le ha llamado Wimu) que va adherido al cuerpo al que se le quiere hacer tracking o seguimiento. El Wimu mide su propia rotación sobre los ejes X, Y, Z y esos datos los envía vía WiFi a un servidor. El Wimu también tiene un LED con la finalidad de que su luz pueda servir como marcador activo que será detectada por unas cámaras ubicadas en la habitación; cada cámara capturará la luz del LED en unas posiciones X,Y (en pixeles) y estas coordenadas también serán enviadas al mismo servidor vía WiFi.

El servidor recibe los datos provenientes de las cámaras y triangula las diferentes coordenadas x,y del marcador obtenidas por cada una de ellas, para obtener una posición X, Y, Z (3D) y una rotación en X, Y, Z proveniente del Wimu. El servidor envía la posición 3D del marcador y los ángulos obtenidos por los sensores al dispositivo que desplegará la experiencia de realidad virtual, que puede ser un celular o un computador con Oculus RIft, y finalmente estos datos se traducen en un respectivo movimiento en el entorno virtual.

Hasta el momento se tienen como resultado estas componentes del sistema:

  • Wimu: Dispositivo compuesto principalmente por un Arduino, un MPU-9150, un ESP-8266 y baterías.
  • 2 Cámaras: Cada una de ellas está compuesta por un NodeMCU y el sensor de visión Pixycam. Las cámaras son capaces de detectar cualquier luz o marcador activo en el espacio y enviar vía WiFi la posición X,Y en la que esa luz se encuentra dentro de los frames de vídeo capturados.

  • Servidor de tracking: Recibe las posiciones X,Y del marcador activo/wimu provenientes de las cámaras y las triangula para obtener su posición 3D. Además recibe los datos de rotación provenientes del mismo Wimu. Por último, el servidor envía los datos al cliente.

  • Cliente: Aplicación en Unity3D que recibe los datos de posición y rotación de cada wimu y los traslada a sus respectivos objetos virtuales.

  • Los datos se envían entre los distintos componentes mediante el protocolo UDP para que sean más rápidos a comparación de TCP.

Nota: Marcador activo es un dispositivo compuesto principalmente por un LED, haciendo que este emita su propia luz para que las cámaras puedan detectar su posición.

Proyección a futuro del proyecto:

Es de resaltar que este trabajo busca solucionar la problemática actual de la inmersión de los usuarios al utilizar la realidad virtual, por lo tanto cuenta  con un potencial de aplicación en campos como:

  • Arquitectura: Una constructora puede ofrecerle a las personas, que se encuentran en una feria o evento especial, visitar de manera virtual el apartamento modelo de una de sus unidades residenciales. Las personas con ayuda del sistema Mimo podrían desplazarse en el apartamento virtual mientras lo hacen también en el stand que la constructora tiene en el evento o feria.

  • Montaje de experiencias en museos u otros lugares: Ofrecer a los visitantes del museo viajes virtuales a sitios como por ejemplo la tumba de Tutankamón, con tan sólo disponer de una sala que se adecue a las medidas del sitio que se quiere recrear virtualmente.

  • Entretenimiento: Experiencias virtuales similares a las ofrecidas por los videojuegos 3D tales como los First Person Shooter, en las que los usuarios podrán disparar a sus objetivos con controles que tienen un diseño similar al de un arma y no con un teclado o ratón.

Descargas

Los datos de descargas todavía no están disponibles.

Descargas

Publicado

2017-09-06

Cómo citar

[1]
J. D. . Orejuela Bolaños, J. M. . Carvajal Ramírez, y J. A. . Cortés Eslava, «SISTEMA DE CAPTURA DE MOVIMIENTO PARA LA INTERACCIÓN EN ENTORNOS VIRTUALES ADAPTADOS A ESCENARIOS FÍSICOS», EIEI, sep. 2017.

Evento

Sección

Trabajos de los estudiantes