Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Reconstrucción de un entorno en 3D con Kinect

No description
by

Agustin Cejas Aguilar

on 17 September 2014

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Reconstrucción de un entorno en 3D con Kinect

Reconstrucción de un entorno en 3D con Kinect
Introducción
Definición del problema
Objetivos
Demostración
La visión artificial y su auge con Kinect
Kinect y el reconocimiento 3D
La reconstrucción en 3D
Kinect y su funcionalidad inicial
Rafael Agustín Cejas Aguilar
Marcadores y la reconstrucción 3D
Objetos de referencia
Cuadrado de papel con un código
Capturar imagen,digitalizarla e interpretarla
En continua mejora
Antes a Kinect, varios dispositivos
Dispositivos de alto coste
Kinect y sus técnicas sustituyen a varios dispositivos
Láser infrarrojo
Cámara infrarroja
Cámara RGB
Controlar consola
Interactuar
Gestos
Voz
Objetos
Entornos
Mezclar y enlazar imágenes
Puntos en común
En un mismo plano

Sistema que realice capturas en 3D
Concatenar capturas mediante marcadores proporcionados por Aruco
Entorno completo en 3D
Escanear un entorno de interiores
Almacenar las imágenes capturadas en formato PCD
Fusionar esas imágenes
Visualizar una imagen final en 3D
Malla de puntos en 3D y su color
Antecedentes
Sistemas de Escaneo 3D
Escáneres con contacto
Apoyan el elemento de medida sobre el objeto
Sensores internos determinan la posición

Brazo de medición
Escáneres sin contacto
Activos: emiten señal y analizan entorno
Pasivos: detectan señales del entorno
Activos
Tiempo de vuelo
Triangulación
Diferencia de fase
Holografía conoscópica
Luz estructurada
Luz modulada
Pasivos
Estereoscópicos
Silueta
Modelado basado en imagen
OpticScan-D 3D Scanner
OptimScan 3D Scanners
TitanScan escáner 3D:
Kinect y sus técnicas de escaneo
El láser proyecta un patrón de puntos
La cámara infrarroja capta este patrón
Capta la imagen RGB de cada punto
El problema del registrado
Alinear diversas vistas de nubes de puntos
PCL
Algoritmos de registro de nube de puntos
Búsqueda de correspondencias de punto correcto
Estimaciones de transformaciones rígidas
Deben coincidir vista de puntos con lista de puntos de otro conjunto
ArUco
Librería para aplicaciones de realidad aumentada
Crear marcadores
Detectar marcadores
Funcionalidad
Conseguir un modelo completo de nube de puntos
Concatenar varios modelos simples
Finalidad
Aplicaciones de registrado
RGBDemo
Coger imágenes de Kinect y visualizarlas
Calibrar la cámara
Extraer datos de un esqueleto
Reconstrucción de una escena en 3D
Detección y localización de personas
Kinect + ROS Fuerte
Utiliza un software para sistemas operativos de robots
Calibrar la cámara
Ver imagen en profundidad
Ver nube de puntos en 3D
Kinect registration
Orientado a grandes superficies
Combina datos de varios Kinect
Registra nubes de puntos
ArUco y la detección automática de marcadores
Marcador codificado
Localización de contornos
ArUco y la reconstrucción en 3D
Elemento físico
Proporcionado por ArUco
Captado por dispositivo virtual
Interactúa el mundo físico con el virtual (RA)
Necesita luz visible
Imagen umbralizada y contornos obtenidos
Contornos con tamaño mínimo
Contornos con 4 puntos
Contornos convexos
Contornos largos
Identificación del marcador
Localización de esquinas
Gradiente de imagen
Aproximación de Sobel
Detector de esquinas de Harris
Código interno
25 bits
5 palabras de 5 bits
2 bits de datos
1024 marcadores diferentes
Pasos para marcador detectado
Eliminar proyección (homografía)
Umbralización con Otsu
Obtener código binario
Rotar 90º para obtener un código valido
Homografía
Transformación del plano real al plano imagen
Capturas con 1 marcador
Captura 1
ArUco reconoce marcador
Devuelve las esquinas en píxeles(2D)
Se transforman las esquinas a 3 dimensiones
Se almacenan las esquinas en 3D
Se almacenan todos los puntos a un fichero PCD
Captura 2
ArUco reconoce marcador
Devuelve las esquinas en píxeles(2D)
Se transforman las esquinas a 3 dimensiones
Se almacenan las esquinas en 3D
Mismo marcador pero en otra posición
Hallar componentes de rotación/traslación
Transformar todos los puntos
Almacenar en un fichero PCD
A partir de SRC y DST, y el método de Horn se obtiene la matriz de transformación rígida
La Matriz R/T se aplica a todos los puntos de la captura 2
Captura 1 y captura 2 estarán en el mismo plano
Reconstrucción 3D
Capturas con varios marcadores
Abarcar mas territorio
Almacenar marcadores en una lista
Mismo procedimiento anterior con una diferencia
Transformar puntos de nuevos marcadores con la matriz R/T
Adaptar los nuevos marcadores al plano principal
Ejemplo
Resultado final
Interfaz
Full transcript