Proyecto Aria: Meta utiliza datos de RA para entrenar la inteligencia artificial

| |

La inteligencia artificial entrenada con videos desde la perspectiva de primera persona podría entender mejor nuestro mundo. En Meta, el desarrollo de AR e IA se cruzan aquí.

Antes de la conferencia de visión por computadora CVPR 2022, Meta lanzó el «Conjunto de datos piloto del Proyecto Aria» con más de siete horas de videos filmados en primera persona repartidos en 159 secuencias en cinco ubicaciones diferentes en los EE. UU. Muestran escenas de la vida cotidiana: lavar los platos, abrir una puerta, cocinar, usar un teléfono inteligente en la sala de estar.

Entrenamiento de IA para la vida cotidiana

Los investigadores de IA deberían usar estos datos para entrenar la inteligencia artificial, que tiene una mejor comprensión de la vida cotidiana. En la práctica, un sistema de inteligencia artificial de este tipo podría mejorar los sistemas de asistencia visual en gafas AR en particular. La IA reconoce más elementos en el entorno y puede dar consejos, por ejemplo, al cocinar.

Publicación Destacada

Meta anunció el proyecto de recopilación de videos en primera persona en octubre de 2021 y ya publicó el conjunto de datos Ego4D en ese momento más de 2200 horas de secuencias de video en primera persona.

En este enlace puedes ver el vídeo.

«Imagínese un asistente de IA que lo ayude a recordar dónde dejó las llaves o que le enseñe a tocar la guitarra», dijo el entonces CTO de Meta, Mike Schroepfer, al presentar el conjunto de datos de Ego4D.

Project Aria proporciona datos de ego particularmente extensos

El conjunto de datos actual, reconocible por su nombre, se recopiló con el prototipo de gafas AR «Proyecto Aria». El dispositivo es un prototipo de sensor para futuras gafas AR de gama alta, pero no tiene pantalla integrada.

Proyecto Aria: Meta utiliza datos de RA para entrenar la inteligencia artificial
Con Project Aria, Meta está investigando bases importantes para el futuro de las gafas AR. El prototipo aún no ha instalado una pantalla.

Con Aria, Meta principalmente quiere recopilar datos para el desarrollo de software para futuras aplicaciones AR de alta calidad y, en general, aprender cómo se comportan los sensores en las gafas en la vida cotidiana. Meta presentó a Aria por primera vez hace unos dos años.

Además de las grabaciones de video, Aria recopila muchos otros datos que mejoran el nuevo conjunto de datos: además de una cámara a color y dos en blanco y negro, las gafas tienen seguimiento ocular integrado, un barómetro, un magnetómetro, micrófonos de sonido envolvente y GPS.

Proyecto Aria: Meta utiliza datos de RA para entrenar la inteligencia artificial
Los diversos datos de sensores del Proyecto Aria.

Además de estos datos, Meta proporciona información adicional sobre el entorno, por ejemplo, cómo interactúan entre sí varios usuarios de gafas en el mismo hogar. El registro de voz a texto también permite evaluar conversaciones y declaraciones hechas por el usuario de anteojos en el contexto de expresiones visuales.

Proyecto Aria: Meta utiliza datos de RA para entrenar la inteligencia artificial
Meta también evalúa cómo se mueven varios usuarios de gafas en una misma habitación.

«Creemos que este conjunto de datos proporciona una base para que los investigadores externos realicen y promuevan investigaciones reproducibles sobre visión artificial egocéntrica y algoritmos AI/ML para la percepción, reconstrucción y comprensión de escenas», escribe Meta.

Además de las «Actividades cotidianas», Meta complementa el conjunto de datos con «Actividades de escritorio»: la empresa también instaló un sistema de captura de movimiento en una encimera para registrar actividades cotidianas como cocinar con mayor precisión y desde diferentes perspectivas.

Más información y una solicitud de acceso están disponibles en el sitio web oficial para el conjunto de datos de Aria.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.