Optimal VR: Meta nombra 10 retos

| |

Hay muchos obstáculos que superar antes de que la Realidad Virtual alcance su potencial técnico. El jefe de pantalla de Meta dice lo que se necesita para esto.

Douglas Lanman lleva ocho años en Meta y dirige el departamento que desarrolla sistemas de visualización completos.

En junio, su equipo presentó nuevos prototipos de gafas VR que abordan diferentes desafíos técnicos como resolución, brillo y factor de forma. El objetivo de los investigadores es una pantalla de realidad virtual que pueda reproducir visualmente la realidad física y al mismo tiempo tenga espacio en un auricular compacto.

En la conferencia Siggraph de este año, Lanman hizo una presentación sobre esta tarea y nombró diez vallas que aún deben tenerse en cuenta al desarrollar tales gafas VR.

A continuación se muestra una lista de estos desafíos junto con una breve explicación y enlaces relacionados. Puede encontrar el video de la conferencia de Lanman al final del artículo.

Lo interesante en este contexto es que Meta está investigando un auricular que promete hacer avances en muchas de estas áreas, incluida la ergonomía, el enfoque variable, la corrección adaptativa de la visión, el seguimiento ocular y la transparencia. El auricular todavía puramente conceptual tiene el nombre en código Mirror Lake.

Los diez retos

Resolución más alta

Los auriculares VR actuales no se acercan a la visión humana en términos de resolución. Para que los mundos virtuales se vean tan reales y nítidos como si fueran físicos y para que el texto sea legible incluso desde una distancia media, la resolución debe aumentar significativamente.

Meta nombres como objetivo preliminar 8K por ojo y un Densidad de píxeles de 60 PPD. A modo de comparación: Meta Quest 2 solo llega a 2K por ojo y 20 PPD.

Comparación de tablas optométricas entre la resolución de tres gafas VR: Rift, Quest 2 y Butterscotch.
Cuanto mayor sea la resolución, más nítida será la imagen. Oculus Rift, Meta Quest 2 y el prototipo Butterscotch en comparación de tablas optométricas. | Imagen: Meta

Con el prototipo Butterscotch, Meta desarrolló un auricular experimental que permite a los investigadores experimentar la «resolución de la retina» y estudiar su efecto inmersivo.

Publicación Destacada

Diseñar y fabricar pantallas de alta resolución no es el mayor problema. La pregunta es mucho más de dónde se supone que proviene la potencia informática que alimenta estas pantallas de alta resolución. El renderizado mejorado y la transmisión en la nube podrían ayudar, pero presentan grandes desafíos técnicos en sí mismos.

Más campo de visión

Todavía queda mucho por hacer con el campo de visión. El campo de visión horizontal humano es de más de 200 grados. Las gafas de realidad virtual disponibles comercialmente suelen lograr un campo de visión horizontal de alrededor de 100 grados. Pero todavía hay margen de mejora en el campo de visión vertical.

Otro campo de visión plantea grandes desafíos para la tecnología de lentes, que se puede ver, entre otras cosas, en Distorsiones de imagen en los bordes del campo de visión para expresar. Además, las lentes y la pantalla deben construirse de tal manera que no aumenten el factor de forma.

Este desafío también plantea la cuestión de la potencia informática: cuanto más amplio sea el campo de visión, más píxeles tendrán que mostrar las gafas de realidad virtual. Esto a su vez da como resultado un mayor requerimiento de energía y más calor residual.

ergonomía

Los auriculares VR actuales son pesados ​​y voluminosos. Meta Quest 2, por ejemplo, pesa más de 500 gramos y sobresale casi 8 centímetros de la cara. Idealmente, las gafas VR deberían ser cómodas de usar durante un largo período de tiempo. construido mucho más estrecho y ligero ser.

Un hombre con un prototipo de holocake 1 y lentes VR con un factor de forma convencional colocados ligeramente transparentes en la parte superior.
La imagen muestra un prototipo de casco de realidad virtual con una pantalla holográfica que cabe en un par de gafas de sol. Se muestra de forma transparente un Oculus Rift 2016 para resaltar la diferencia en el factor de forma. | Imagen: Meta

Se supone que las lentes Pancake y las lentes holográficas ayudan. El prototipo totalmente funcional Holocake 2 de Meta muestra dónde podría ir el factor de forma. El problema: Holocake 2 utiliza láseres especialmente fabricados como fuente de luz, que aún no están completamente desarrollados y producidos en masa.

Pantalla con corrección de visión

El visor de realidad virtual perfecto debe ser capaz de reconocer y compensar las deficiencias visuales de los usuarios para que las gafas convencionales o las lentes de contacto sean superfluas debajo de las gafas de realidad virtual.

¿La bicicleta de nariz cabe debajo de las gafas VR o rayará las lentes? Los usuarios ya no deberían tener que lidiar con tales preguntas en el futuro.

El problema podría resolverse con accesorios de lentes especiales o, mejor aún, con ópticas VR que adaptarse a su propia vista hojas. El desafío es encontrar una solución que requiera poco espacio y energía, que sea barata de fabricar y lo suficientemente liviana.

Interior del Quest 2 con accesorios de corrección de la visión flotando sobre los lentes.
Ya existen lentes adjuntos con corrección de prescripción. No son una solución ideal porque causan costos adicionales, hacen que las gafas VR sean más pesadas y evitan que simplemente se transmitan. | Imagen: Meta

Enfoque variable

El ojo humano no puede enfocar en la realidad virtual como lo hace en entornos naturales. Este problema ocurre principalmente en el rango de primeros planos y puede provocar fatiga ocular, dolores de cabeza e incomodidad después de un período prolongado de exposición.

La causa se llama conflicto de vergencia-acomodación (explicación).

Publicación Destacada

Para resolver este problema, los investigadores de Metas desarrollaron una pantalla que progresivo apoya Simula diferentes niveles de enfoque y desenfoque, ayudando al ojo a ver el mundo virtual como si fuera natural.

Los prototipos varifocales de Meta se llaman Half-Dome.

Seguimiento ocular para todos

El seguimiento ocular es una tecnología clave de la realidad virtual porque es la base de muchas otras tecnologías de realidad virtual importantes, como las pantallas varifocales (consulte el punto 5), el renderizado foveado y la corrección de distorsión (consulte el punto 7).

También permite el contacto visual en experiencias sociales y nuevas formas de interacción.

Un par de ojos capturados por un sistema de seguimiento ocular.
La forma de la pupila difiere de una persona a otra, puede cambiar con el movimiento de los ojos y puede quedar oculta por los párpados y las pestañas. Este es un desafío para los sistemas de seguimiento ocular. | Imagen: Meta

El problema con el seguimiento ocular es que no igual de bueno para todas las personas trabajando y propenso a abandonos es. El seguimiento ocular confiable con una amplia cobertura demográfica es necesario para evitar que la tecnología sea frustrante.

corrección de distorsión

Las lentes introducen distorsiones en la imagen que deben ser corregidas por software.

Las distorsiones más finas son causadas por el mero movimiento de la pupila. Deterioran el realismo visual, especialmente en combinación con otras tecnologías como las pantallas varifocales.

El gran desafío radica en el desarrollo de los algoritmos de corrección: los investigadores de pantallas deben producir lentes y auriculares para poder probar y adaptar el software correspondiente en la práctica. Lo primero puede llevar semanas o incluso meses, lo que tiempos de iteración insoportablemente lentos trae consigo.

Para acelerar el desarrollo, los meta-investigadores desarrollaron un simulador de distorsión (ver video arriba). Se puede usar para probar diferentes lentes, resoluciones y anchos de campo de visión sin tener que construir primero un visor de prueba y lentes especiales.

Alto rango dinámico (HDR)

Los objetos físicos y los entornos brillan mucho más que las pantallas de realidad virtual, incluso en interiores con iluminación artificial.

Meta construyó un prototipo de realidad virtual con Starburst capaz de hasta 20.000 liendres representar. A modo de comparación: un buen televisor HDR tiene varios miles de nits, Meta Quest 2 solo 100 nits.

Zuckerberg sostiene el enorme prototipo Starburst por dos asas.
Mark Zuckerberg sosteniendo el prototipo Starburst. | Imagen: Meta

Publicación Destacada

Starburst puede simular de manera realista las condiciones de iluminación interior y los entornos nocturnos. El resultado son objetos y mundos virtuales que parecen más sólidos y tridimensionales de lo que pueden mostrar las gafas VR actuales.

Sin embargo, todavía hay un problema con la viabilidad técnica: el prototipo actual es tan pesado que cuelga del techo de un dispositivo, y consume mucha energía.

Según Meta, HDR contribuye más al realismo visual que la resolución y el enfoque variable, por ejemplo, y es lo que más se aleja de la implementación práctica.

revisión

Las gafas de realidad virtual perfectas deben ser permeables en ambas direcciones: los usuarios de realidad virtual deben poder ver el entorno tal como el entorno puede ver a los usuarios de realidad virtual, entre otras cosas por razones de facilidad de uso y aceptación social.

En el primer caso, los sensores de los auriculares filman el entorno y lo muestran como una imagen de video en realidad virtual.Esta tecnología, conocida como passthrough, ya existe en los auriculares VR disponibles comercialmente, pero con una calidad bastante baja. Por ejemplo, Meta Quest 2 presenta un modo de transferencia en blanco y negro granulado. Meta Quest Pro tiene la intención de utilizar este modo de visualización con un mayor resolución y color mejorar notablemente.

Un hombre con gafas VR convencionales y un hombre con el prototipo de paso inverso.
A la izquierda, un Oculus Rift oscureciendo los ojos del usuario de VR. A la derecha, el prototipo de paso inverso de Meta, que todavía se ve bastante aterrador. | Imagen: Meta

Sin embargo, aún no se ha logrado una reconstrucción perfecta del entorno físico. Uno de los problemas que aún debe resolverse es que la técnica de transferencia captura una perspectiva del mundo que está desplazada espacialmente de los ojos, lo que puede irritar el sistema de percepción humana con un uso prolongado. Por lo tanto, Meta está investigando una síntesis de la mirada respaldada por IA que puntos de vista perspectivamente correctos generados en tiempo real y con alta fidelidad visual.

En el caso opuesto, que Meta llama paso inverso, los extraños ven los ojos y la cara del usuario de RV: adentro y, por lo tanto, pueden hacer contacto visual o leer la expresión facial. Los sensores orientados hacia adentro y una pantalla externa (campo de luz) podrían hacer esto posible. Esta tecnología aún está lejos de estar lista para el mercado.

reconstrucción facial

Co-Presence y Metaverse Telephony son los objetivos finales de Meta. La compañía quiere que las personas algún día se reúnan en salas virtuales y se sientan como si estuvieran realmente en la misma sala. Para ello, Meta está investigando avatares de códecs fotorrealistas, que aún son muy complejos de producir y calcular.

A la izquierda una mujer con expresión de asombro, a la derecha su avatar, que imita el asombro.
Quest Pro puede reconocer expresiones faciales y transferirlas a VR. | Imagen: Meta

Un primer paso en esta dirección son las gafas VR, que pueden leer las expresiones faciales de los usuarios de VR en tiempo real y transferirlas a la realidad virtual. Quest Pro será el primer visor de Meta, el seguimiento de la cara ofertas

Conferencia Siggraph de Douglas Lanman

Martín de Diego
Martín es un reportero que se unió a CuantoTech en 2020, y cubre una amplia gama de temas de TI y política tecnológica. Anteriormente, Martín escribió para Network World de IDG durante 5 años, donde cubrió Microsoft, Google, el código abierto, la computación en la nube, la virtualización, los centros de datos y mucho más. Martín proviene de la Universidad Politécnica de Madrid, donde estudió periodismo y literatura, antes de pasar el inicio de su carrera escribiendo sobre el gobierno, el medio ambiente, la salud y la tecnología médica para varias revista de máxima actualidad.